作为Seoer，网站日志分析是网站日志分析所需的基本技术，通过日志分析可以分析爬虫捕获页面的有效性，通过日志可以分析蜘蛛返回的状态代码，及时了解网站上是否存在错误或蜘蛛无法上传的页面。网站页面上存在的404错误页面、500服务器错误等这些噪音内容的噪音页面(重复页面、低质量页面、空白内容页面)

    第一，网站日志能为我们做什么？

    1.可以分析爬虫捕获页面的有效性(搜索引擎在某些噪音页面上重复的页面、低质量页面、空白内容页面、404页、减少页面捕获频率)。

    2、调查网站页面上存在的404错误页面、500服务器错误等

    3、页面的重要内容是否被爬行动物完全爬行和快速移动；

    4、蜘蛛爬行动物的准确分辨率

    二、一般的HTTP状态代码解释

    1，200码意味着蜘蛛正常爬行

    2，404代码，访问的这个链接是错误的链接

    3，301代码，永久重定向

    表示临时重定向的4，302代码

    5，304代码，客户端已运行GET，但文件未更改。

    表明网站内部程序或服务器有错误的6500代码

    接下来，列出网站日志的例子。

    日志的含义可以看到站点日志中的每个数据意味着什么。简言之，这份文件是记录日在网站上发生的行为。收到这些网站日志后，您可以查看日志，通过分析日志文件来解决网站的问题。

    三、解释日志代码

    日志文件可以解释以下两个部分：

    1、搜索引擎捕获情况

    在日志文件中，可以看到搜索引擎捕捉到一些404页和低质量过载页(噪音行为)

    注意：可以通过nslookupip确认蜘蛛的真伪

    /date-2016-01.html(低质量过载页面)

    /author-1.html(低质量过载页面)

    /downloads/(低质量页面)

    /contact.html(死链接连接)有问题。此页返回的状态代码为200而不是404，但您可以转到404页，了解服务器设置存在问题。

    所以，当我们有不想抓住他们的页面时，我们要在robots中规范。规范Robots的重要手段之一是robots.txt。爬行动物进行校准，使爬行动物能够将更多的精力集中在我的详细页面上。

    2、用户访问网站。

    主要分析用户访问网站的行为轨迹和用户属性。这里不解释。

【声明：信息来自网络，如有侵权，联系既删。】