经验技巧
谈谈怎么利用 服务器日志来分析 我们页面为什么不被收录
新闻类别:经验技巧
发表时间:2015-01-29 08:31
浏览次数:

   

  很多人都在说原创,每天去采集,然后修正 后,重新发到自己的同乐城官网上,但是不知道你木有想过一个问题,我们发的文章有没有意义,为什么不被收录,蜘蛛怎么去觉得 我们发的文章有没有意义。

  在这之前,我们得知道服务器日志在哪里寻找,服务器日志一般存在于FTP空间一个Log的文件夹下,并且是tor后缀结尾。将他下载后,解压后我们得到俩个文件,将有大小文件后缀名更改为域名.txt 然后打开。我们会得到一大串文字字符,不要担心 从何看起,我们一条条的分析 。但是我们首先得知道那些IP所代表的意思。下面我都列出来了。

  Baiduspider=Baiduspider蜘蛛

  Googlebot=Googlebot蜘蛛

  Sogou=Sogou蜘蛛

  Yahoo=Yahoo蜘蛛

  360Spider=360Spider蜘蛛

  123.125.68.=123.125.68沙盒

  220.181.68.=220.181.68沙盒

  220.181.7.=220.181.7准备 抓取

  123.125.66.=123.125.66准备 抓取

  121.14.89.=121.14.89新站考查

  203.208.60.=203.208.60同乐城官网异常

  210.72.225.=210.72.225巡逻

  123.125.71.106=123.125.71.106低权重

  123.125.71.95=123.125.71.95低权重

  123.125.71.97=123.125.71.97低权重

  123.125.71.117=123.125.71.117低权重

  123.125.71.=123.125.71低权重汇总

  220.181.108.95=220.181.108.95隔日快照

  220.181.108.92=220.181.108.92权重抓取

  220.181.108.91=220.181.108.91综合权重

  220.181.108.75=220.181.108.75内页权重

  220.181.108.86=220.181.108.86权重首页

  220.181.108.89=220.181.108.89权重首页

  220.181.108.94=220.181.108.94权重首页

  220.181.108.97=220.181.108.97权重首页

  220.181.108.80=220.181.108.80权重首页

  220.181.108.77=220.181.108.77权重首页

  220.181.108.83=220.181.108.83权重首页

  220.181.108.=220.181.108权重蜘蛛汇总

  我们就其中一条分析

  123.125.68.45 - - [24/Jun/2014 15:12:04 +0800] 'GET /xingyexinwen/129.html HTTP/1.1' 200 9107 '-' 'Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.12) Gecko/20101026 Firefox/3.6.12 QQDownload/1.7'

  根据 上面的定义分析 :

  123.125.68.45 - - [24/Jun/2014 15:12:04 +0800] 'GET /xingyexinwen/129.html这句话代表的意思是谷歌蜘蛛在2014年6月24号,15:12:04来我的同乐城官网抓取了xingyexinwen/129.html 这么一条URL,然后将其放到沙盒中(123.125.68.45 代表沙盒蜘蛛。)

  HTTP/1.1' 200 9107 '-' 'Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.12) '至于这个,其中的200是返回码,代表是正常,当然返回码还有301、404、302、304等等一些,可以去查一下代表的意思。其他代表是它造访 电脑的属性,swindows操作系统 等等。

  不知道看了这些,你晕了没有,当然我们一般习惯用 exec表格去分析 日志,将txt文件导入表格中,能够赞助 我们更直观的去分析 日志,知道蜘蛛在我们同乐城官网上抓取了哪些内容,然后将内容定义为什么。当然还可以利用 日志分析 软件来分析 。

  关于更多,也可以搜索MOON虫博客www.croelhui.com,需要 我介绍什么,欢迎大家给我留言。


返回经验技巧
智腾网络 CnZhiTeng.com All Rights Reserved. 联系QQ:6591163