博客文章下载中......  
博客文章下载中......
  当前位置:网上营销新观察营销人博客首页— 我的博客
  博客登陆
  我的照片
  北京时间
  站点日历
博客文章下载中......
  博客个人信息
  我的分类(专题)
博客文章下载中......
  最新日志
博客文章下载中......
  最新评论
博客文章下载中......
  留  言  板
博客文章下载中......
  友情链接

  日志信息
博客文章下载中......
搜索引擎蜘蛛捕捉器 [猫猫 发表于 2006-11-21 19:26:16]
以下提供给大家的是PHP版的捕捉搜索引擎蜘蛛爬行的代码。我们可以通过生成的文本文件查看每天都有哪几种搜索引擎蜘蛛爬行站点以及爬行频率,便于大家了解蜘蛛动向。

但是,从SEO工具需求角度来说,这段代码实现的功能还是很有局限性,从我个人需求而言,我希望能体现更多的信息,比如:蜘蛛爬行的页面URL、返回的状态码、每日爬行持续多长时间等等,甚至可以汇总于数据库中便于随时查询。因此,强烈呼吁编程高手开发数据库版的捕捉蜘蛛的程序。




实现蜘蛛捕捉的PHP代码如下:


function get_naps_bot()
{
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);

if (strpos($useragent, 'googlebot') !== false){
return 'Googlebot';
}

if (strpos($useragent, 'msnbot') !== false){
return 'MSNbot';
}

if (strpos($useragent, 'slurp') !== false){
return 'Yahoobot';
}

if (strpos($useragent, 'baiduspider') !== false){
return 'Baiduspider';
}

if (strpos($useragent, 'sohu-search') !== false){
return 'Sohubot';
}

if (strpos($useragent, 'lycos') !== false){
return 'Lycos';
}

if (strpos($useragent, 'robozilla') !== false){
return 'Robozilla';
}
return false;
}


function nowtime(){
$date=date("Y-m-d.G:i:s");
return $date;
}

$searchbot = get_naps_bot();

if ($searchbot) {
$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
$url=$_SERVER['HTTP_REFERER'];
$file="robotlog.txt";
$time=nowtime();
$data=fopen($file,"a");
fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage\n");
fclose($data);
}



使用方法:
把以下代码粘贴到你想监控的页面php代码的之间的开头或结尾即可(也可以放在模板文件内)

阅读全文 | 回复(0) | 编辑 

发表评论:

    昵称:
    密码:
    标题: