YippeeSoft开心软件

蜘蛛屏蔽 - 九月 19, 2009 by yippee

蜘蛛流量

14 16.87 16.87 0.00 0.00 0.00 0.00
15 488.33 488.33 0.00 0.00 0.00 0.00
16 569.05 569.05 0.00 0.00 0.00 0.00
17 513.98 513.98 0.00 0.00 0.00 0.00
18 1260.21 1260.21 0.00 0.00 0.00 0.00

该死的蜘蛛，一天废掉我1G的流量

已经屏蔽了一堆，总不能把GOOGLE和BAIDU的也屏蔽掉吧
郁闷

搞了个模拟蜘蛛测试了下，好像也没多少
http://www.webconfs.com/search-engine-spider-simulator.php

修改FF的USER AGENT，也是403返回。正常

因为浏览器都会发送自身的标识信息和操作系统信息给网站。User Agent Switcher, 用来伪装浏览器和操作系统的标识。
   1. 在 Firefox 地址栏中输入 about:config。
   2. 新建/ 修改   general.useragent.override 的 String 键值。
   3.

   1. “Mozilla/5.0 (X11; U; Linux i686; en-GB; rv:1.8.1.6) Gecko/20070914 Firefox/2.0.0.7″
   2. “Mozilla/5.0 (Windows; U; Windows NT 6.0; en-US; rv:1.8.1.7) Gecko/20070914 Firefox/2.0.0.7″
   3. “Mozilla/5.0 (Windows; U; Windows NT 6.0; en) AppleWebKit/522.15.5 (KHTML, like Gecko) Version/3.0.3 Safari/522.15.5″
   4. “Mozilla/5.0 (Macintosh; U; PPC Mac OS X; en) AppleWebKit/103u (KHTML, like Gecko) safari/100″
   5. “Opera/9.23 (X11; Linux x86_64; U; en)”
   6. “Opera/9.23 (Windows NT 5.1; U; en)”
   7. “Mozilla/4.0 (compatible; MSIE 6.1; Windows XP)”
   8. “Mozilla/5.0 (Windows; U; MSIE 7.0; Windows NT 6.0)”

RewriteCond %{HTTP_USER_AGENT} Teleport [OR]
RewriteCond %{HTTP_USER_AGENT} Webdup [OR]
RewriteCond %{HTTP_USER_AGENT} NetAnts [OR]
RewriteCond %{HTTP_USER_AGENT} FlashGet [OR]
RewriteCond %{HTTP_USER_AGENT} Web\ Downloader [OR]
RewriteCond %{HTTP_USER_AGENT} WebCopier [OR]
RewriteCond %{HTTP_USER_AGENT} WebSpider [OR]
RewriteCond %{HTTP_USER_AGENT} WebZIP [OR]
RewriteCond %{HTTP_USER_AGENT} psbot [OR]
RewriteCond %{HTTP_USER_AGENT} btbot [OR]
RewriteCond %{HTTP_USER_AGENT} Wget [OR]
RewriteCond %{HTTP_USER_AGENT} Website\ Downloader [OR]
RewriteCond %{HTTP_USER_AGENT} MSIECrawler [OR]
RewriteCond %{HTTP_USER_AGENT} WebPic [OR]
RewriteCond %{HTTP_USER_AGENT} Indy\ Library [OR]
RewriteCond %{HTTP_USER_AGENT} mp3Spider [OR]
RewriteCond %{HTTP_USER_AGENT} Offline\ Explorer [OR]
RewriteCond %{HTTP_USER_AGENT} ^Microsoft\ Internet\ Explorer$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mozilla/4\.0$ [OR]
RewriteCond %{HTTP_USER_AGENT} psycheclone [OR]
RewriteCond %{HTTP_USER_AGENT} tspyyp [OR]
RewriteCond %{HTTP_USER_AGENT} ^ia_archiver$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Snapbot$ [OR]
RewriteCond %{HTTP_USER_AGENT} Pic\ Agent [OR]
RewriteCond %{HTTP_USER_AGENT} ^MSN\ Bot$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mozilla\/4\.0\ $compatible;$$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mozilla\/4\.0\ $compatible;\ $$ [OR]
RewriteCond %{HTTP_USER_AGENT} mozilla\.com [OR]
RewriteCond %{HTTP_USER_AGENT} lanshanbot [OR]
RewriteCond %{HTTP_USER_AGENT} 我的浏览器 [OR]
RewriteCond %{HTTP_USER_AGENT} InetURL [OR]
RewriteCond %{HTTP_USER_AGENT} Outfox [OR]
RewriteCond %{HTTP_USER_AGENT} TMCrawler [OR]
RewriteCond %{HTTP_USER_AGENT} hl_ftien_spider [OR]
RewriteCond %{HTTP_USER_AGENT} DigExt [OR]
RewriteCond %{HTTP_USER_AGENT} ^$
RewriteRule .* – [F,L]

SetEnvIfNoCase User-Agent “^HTTrack” ban_bot
SetEnvIfNoCase User-Agent “^EmailCollector” ban_bot
SetEnvIfNoCase User-Agent “^EmailWolf” ban_bot
SetEnvIfNoCase User-Agent “^ExtractorPro” ban_bot
SetEnvIfNoCase User-Agent “^Offline” ban_bot
SetEnvIfNoCase User-Agent “^WebCopier” ban_bot
SetEnvIfNoCase User-Agent “^Webdupe” ban_bot
SetEnvIfNoCase User-Agent “^WebZIP” ban_bot
SetEnvIfNoCase User-Agent “^Web Downloader” ban_bot
SetEnvIfNoCase User-Agent “^WebAuto” ban_bot
SetEnvIfNoCase User-Agent “^WebCapture” ban_bot
SetEnvIfNoCase User-Agent “^WebMirror” ban_bot
SetEnvIfNoCase User-Agent “^WebStripper” ban_bot
SetEnvIfNoCase User-Agent ^Mozilla.*Indy ban_bot
SetEnvIfNoCase User-Agent “^Slurp” ban_bot
SetEnvIfNoCase User-Agent “^Yahoo! Slurp China” ban_bot
SetEnvIfNoCase User-Agent “^Yahoo! Slurp” ban_bot
SetEnvIfNoCase User-Agent “^ia_archiver” ban_bot
SetEnvIfNoCase User-Agent “^lanshanbot” ban_bot
SetEnvIfNoCase User-Agent “^iaskspider” ban_bot

deny from env=ban_bot

标签：蜘蛛

Category RAN乱 | 0 Comments »

20070712 搜索引擎蜘蛛捕捉 BLOG - 四月 6, 2008 by yippee

20070712 搜索引擎蜘蛛捕捉
http://www.yippeesoft.com

网上下载的一个PHP捕捉，修改了保存路径和搜索引擎蜘蛛类别判断
<?php
/**
* @author      Tmpbin (tmpbin@163.com)
* @copyright   Www.Ruanzai.Net
* @package     ccount.php
* @version     1.0
* @lastupdate 2006-12-10
* @link        http://www.ruanzai.net
*/

$datadir=$_SERVER[SCRIPT_FILENAME];
//日志所在目录，请用绝对路径如 d:/host/web/log/
$len=strlen($path)-9;
$datadir=substr($path,0,$len);

session_start();
$datafile=$datadir."system_bot.php";
$lang = $_SERVER[\'HTTP_ACCEPT_LANGUAGE\'];
$urlhead .= "Accept-Encoding: ".$_SERVER[\'HTTP_ACCEPT_ENCODING\']."&line;";
$urlhead .= "User-Agent: ".$_SERVER[\'HTTP_USER_AGENT\']."&line;";
$urlhead .= "Host: ".$_SERVER[\'HTTP_HOST\']."&line;";
$cookie = $_SERVER[\'HTTP_COOKIE\'];
$time=time();

$userip = $_SERVER["HTTP_X_FORWARDED_FOR"];
If ($userip == "") $userip = $_SERVER["REMOTE_ADDR"];

$urlPar = $_SERVER["SCRIPT_NAME"];
if (trim($_SERVER["QUERY_STRING"]) != "")
$urlPar = $urlPar."?".$_SERVER["QUERY_STRING"];
$info_cot=$time."&line;".$userip."&line;".$urlPar."&line;".$urlhead."\\n";
if (empty($cookie)) &leftsign;

if (empty($lang))&leftsign;
$fnum=@fopen("$datafile","a");
flock($fnum,LOCK_EX);
$file_data=fwrite($fnum,$info_cot);
fclose($fnum);
&rightsign;
&rightsign;

function get_naps_bot($iee)
&leftsign;
        $useragent = strtolower($iee);

        if (strpos($useragent, \’googlebot\’) !== false)&leftsign;
                return \’Googlebot\’;
        &rightsign;

        if (strpos($useragent, \’msnbot\’) !== false)&leftsign;
                return \’MSNbot\’;
        &rightsign;

        if (strpos($useragent, \’slurp\’) !== false)&leftsign;
                return \’Yahoobot\’;
        &rightsign;

        if (strpos($useragent, \’baiduspider\’) !== false)&leftsign;
                return \’Baiduspider\’;
        &rightsign;

        if (strpos($useragent, \’sohu-search\’) !== false)&leftsign;
                return \’Sohubot\’;
        &rightsign;

        if (strpos($useragent, \’lycos\’) !== false)&leftsign;
                return \’Lycos\’;
        &rightsign;

        if (strpos($useragent, \’robozilla\’) !== false)&leftsign;
                return \’Robozilla\’;
        &rightsign;
        return $iee;
&rightsign;

$thisprog="log.php";
$_SESSION[\'login\']="ok";
if ($job=="") &leftsign;
$a=2;
$str=file("$datafile");
$count = count($str);
for ($i=0;$i<$count;$i++)&leftsign;
$file.= $str[$i];
&rightsign;
$new_info=explode("\\n",$file);
$count=count($new_info);
for ($i=0; $i<$count-1; $i++) &leftsign;
list($time,$ip,$url,$ae,$ie,$host)=explode("&line;","$new_info[$i]");
$time=date("Y-m-d(H:i:s)",$time);;
$ie=get_naps_bot($ie);
#$iet=get_naps_bot($ie);
$show=$show."<tr class=\’row$a\’><td width=10%>$time</td><td width=5%>$ip
</td><td width=20%>$url</td><td width=30% title=\\"$iet\\">$ie</td><td width=5%>$ae</td><td width=20%>$host</td></tr>\\n";
$a=$a-1;
if ($a<1) $a=2;
&rightsign;

print <<<EOT
<table width=98% align=center cellSpacing=1 cellPadding=1 style="border-collapse: collapse;background: #E5ECFA; border: 1px solid #5296FF ">
  <tr align=\’center\’>共$count 条日志
     <td style="color: #000000"><b>机器人到访日志查看</b></td>
    </tr>
<tr>
<td>
<table width=99% align=center cellSpacing=1 cellPadding=1 style="border-collapse: collapse;background: #E5ECFA; border: 1px solid #5296FF ">
<tr class=\’rowcat\’>
<td width=10%> 到访时间
</td><td width=5%>蜘蛛Ip
</td><td width=20%>访问地址
</td><td width=30%>蜘蛛信息
</td><td width=5%>Accept-Encoding
</td><td width=20%>主机
</td></tr>

$show

标签：blog, log, 搜索, 搜索引擎, 蜘蛛

Category Soft | 0 Comments »

20070712 搜索引擎蜘蛛灭害 - 四月 5, 2008 by yippee

20070712 搜索引擎蜘蛛灭害
http://www.yippeesoft.com

加上一个蜘蛛统计的PHP ，发现。。。。。。

菩提：喝茶。
　　至尊宝：麻烦你了！
　　菩提：不要客气！
　　至尊宝：为什么带我回这个洞呢？
　　菩提：不是我们带你来的，是你昏倒迷迷糊糊带我们来的！
　　至尊宝：我一定是太想念晶晶了。
　　菩提：是啊，你昏倒的时候叫了晶晶这个名字叫了九十八次。
　　至尊宝：晶晶是我娘子。
　　菩提：还有一个名字叫紫霞的你叫了七百八十四次！
　　至尊宝：啊？！
　　菩提：七百八十四次……这个紫霞一定欠你很多钱。

我问候了YAHOO N次后，发现我还要问候×× ×× N次

因为，他们一定欠我很多流量

刚才看访问记录看到有Yahoo! Slurp，msnbot/1.0，Baiduspider+，Mediapartners-Google/2.1，lanshanbot/1.0+

YAHOO的抓了我1451 次，这个lanshanbot抓了 1219 次。。

今天查看网站访问日志的时候发现了一个陌生的蜘蛛，lanshanbot/1.0 202.96.51.146，google/baidu搜索都查不到相关的结果，google里只找到了一条 Details of "lanshanbot/1.0" user-agent ，也没提到这蜘蛛是谁家的，俺只好自己来探一探了。

先到ip138查询202.96.51.146这个IP，结果为：
查询结果1：北京市电信
查询结果2：北京市东方网景
这个东方网景是谁？google查询，好象应该是east.net。上east.net去看一看，好象是一个搞网站建设之类的公司，靠！
估计是什么人的主机托管在那里，然后由这个主机放蜘蛛出来搜索资料的。至于搜索得到的资料干什么用去了，嘿嘿，不好说

The Alexa crawler (robot), which identifies itself as ia_archiver in the HTTP "User-agent" header field, uses a web-wide crawl strategy. Basically, it starts with a list of known URLs from across the entire Internet, then it fetches all local links found as it goes. There are several advantages to this approach, most importantly that it creates the least possible disruption to the sites being crawled.

Alexa启用了一个叫做IA_Archiver的机器人程序，这个机器人程序类似Google等搜索引擎使用的蜘蛛程序，专门在互联网上爬行，刺探每个Web页面的流量信息。尤其是当某个网站的流量超过Alexa设定的阈值时，IA_Archiver就会马上爬到该网站的服务器上，分析此网站的流量是否正常，有没有作弊行为

加上
User-agent: Baiduspider+
Disallow: /

User-agent: Baiduspider
Disallow: /

User-agent: ia_archiver
Disallow: /

User-agent: lanshanbot
Disallow: /

SetEnvIfNoCase User-Agent "^Baiduspider" ban_bot
SetEnvIfNoCase User-Agent "^Baiduspider+" ban_bot
SetEnvIfNoCase User-Agent "^ia_archiver" ban_bot
SetEnvIfNoCase User-Agent "^lanshanbot" ban_bot

deny from env=ban_bot

哇噻：
悟空：大家看到啦？这个家伙没事就长篇大论婆婆妈妈叽叽歪歪，就好象整天有一只苍蝇，嗡……对不起，不是一只，是一堆苍蝇围着你，嗡…嗡…嗡…嗡…飞到你的耳朵里面，救命啊！

　　(悟空倒地翻滚，异常痛苦。)悟空：所以呢我就抓住苍蝇挤破它的肚皮把它的肠子扯出来再用它的肠子勒住他的脖子用力一拉，呵－－！整条舌头都伸出来啦！我再手起刀落哗－－！整个世界清净了。现在大家明白，为什么我要杀他！

标签：搜索, 搜索引擎, 蜘蛛

Category RAN乱 | 0 Comments »

20070711 yahoo 蜘蛛顽强 Yahoo! Slurp - 四月 3, 2008 by yippee

20070711 yahoo 蜘蛛顽强 Yahoo! Slurp
http://www.yippeesoft.com

robots.txt好像没有用
User-agent: Slurp
Disallow: /

User-agent: Yahoo! Slurp
Disallow: /

User-agent: Yahoo! Slurp China
Disallow: /

74.6.72.36Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp) 2007年7月11日13:40

SetEnvIfNoCase User-Agent "^Yahoo! Slurp China" ban_bot
SetEnvIfNoCase User-Agent "^Yahoo! Slurp" ban_bot

deny from env=ban_bot

也没有用

好像
deny from 202.160.180.*
deny from 202.160.178.*
deny from 202.160.179.*
deny from 202.160.180.
deny from 202.160.178.
deny from 202.160.179.

有点用，YAHOO.COM.CN的Yahoo! Slurp China好像没有看到呢
索性加上
deny from yahoo.com
deny from yahoo.com.cn
deny from 74.6.131
deny from 74.6.17
deny from 74.6.18
deny from 74.6.19
deny from 74.6.20
deny from 74.6.21
deny from 74.6.22
deny from 74.6.23
deny from 74.6.24
deny from 74.6.240
deny from 74.6.25
deny from 74.6.26
deny from 74.6.27
deny from 74.6.28
deny from 74.6.29
deny from 74.6.65
deny from 74.6.66
deny from 74.6.67
deny from 74.6.68
deny from 74.6.69
deny from 74.6.70
deny from 74.6.71
deny from 74.6.72
deny from 74.6.73
deny from 74.6.74
deny from 74.6.75
deny from 74.6.76
deny from 74.6.79
deny from 74.6.85
deny from 74.6.86
deny from 74.6.87

～～～～～～～～
拒绝来自某个IP的访问

如果我不想某个政府部门访问到我的站点的内容，那可以通过.htaccess中加入该部门的IP而将它们拒绝在外。

例如：

order allow,deny
deny from 210.10.56.32
deny from 219.5.45.
allow from all

第二行拒绝某个IP，第三行拒绝某个IP段，也就是219.5.45.0~219.2.45.255

想要拒绝所有人？用deny from all好了。不止用IP，也可以用域名来设定。
～～～～～～～～～～～
受不了了，哪位有yahoo蜘蛛的全部IP段？

[查询结果] 您的查询: [ip地址] 202.160.180.149 => 202.160.180.149
·本站主数据: 北京市 Yahoo中国
·本站辅数据: 还没人提交数据
·参考数据一: 雅虎中国
·参考数据二: 北京市雅虎中国
[查询提供] www.123cha.com

我怕了，IP没带来多少，每次把我的站弄的死去活来的。一来就来N多，顶不住

～～～～～～～～～～～

占用资源

一天来100多只蜘蛛

我的IIS连接量是有限的

来这么多啊，那是不是收录的也多呢？

多是多

不过全是蜘蛛陷阱

还占用资源

自然要屏蔽

～～～～～～～～～～

Inktomi Yahoo蜘蛛 YahooSpider IP段
打印 &line; 推荐 &line; 评分
2007-7-3 22:57

# Inktomi
# UA "Fast Crawler v X"
# UA "Fast Crawler v X(compatible; Konqueror/3.2; FreeBSD) (KHTML, like Gecko)"
# UA "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT)"
# UA "Mozilla/4.0"
# UA "Mozilla/4.05 [en]"
# UA "Mozilla/5.0 (Slurp/cat; slurp@inktomi.com; http://www.inktomi.com/slurp.html)"
# UA "Mozilla/5.0 (compatible; Yahoo! DE Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
# UA "Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)"
# UA "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
# UA "Scooter/3.3"
# UA "Y!J-BSC/1.0 (http://help.yahoo.co.jp/help/jp/blog-search/)"
# UA "Yahoo! Mindset"
# UA "Yahoo-Blogs/v3.9 (compatible; Mozilla 4.0; MSIE 5.5; http://help.yahoo.com/help/us/ysearch/crawling/crawling-02.html )"
# UA "Yahoo-MMAudVid/1.0 (mms dash mmaudvidcrawler dash support at yahoo dash inc dot com)"
# UA "Yahoo-MMCrawler/3.x (mms dash mmcrawler dash support at yahoo dash inc dot com)"
# UA "YahooFeedSeeker/1.0 (compatible; Mozilla 4.0; MSIE 5.5; my.yahoo.com/s/publishers.html)"
# UA "YahooSeeker-Testing/v3.9 (compatible; Mozilla 4.0; MSIE 5.5; http://search.yahoo.com/)"
# UA "YahooSeeker/1.1 (compatible; Mozilla 4.0; MSIE 5.5; http://help.yahoo.com/help/us/shop/merchant/)"
# UA "YahooSeeker/1.2 (compatible; Mozilla 4.0; MSIE 5.5; yahooseeker at yahoo-inc dot com ; http://help.yahoo.com/help/us/shop/merchant/)"
# UA "YahooSeeker/CafeKelsa-dev (compatible; Konqueror/3.2; FreeBSD ;cafekelsa-dev-webmaster@yahoo-inc.com ) (KHTML, like Gecko)"
# UA "YahooVideoSearch www.yahoo.com/"
# UA "YahooYSMcm/2.0.0"
# UA "slurp"
141.185.209、169.207.238、199.177.18.9、202.160.178、202.160.179、202.160.180、202.160.181、202.160.183.182、202.160.183.217、202.160.183.218、202.160.183.219、202.160.183.220、202.160.183.235、202.160.183.239 、202.160.183.245、202.160.185.174、202.165.96.142、202.165.98、202.165.99、202.212.5.30、202.212.5.32、202.212.5.33、202.212.5.34、202.212.5.35、202.212.5.36、202.212.5.37、202.212.5.38、202.212.5.39、202.212.5.47、202.212.5.48、202.46.19.93、203.123.188.2、203.141.52.41、203.141.52.42、203.141.52.43、203.141.52.44、203.141.52.45、203.141.52.46、203.141.52.47、203.255.234.102、203.255.234.103、203.255.234.105、203.255.234.106、206.190.43.125、206.190.43.81、207.126.239.224、209.1.12、209.1.13.101、209.1.13.231、209.1.13.232、209.1.32.122、209.1.38、209.131.40、209.131.41、209.131.48、209.131.49.37、209.131.50.153、209.131.51.166、209.131.60.169、209.131.60.170、209.131.60.171、209.131.60.19、209.131.62.107、209.131.62.108、209.131.62.109、209.131.62.214、209.185.122、209.185.141、209.185.143、209.191.64.227、209.191.65、209.191.65.249、209.191.65.82、209.191.82.245、209.191.82.252、209.191.83、209.191.83.220、209.191.87.215、209.191.87.216、209.191.87.217、209.191.87.218、209.191.87.219、209.191.87.220、209.191.87.221、209.191.87.222、209.191.87.223、209.67.206.126、209.67.206.127、209.67.206.133、209.73.176.128、209.73.176.129、209.73.176.133、209.73.176.134、209.73.176.136、211.14.8.240、211.169.241.21、213.216.143.37、213.216.143.38、213.216.143.39、216.109.121.70、216.109.121.71、216.109.126.131、216.109.126.133、216.109.126.137、216.109.126.138、216.109.126.139、216.109.126.141、216.109.126.143、216.109.126.145、216.109.126.146、216.109.126.147、216.109.126.150、216.109.126.152、216.109.126.157、216.109.126.158、216.109.126.159、216.109.126.160、216.109.126.161、216.136.233.164、216.145.58.219、216.155.198.60、216.155.200、216.155.202.175、216.155.202.54、216.155.204.40、216.239.193.71、216.239.193.72、216.239.193.73、216.239.193.74、216.239.193.75、216.239.193.76、216.239.193.77、216.239.193.78、216.239.193.79、216.239.193.80、216.239.193.81、216.239.193.82、216.239.193.83、216.239.193.84、216.239.193.85、216.239.193.86、216.32.237.1、216.32.237.10、216.32.237.11、216.32.237.12、216.32.237.13、216.32.237.14、216.32.237.15、216.32.237.16、216.32.237.17、216.32.237.18、216.32.237.19、216.32.237.20、216.32.237.21、216.32.237.22、216.32.237.23、216.32.237.24、216.32.237.25、216.32.237.26、216.32.237.27、216.32.237.28、216.32.237.29、216.32.237.30、216.32.237.7、216.32.237.8、216.32.237.9、62.172.199.20、62.172.199.21、62.172.199.22、62.172.199.23、62.172.199.24、62.27.59.245、63.163.102.180、63.163.102.181、63.163.102.182、64.157.137.219、64.157.137.220、64.157.137.221、64.157.137.225、64.157.138.103、64.157.138.108、64.75.36.42、64.75.36.43、64.75.36.44、64.75.36.45、64.75.36.47、64.75.36.77、64.75.36.79、64.75.36.80、66.163.170.157、66.163.170.159、66.163.170.161、66.163.170.162、66.163.170.166、66.163.170.167、66.163.170.170、66.163.170.172、66.163.170.176、66.163.170.178、66.163.170.179、66.163.170.180、66.163.170.184、66.163.170.185、66.163.170.190、66.163.170.192、66.163.174.65、66.196.101、66.196.65、66.196.67.100、66.196.67.101、66.196.67.102、66.196.67.103、66.196.67.104、66.196.67.105、66.196.67.106、66.196.67.107、66.196.67.108、66.196.67.109、66.196.67.110、66.196.67.111、66.196.67.112、66.196.67.113、66.196.67.114、66.196.67.115、66.196.67.116、66.196.67.117、66.196.67.118、66.196.67.119、66.196.67.120、66.196.67.121、66.196.67.122、66.196.67.123、66.196.67.124、66.196.67.125、66.196.67.126、66.196.67.127、66.196.67.128、66.196.67.129、66.196.67.130、66.196.67.150、66.196.67.151、66.196.67.176、66.196.67.177、66.196.67.178、66.196.67.200、66.196.67.201、66.196.67.202、66.196.67.203、66.196.67.204、66.196.67.205、66.196.67.206、66.196.67.207、66.196.67.208、66.196.67.209、66.196.67.210、66.196.67.211、66.196.67.212、66.196.67.213、66.196.67.214、66.196.67.215、66.196.67.216、66.196.67.217、66.196.67.218、66.196.67.219、66.196.67.220、66.196.67.221、66.196.67.222、66.196.67.223、66.196.67.224、66.196.67.225、66.196.67.226、66.196.67.227、66.196.67.228、66.196.67.229、66.196.67.230、66.196.67.231、66.196.67.232、66.196.67.233、66.196.67.234、66.196.67.235、66.196.67.236、66.196.67.237、66.196.67.238、66.196.67.239、66.196.67.240、66.196.67.254、66.196.67.30、66.196.67.31、66.196.67.32、66.196.67.33、66.196.67.34、66.196.67.35、66.196.67.36、66.196.67.37、66.196.67.38、66.196.67.39、66.196.67.70、66.196.67.71、66.196.67.72、66.196.67.73、66.196.67.74、66.196.67.75、66.196.67.76、66.196.67.77、66.196.67.78、66.196.67.79、66.196.67.80、66.196.67.94、66.196.67.95、66.196.67.96、66.196.67.97、66.196.67.98、66.196.67.99、66.196.72、66.196.73、66.196.74、66.196.77、66.196.78、66.196.80、66.196.81.10、66.196.81.102、66.196.81.103、66.196.81.104、66.196.81.105、66.196.81.106、66.196.81.107、66.196.81.108、66.196.81.109、66.196.81.11、66.196.81.110、66.196.81.111、66.196.81.112、66.196.81.113、66.196.81.114、66.196.81.115、66.196.81.116、66.196.81.117、66.196.81.118、66.196.81.119、66.196.81.12、66.196.81.120、66.196.81.121、66.196.81.122、66.196.81.123、66.196.81.124、66.196.81.125、66.196.81.126、66.196.81.127、66.196.81.128、66.196.81.129、66.196.81.13、66.196.81.130、66.196.81.131、66.196.81.132、66.196.81.133、66.196.81.134、66.196.81.135、66.196.81.136、66.196.81.137、66.196.81.138、66.196.81.139、66.196.81.14、66.196.81.140、66.196.81.141、66.196.81.142、66.196.81.143、66.196.81.144、66.196.81.145、66.196.81.146、66.196.81.147、66.196.81.148、66.196.81.149、66.196.81.15、66.196.81.150、66.196.81.151、66.196.81.152、66.196.81.153、66.196.81.154、66.196.81.155、66.196.81.156、66.196.81.157、66.196.81.158、66.196.81.159、66.196.81.16、66.196.81.160、66.196.81.161、66.196.81.162、66.196.81.163、66.196.81.164、66.196.81.165、66.196.81.166、66.196.81.167、66.196.81.168、66.196.81.169、66.196.81.17、66.196.81.170、66.196.81.171、66.196.81.172、66.196.81.173、66.196.81.174、66.196.81.175、66.196.81.176、66.196.81.177、66.196.81.178、66.196.81.179、66.196.81.18、66.196.81.180、66.196.81.181、66.196.81.182、66.196.81.183、66.196.81.184、66.196.81.185、66.196.81.187、66.196.81.188、66.196.81.189、66.196.81.19、66.196.81.190、66.196.81.191、66.196.81.192、66.196.81.193、66.196.81.194、66.196.81.195、66.196.81.196、66.196.81.197、66.196.81.198、66.196.81.199、66.196.81.20、66.196.81.200、66.196.81.201、66.196.81.202、66.196.81.203、66.196.81.204、66.196.81.205、66.196.81.206、66.196.81.207、66.196.81.208、66.196.81.209、66.196.81.21、66.196.81.210、66.196.81.211、66.196.81.212、66.196.81.213、66.196.81.214、66.196.81.215、66.196.81.216、66.196.81.217、66.196.81.218、66.196.81.219、66.196.81.22、66.196.81.23、66.196.81.86、66.196.81.87、66.196.81.88、66.196.81.93、66.196.81.94、66.196.81.95、66.196.81.96、66.196.90、66.196.91、66.196.92、66.196.93.19、66.196.93.24、66.196.93.6、66.196.93.7、66.196.97、66.196.99.20、66.218.65.52、66.218.70、66.228.164、66.228.165、66.228.166、66.228.173、66.228.182.177、66.228.182.183、66.228.182.185、66.228.182.187、66.228.182.188、66.228.182.190、66.94.230.100、66.94.230.101、66.94.230.102、66.94.230.103、66.94.230.104、66.94.230.105、66.94.230.106、66.94.230.107、66.94.230.108、66.94.230.109、66.94.230.110、66.94.230.160、66.94.230.161、66.94.230.162、66.94.230.163、66.94.230.96、66.94.230.97、66.94.230.98、66.94.230.99、66.94.232、66.94.233、66.94.238.51、68.142.195.80、68.142.195.81、68.142.203.133、68.142.211.69、68.142.212.197、68.142.230.125、68.142.230.126、68.142.230.127、68.142.230.128、68.142.230.129、68.142.230.130、68.142.230.131、68.142.230.132、68.142.230.133、68.142.230.134、68.142.230.135、68.142.230.136、68.142.230.137、68.142.230.138、68.142.230.139、68.142.230.140、68.142.230.141、68.142.230.142、68.142.230.143、68.142.230.144、68.142.230.145、68.142.230.146、68.142.230.147、68.142.230.148、68.142.230.149、68.142.230.150、68.142.230.151、68.142.230.152、68.142.230.153、68.142.230.154、68.142.230.155、68.142.230.156、68.142.230.157、68.142.230.158、68.142.230.159、68.142.230.160、68.142.230.161、68.142.230.162、68.142.230.163、68.142.230.164、68.142.230.165、68.142.230.166、68.142.230.167、68.142.230.168、68.142.230.169、68.142.230.174、68.142.230.175、68.142.230.176、68.142.230.177、68.142.230.178、68.142.230.179、68.142.230.180、68.142.230.181、68.142.230.182、68.142.230.183、68.142.230.184、68.142.230.185、68.142.230.186、68.142.230.187、68.142.230.188、68.142.230.189、68.142.230.190、68.142.230.191、68.142.230.192、68.142.230.193、68.142.230.194、68.142.230.195、68.142.230.196、68.142.230.197、68.142.230.198、68.142.230.199、68.142.230.200、68.142.230.201、68.142.230.202、68.142.230.203、68.142.230.204、68.142.230.205、68.142.230.206、68.142.230.207、68.142.230.208、68.142.230.209、68.142.230.210、68.142.230.211、68.142.230.212、68.142.230.213、68.142.230.214、68.142.230.215、68.142.230.216、68.142.230.217、68.142.230.240、68.142.230.247、68.142.230.248、68.142.230.249、68.142.230.250、68.142.230.251、68.142.230.252、68.142.230.253、68.142.230.254、68.142.230.32、68.142.230.33、68.142.230.34、68.142.230.35、68.142.230.36、68.142.230.37、68.142.230.38、68.142.230.39、68.142.230.40、68.142.230.41、68.142.230.43、68.142.230.44、68.142.230.45、68.142.230.46、68.142.230.47、68.142.230.48、68.142.230.49、68.142.231.49、68.142.240.106、68.142.246、68.142.249、68.142.250、68.142.251、69.147.79.131、69.147.79.137、69.147.79.173、72.30.101、72.30.102、72.30.103、72.30.104、72.30.107、72.30.110、72.30.111、72.30.124.128、72.30.124.130、72.30.124.134、72.30.128、72.30.129、72.30.131、72.30.132、72.30.133、72.30.134、72.30.135、72.30.142.24、72.30.142.25、72.30.177、72.30.214、72.30.215、72.30.216、72.30.221、72.30.226、72.30.252、72.30.54、72.30.56、72.30.60、72.30.61、72.30.81、72.30.87、72.30.9、72.30.97、72.30.98、72.30.99、74.6.131、74.6.17、74.6.18、74.6.19、74.6.20、74.6.21、74.6.22、74.6.23、74.6.24、74.6.240、74.6.25、74.6.26、74.6.27、74.6.28、74.6.29、74.6.65、74.6.66、74.6.67、74.6.68、74.6.69、74.6.70、74.6.71、74.6.72、74.6.73、74.6.74、74.6.75、74.6.76、74.6.79、74.6.85、74.6.86、74.6.87

标签：slurp, yahoo, 蜘蛛

Category RAN乱 | 0 Comments »

sitemaps 确认搜索引擎蜘蛛 - 九月 22, 2005 by yippee

登录到 Google Sitemaps（测试版） https://www.google.com/webmasters/sitemaps/login

https://www.google.com/webmasters/sitemaps/docs/zh_CN/stats.html Google Sitemaps（测试版）帮助

发现有一些新的变化

我的 Sitemaps
全部 Sitemaps 1 Sitemaps 协议 ?
错误 0 Sitemaps 常见问题解答 ?

Sitemaps &line;    查看：全部   Errors    &line;    添加一个 Sitemaps 文件 + Sitemaps 1 到 1 ，共 1 个
网站   Sitemaps 类型已提交最新下载时间 Sitemaps 状态    Sitemaps 操作
http://www.yippeesoft.com/blog/ – 确认 sitemap.php 網頁六月 23 10 个小时前确定     &line;    增加了一个确认

确认网站： http://www.yippeesoft.com/blog/

Google 已经抓取了您的网站 http://www.yippeesoft.com/blog/ ，并将向您展示某些结果。然而，为确保我们不会将您网站的隐私信息透露给他人，我们需要确认您的所有权。

创建一个确认文件 www.yippeesoft.com
创建名为 GOOGLE43c1a59e17b94b37.html 的空文件。该文件使 Google 可以对您进行唯一确认。您可以在任何文本编辑器中创建该文件。该文件应为空，因为我们只是检查其是否与您的 Sitemaps 位于同一位置，而不会阅读其内容。您可以在此处阅读有关此文件的详细信息。

上传确认文件
您创建确认文件后，放置在您服务器上的 http://www.yippeesoft.com/blog/。

确认状态： http://www.yippeesoft.com/blog/GOOGLE43c1a59e17b94b37.html 未确认

按照步骤生成一个文件，上传，点击确认按钮

我们的系统正忙。请几分钟后重试。

确认状态： http://www.yippeesoft.com/blog/GOOGLE43c1a59e17b94b37.html 已确认查看网站状态 ?

网站： http://www.yippeesoft.com/blog/
在我们的常规抓取过程中发现的网址
作为我们常规抓取过程的一部分，我们一直在抓取您的网站。这包括来自您的网页以及其他网站网页的以下链接。以下我们列出了在此抓取过程中无法访问的网址，以及解释我们为什么无法访问的链接。
网址错误 www.yippeesoft.com
http://www.yippeesoft.com/blog/wap/index.php?job=browse&page=3 网址无法访问
http://www.yippeesoft.com/blog/wap/index.php?job=browse&page=6 网址无法访问
http://www.yippeesoft.com/blog/wap/index.php?job=browse&page=4&cat= 网址无法访问
http://www.yippeesoft.com/blog/www.google.ch HTTP 错误
http://www.yippeesoft.com/blog/www.google.cl HTTP 错误
http://www.yippeesoft.com/blog/www.google.dk HTTP 错误

前面几个是WAP，后面几个可能是BLOG自动解析URL连接造成的组合～

$useragent = strtolower($_SERVER[\'HTTP_USER_AGENT\']);

    if (strpos($useragent, \’googlebot\’) !== false)&leftsign;
          return \’Googlebot\’; GOOGLE搜索引擎 www.yippeesoft.com
    &rightsign;

    if (strpos($useragent, \’msnbot\’) !== false)&leftsign;
          return \’MSNbot\’; MSN搜索引擎
    &rightsign;

    if (strpos($useragent, \’slurp\’) !== false)&leftsign;
          return \’Yahoobot\’; YAHOO搜索引擎
    &rightsign;

    if (strpos($useragent, \’baiduspider\’) !== false)&leftsign;
          return \’Baiduspider\’; BAIDU搜索引擎
    &rightsign;

    if (strpos($useragent, \’sohu-search\’) !== false)&leftsign;
          return \’Sohubot\’; 搜索引擎
www.yippeesoft.com
    &rightsign;

    if (strpos($useragent, \’lycos\’) !== false)&leftsign;
          return \’Lycos\’;搜索引擎 www.yippeesoft.com
    &rightsign;

    if (strpos($useragent, \’robozilla\’) !== false)&leftsign;
          return \’Robozilla\’;搜索引擎
    &rightsign;
    return false; www.yippeesoft.com

这是一些蜘蛛的名称，本来想在BLOG里面加上蜘蛛统计的，想想先放着～～～～，想到再说

标签：sitemaps, 搜索, 搜索引擎, 蜘蛛

Category RAN乱 | 0 Comments »