bt爬虫

过完年回公司比较无聊，一不小心看到微博里美尤莉娅的图片，惊为天人，有图为证！！！

百度之原来这货以前叫小泉彩，貌似动了几个小手术换了个马甲重新出道了。你拍AV你家里知道么？。于是乎下了几个种子看了下，感觉还行（像苍老师什么的我真的没有看过哈哈），狠一点把全集全搞到百度网盘上。

貌似这货拍了200多部，真不少。人工学习了下，torrentkitty的种子貌似还是蛮全的。搜一下关键字11页，接近200+个结果，这一个一个ctrl+c  ctrl+v这不得直接导致键盘+鼠标手。祭出FIREBUG+PYTHON，写个爬虫把地址全部搞出来。因为目的比较单纯和纯洁，所以就不用SCRAPY这么大型的东西了。效率第一。

FIREBUG看了下结构，目标的XPATH在/html/body/div[4]/div/table/tbody/tr[2]/td[4]/a[2]，直接LXML把地址抓出来只需要一行代码，SO EASY！！

动手开始写，整个过程只用了5分钟，PYTHON真是太方便了。

代码如下：

import urllib2
from lxml import etree

url='http://www.torrentkitty.com/search/'
keyword='%e9%87%8c%e7%be%8e'             
pages=11

for page in range(0,pages):

    page=str(page)

    site=url+keyword+'/'+page

    h=urllib2.Request(site)

   
 h.add_header('User-Agent', 'Mozilla/5.0 (Windows; U; Windows NT 5.1; 
zh-CN; rv:1.8.1.14) Gecko/20080404 (FoxPlus) Firefox/2.0.0.14')

    ht=urllib2.urlopen(h)

    html=ht.read(ht)

    content=etree.HTML(html.lower().decode('utf-8'))

    mags=content.xpath("//a[@rel='magnet']")

    for mag in mags:

        print "%s \n \n"%(mag.attrib['href'])

KEYWORD是搜索的关键字的URL编码，PAGES是该关键字的页数总数。改好之后直接>>写到TXT里就是了。以后有时间写个自动递交到百度网盘离线下载的。

嗯哼，别问我是谁，我是手拿杜蕾斯戴着红领巾的雷锋同志！！