我都三级了，没必要灌水好吗贴部分写入数据代码 好吧，请别水我灌水 删我帖子！

需要你操作：把下载的pornhub.csv.doc  改名成：pornhub.csv  如果你无法更改后缀名，请你百度！
直接看访问：quality_480p 列的链接，即可观看无广告的视频内容。video_title 为视频名称。 video_duration为长短，秒单位。


[root@localhost Documents]# wc -l pornhub.csv
15512 pornhub.csv


[root@localhost WebHub]# cat settings.py
# -*- coding: utf-8 -*-
BOT_NAME = 'WebHub'

SPIDER_MODULES = ['WebHub.spiders']
NEWSPIDER_MODULE = 'WebHub.spiders'

DOWNLOAD_DELAY = 1  
CONCURRENT_REQUESTS = 20
REDIRECT_ENABLED = False

ROBOTSTXT_OBEY = True

DOWNLOADER_MIDDLEWARES = {
    "WebHub.middlewares.UserAgentMiddleware": 401,
    "WebHub.middlewares.CookiesMiddleware": 402,
}


FEED_URI=u'/Users/xiyouMc/Documents/pornhub.csv'
FEED_FORMAT='CSV'

DEPTH_PRIORITY = 1
SCHEDULER_DISK_QUEUE = 'scrapy.squeues.PickleFifoDiskQueue'
SCHEDULER_MEMORY_QUEUE = 'scrapy.squeues.FifoMemoryQueue'

看不懂

...........这真的不是病毒

汉堡哥 发表于 2018-4-5 20:32
我看一懂~

因为管理 删我帖子，我也是很无奈 才扔代码

我看一懂~