[scrapy] laracasts爬虫
發表於 : 2016-05-11 14:47:25
http://type.so/python/laracasts-spider.html
[scrapy] laracasts爬虫
作者: 小子 时间: January 12, 2014 分类: Python
购买了1个月的laracasts.com的帐号,又怕有的时候没时间看,所以就都抓取下来。
将标题,描述都保存到mysql数据库
将视频下载到本地
CREATE TABLE `laracasts_lessons` (
`id` int(11) unsigned NOT NULL AUTO_INCREMENT,
`title` varchar(255) NOT NULL DEFAULT '',
`downlink` varchar(255) NOT NULL DEFAULT '',
`description` text NOT NULL,
`path` varchar(255) NOT NULL DEFAULT '',
PRIMARY KEY (`id`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8;
这里说一下流程,代码就不贴出来了,有需要的可以下载附件。请先修改文件内的数据库用户名密码,和laracasts的账户,再执行./laracasts.sh
登录 -> 遍历列表页面 -> 遍历课程页面 -> 获取信息 -> 下载视频 -> 保存到MySQL
[scrapy] laracasts爬虫
作者: 小子 时间: January 12, 2014 分类: Python
购买了1个月的laracasts.com的帐号,又怕有的时候没时间看,所以就都抓取下来。
将标题,描述都保存到mysql数据库
将视频下载到本地
CREATE TABLE `laracasts_lessons` (
`id` int(11) unsigned NOT NULL AUTO_INCREMENT,
`title` varchar(255) NOT NULL DEFAULT '',
`downlink` varchar(255) NOT NULL DEFAULT '',
`description` text NOT NULL,
`path` varchar(255) NOT NULL DEFAULT '',
PRIMARY KEY (`id`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8;
这里说一下流程,代码就不贴出来了,有需要的可以下载附件。请先修改文件内的数据库用户名密码,和laracasts的账户,再执行./laracasts.sh
登录 -> 遍历列表页面 -> 遍历课程页面 -> 获取信息 -> 下载视频 -> 保存到MySQL