大家也看到之前几周我推的三个网站 [ 1000 系列]
* 一下子打开 1000 张 GIF http://iguooo.com/
* 妹子 x100 http://www.wulangdashu.com/
* 十万个日式冷笑话 http://www.iguooo.cn/

也是我无聊至极写写爬虫,快速搭建的几个网站。

我会说几个关键点,
1. 爬虫
2. 建站
3. 费用, 为什么有广告
4. 粘度 & SEO 的反思

一。 爬虫

研究了下几个著名的爬虫框架:
* PySpider
* Scrapy

这几个都是比较广义的爬虫,给一个入口然后通过页面中的链接不断抓取。
对于我来说,我有特定的目标页面和目标页面特定的元素需要爬取。
于是便放弃了大型框架, 自己做一个定义一个小型脚手架。

自定义的爬虫,就是维护一个队列,维护一个消费者线程池和一个生产者线程池。外加一个 monitor 线程用于统计队列情况。



* 利用 Redis 的原子性操作,可以做去重。
* 利用 Redis List 的 push , pop 的原子性可以做同步的生产消费队列
* 爬取网页用了 requests + BeautifulSoup 分析
* 资源后续处理使用 requests 下载资源,七牛的库上传七牛云端
* 想持续抓取,可以将爬虫加入到 celery 定时任务中

BaseSpiderClass 代码 :

二:建站

因为是做着玩的项目, 爬虫和 web 部分都放在一个项目中。
然后现在一个项目里面要承接多个 web 项目,每一个项目用的是独立域名,所以就放弃了使用 Flask 的 Blueprint 来配置子域名。
(有兴趣配置 Blueprint 的同学可以移步 https://github.com/awanabe/FlaskBluePrintDemo 我老早做的一个 Blueprint 的 demo )

于是就对原先的 nginx -> uwsgi -> flask 的模式做了一对多的改进。

> 原先一般的 Flask 项目结构是这样的

├── config.py # 配置文件
├── main.py # 项目入口, 从 service 中引出 flask app ,供 uwsgi 调用
├── service # 项目
├── ├── static # 静态文件夹
│   │   ├── css
│   │   ├── fonts
│   │   ├── img
│   │   └── js
│   ├── templates # 模板文件夹
│   └── router.py # flask app 初始化 + router
└── requirement.txt

> 改造之后,建立多个项目和对应的项目入口,静态资, config 文件,工具类,数据 model 都可以公用。

├── config.py # 配置文件
├── static # 静态文件夹
│   ├── css
│   ├── fonts
│   ├── img
│   └── js
├── utils
├── model.py

├── main_01.py # 项目入口, 从 service 中引出 flask app ,供 uwsgi 调用
├── service_01 # 项目
│   ├── templates # 模板文件夹
│   └── router_01.py # flask app 初始化 + router

├── main_02.py
├── service_02
│   ├── templates
│   └── router_02.py

├── main_03.py
├── service_03
│   ├── templates
│   └── router_03.py

└── requirement.txt

* nginx 配置多域名
* uwsgi 开启多 worker 模式,尽可能的
* 节约公共云资源,使用本地静态资源配置,所以开启了 nginx 的静态资源域名
* 全部存储都基于 Redis ,不使用 MySQL 。数据库在服务器中占用内存, IO 都是挺大的。直接用 Redis 查询写入速度大大提升。

这样就在一台主机,一个项目里面建立起了多个网站。

三。费用, 为什么有广告

> 支出
* 阿里云服务器 1G 内存 + 1Core + 3M 带宽 = 150 元 /月
* 七牛 因为我的自信,直接 po 上了 1000 张 GIF 的页面, 导致半天时间消耗流量 500G 。 直接扑街, 耗费 150 元。然后改为本机做静态资源
* 域名 2 个 com+1 个 cn = 100 左右
* 在 V2EX 上置顶,消耗 2000 个铜币 ~ 60 元吧
* 时间 5×8 小时

> 收入
* 在被七牛重重打击之后,无奈加上了 adsense 广告。有两天因为 V 友帮忙点击,超过了 1 刀一天。大部分一天 0.1~0.5 刀直接 = 8 刀 /28 天

== 巨大的坑。不可能回本嘛。。所以骂我广告🐶的然后 Block 我的,我真心不是愿意挂广告的。

四。粘度 & SEO 的反思

* 一共三个网站,流量比较好的是 GIF 和日式冷笑话,单纯的妹子图不怎么样。 流量比 10 : 1 。 => 有故事有阅读的内容比较有粘度
* 网站内容的增长几乎为 0 ,我大部分都是一次性爬取的资源。 而且以图片为主,导致搜索引擎无法抓取有效关键词。从搜索引擎进来几乎为 0 。(有评论会好点
* 图片类型网站重资源消耗,所以文字类型网站 SEO 会好做很多。
* 在 V 站,妹子图的帖子的收藏很高很高,回复超级少(宅男们,你们很厉害。。

3 4 收藏


直接登录
最新评论