点击阅读更多...

昨天受到zero大神的指点,感觉有了思路 ( 其实主要是技术认知不行.... ) , 本来我在写这个镜像站的时候 最早的思路是这样:

用户访问站群(多ip多分布) → 镜像站带上域名参数,然后用requests请求主程序 → 主程序通过域名判断返回的内容和模板...

基本的思路,就和爬虫一样...自己镜像自己.....但是这个过程中,多使用了一次requests,感觉有点消耗资源...,Z大的建议是:

用户访问站群(多ip多分布) → apahce直接反向代理到主程序 → 主程序通过reques

点击阅读更多...

有的人说Django很重...其实说这句话的人主要也是不会用Django才会这样说... 比如有人给你一把瑞士军刀....你当然可以只用来剪指甲... 下面这个代码,不足70行代码,就可以实现一个简单的镜像站功能... 非常灵活,非常方便...,直接把代码保存为main.py , 然后运行python main.py runserver 8000 ,连数据库都不用装!,模板也不需要 ( 全部是抄的... )

题外话

为什么突然想起这个功能...,因为有一个强大的思路: 目前在搞的一套站群程序,最

点击阅读更多...

今天上午,把模板进行了一番调整,主要是把上下篇,侧边栏的摘要都显示出来...主要自己还不懂前端,所以干起来比较费劲.. 大致的效果如下 : 这是摘要...,css部分还要看下怎么处理比较好... 在侧边栏的时候,显示了日期和摘要... ( 虽然有种说法,日期时间修改的越早越好... ),但是还是先这样显示出来了...

同时今天把分布监控的部分给修复了一下,一个小BUG...

关于以后的站群的方向

今天突然发现一个灵感,统一后台如果可以最终只要加一下域名,选择一下模板,远程的什么东西自然就全部

点击阅读更多...

点击阅读更多...

目前站群是用docker来管理,还没做成swarm的集群模式,所以每次更新代码以后较为繁琐..都要登录服务器去运行一个restart的脚本...,这种做法明显是在浪费时间,虽然操作起来也很快...

还好python有一个库,使用方式如下...

import fabric
path_web = '地址'
def docker_install():
    # 需要访问的host列表
    for host in ['127.0.0.1']:
        con

点击阅读更多...

很多人感觉Django很庞大,是一个严格遵守MTV开发流程的框架..每次搭建一个Django的时候,都需要好多文件,布置起来非常复杂... 但是其实Django只是把功能提供给你而已,你要不要用,完全取决于需求... 比如我就有这样一个需求:

如何搭建一个非常简单的服务,访问首页的时候,直接返回该服务器所在的ip地址?

这个功能作用是什么,比如我家里有一台服务器,公网ip经常变,我需要对其进行一个自动的白名单维护..,那么就需要知道这个ip是否有改变.. 当然你也可以在该服务器上写上这样一个任务

点击阅读更多...

自动上次收录功能和排名查询自动更新功能,.做好,距离现在已经4天了.. ,后来昨天又改成了分布式的查询方式,但是感觉没做成全自动任务,总感觉少了点什么.. 本来想用APScheduler直接做定时任务的,但是感觉这样就没进步了(因为现在一直都是用这个框架) 所以就研究了一下django_celery_beat,不得是不说,还是有一些坑,经过一些配置,总算好了:

在后台简单的配置一下,就可以实现了每天1次的查排名和收录(全自动的方式)

这个django-celery-beat还算是比较强大,支持

点击阅读更多...

把Django集成了Celery分布式的方式,且把查排名这个功能也集成到系统中了.. 目前的效果大致如下: 目前只是集成百度pc排名,移动端的排名还没弄,首先比较麻烦,而且最重要的还没办法上... 这个Django不得不说,实在是方便...,简单几个配置就实现了

1. 分布式排名查询,可以多台电脑同时更新
2. 对查排名的结果进行计算,知道整体的变化情况,方便后续..

接下去?

1. 结合站内,把近期需要操作排名的词,自动分配到各个页面上(既所谓的内链优化)
2. 对接到KP系统
3. 在未收录地图里面,再新增计算字

点击阅读更多...

点击阅读更多...