2016.11.28 18:28 from---http://www.jianshu.com/p/9b634f1c9615 你是否有过下面的需求：需要给所有ajax请求添加统一签名、需要统计某个接口被请求的次数、需要限制http请求的方法必须为get或post、需要分析别人网络协议等等，那么如何做？想想，如果能够拦截所有ajax请求，那么问题就会变的很简单！?，少年，想法有点大胆，不过，我欣赏！直接上轮子，Ajax-hook不仅可以满足你想要的，同时可以给你更多。 本博客原始地址：http://www.jianshu.com/p/9b634f1c9615 Ajax-hook源码地址 : https://github.com/wendux/Ajax-hook 欢迎star 如何使用 一. 直接引入脚本 引入ajaxhook.js <sc…
2009 from---http://www.imkevinyang.com/2009/02/%E5%AD%97%E7%AC%A6%E7%BC%96%E8%A7%A3%E7%A0%81%E7%9A%84%E6%95%85%E4%BA%8B%EF%BC%88ascii%EF%BC%8Cansi%EF%BC%8Cunicode%EF%BC%8Cutf-8%E5%8C%BA%E5%88%AB%EF%BC%89.html （关于字符编码的深入解释，请参见我的原创文章《关于字符编码，你所需要知道的》。） 此文为转载，有少许修订，原文出处不详。 很久很久以前，有一群人，他们决定用8个可以开合的晶体管来组合成不同的状态，以表示世界上的万物。他们认为8个开关状态作为原子单位很好，于是他们把这称为"字节"。 再后来，他们又做了一些可以处理这些字节的机器，机器…
2016-09-09 14:26:37 更新 from---http://www.freeoa.net/osuport/sysadmin/cwrsync-setting-using_1556.html cwRsync是运用于windows 平台的数据同步机制，等于是Windows平台的 rsync 解决方案。对于rsync数据同步经常会遇到一些问题，下面的对于这些问题的解决，一定要逐一测试。 --------------------------------------- cwRsync安装配置的简单过程 1、从ITeFix下载cwRsync客户端(cwRsync)和服务器端(cwRsyncServer)。 2、在客户端安装cwRsync。 3、在服务端安装cwRsyncServer。 4、配置服务端rsyncd.conf。 例如： [tes…
极验验证：传统验证码破解算法浅析
2016-08-03 from---http://www.discuz.net/thread-3779167-1-1.html 大家都知道，极验验证首创了行为式的 验证技术，以滑动的验证形式取代了传统验证码识别的验证形式。极验首席砖家也一直告诉大家，传统的验证码很容易被破解，形同虚设。 我想大家肯定有疑问，为什么说传统验证码容易被破解呢？今天就跟随极验破解砖家的脚步，带大家一起了解下传统验证码的破解原理。 为了进行验证安全的防护，传统验证码有很多的处理方式，包括添加干扰线，添加文理背景，增加噪音，以及扭曲字符，粘连字符和使用空心字符。这些变换都是建立在图像识别技术的基础之上的，主要是增加破解的难度，当然显而易见的是，这样的变换同样也增加了人类的识别难度。说到这里，忍不住吐槽了，这种验证码简直是违背人性啊。挡住的都是普通用户，挡不了破解高手啊…
浅谈网络爬虫爬js动态加载网页（二）
2013-08-16 21:02 from---http://www.cnblogs.com/yhdino/p/3263219.html 没错，最后我还是使用了Selenium，去实现上一篇我所说的问题，别的没有试，只试了一下firefox的引擎，总体效果对我来说还是可以接受的。 继续昨天的话题，既然要实现上篇所说的问题，那么就需要一个可以执行js代码的框架。我首先选择的是htmlunit，先简单介绍一下htmlunit。下面一段摘自网络。 htmlunit 是一款开源的 java 页面分析工具，启动 htmlunit 之后，底层会启动一个无界面浏览器，用户可以指定浏览器类型：firefox、ie 等，如果不指定，默认采用 INTERNET_EXPLORER_7： WebClient webClient = new WebClient(…
爬虫实例——通过JS控制滚动条
2016-06 from---http://www.cnblogs.com/yestreenstars/p/5548101.html 案例 某位淘女郎的某个相册 有能力的童鞋可以先尝试一下爬取每张照片的链接。 我曾经尝试过几种方法，下面一一介绍： 第一种方法，采用requests和BeautifulSoup： import requests from bs4 import BeautifulSoup url = 'https://mm.taobao.com/self/album_photo.htm?spm=719.6642053.0.0.4JUVfm&user_id=687471686&album_id=10000702574&album_flag=0' bs = BeautifulSoup(requests.get…
selenium处理极验滑动验证码
2016-06-30 15:20 from---http://www.cnblogs.com/wangly/p/5630069.html 要爬取一个网站遇到了极验的验证码，这周都在想着怎么破解这个，网上搜了好多知乎上看到有人问了这问题https://www.zhihu.com/question/28833985，我按照这思路去大概实现了一下。 1.使用htmlunit（这种方式我没成功，模拟鼠标拖拽后轨迹没生成,可以跳过） 我用的是java,我首先先想到了用直接用htmlunit，我做了点初始化 private void initWebClient() { if (webClient != null) { return; } webClient = new WebClient(BrowserVersion.FIREFOX_24); webC…