极验验证：传统验证码破解算法浅析
2016-08-03 from---http://www.discuz.net/thread-3779167-1-1.html 大家都知道，极验验证首创了行为式的 验证技术，以滑动的验证形式取代了传统验证码识别的验证形式。极验首席砖家也一直告诉大家，传统的验证码很容易被破解，形同虚设。 我想大家肯定有疑问，为什么说传统验证码容易被破解呢？今天就跟随极验破解砖家的脚步，带大家一起了解下传统验证码的破解原理。 为了进行验证安全的防护，传统验证码有很多的处理方式，包括添加干扰线，添加文理背景，增加噪音，以及扭曲字符，粘连字符和使用空心字符。这些变换都是建立在图像识别技术的基础之上的，主要是增加破解的难度，当然显而易见的是，这样的变换同样也增加了人类的识别难度。说到这里，忍不住吐槽了，这种验证码简直是违背人性啊。挡住的都是普通用户，挡不了破解高手啊…
浅谈网络爬虫爬js动态加载网页（二）
2013-08-16 21:02 from---http://www.cnblogs.com/yhdino/p/3263219.html 没错，最后我还是使用了Selenium，去实现上一篇我所说的问题，别的没有试，只试了一下firefox的引擎，总体效果对我来说还是可以接受的。 继续昨天的话题，既然要实现上篇所说的问题，那么就需要一个可以执行js代码的框架。我首先选择的是htmlunit，先简单介绍一下htmlunit。下面一段摘自网络。 htmlunit 是一款开源的 java 页面分析工具，启动 htmlunit 之后，底层会启动一个无界面浏览器，用户可以指定浏览器类型：firefox、ie 等，如果不指定，默认采用 INTERNET_EXPLORER_7： WebClient webClient = new WebClient(…
爬虫实例——通过JS控制滚动条
2016-06 from---http://www.cnblogs.com/yestreenstars/p/5548101.html 案例 某位淘女郎的某个相册 有能力的童鞋可以先尝试一下爬取每张照片的链接。 我曾经尝试过几种方法，下面一一介绍： 第一种方法，采用requests和BeautifulSoup： import requests from bs4 import BeautifulSoup url = 'https://mm.taobao.com/self/album_photo.htm?spm=719.6642053.0.0.4JUVfm&user_id=687471686&album_id=10000702574&album_flag=0' bs = BeautifulSoup(requests.get…
selenium处理极验滑动验证码
2016-06-30 15:20 from---http://www.cnblogs.com/wangly/p/5630069.html 要爬取一个网站遇到了极验的验证码，这周都在想着怎么破解这个，网上搜了好多知乎上看到有人问了这问题https://www.zhihu.com/question/28833985，我按照这思路去大概实现了一下。 1.使用htmlunit（这种方式我没成功，模拟鼠标拖拽后轨迹没生成,可以跳过） 我用的是java,我首先先想到了用直接用htmlunit，我做了点初始化 private void initWebClient() { if (webClient != null) { return; } webClient = new WebClient(BrowserVersion.FIREFOX_24); webC…
Tesseract-OCR的简单使用与训练
2016 from---http://www.cnblogs.com/cnlian/p/5765871.html Tesseract，一款由HP实验室开发由Google维护的开源OCR（Optical Character Recognition , 光学字符识别）引擎，与Microsoft Office Document Imaging（MODI）相比，我们可以不断的训练的库，使图像转换文本的能力不断增强；如果团队深度需要，还可以以它为模板，开发出符合自身需求的OCR引擎。 源码地址为：https://github.com/tesseract-ocr/tesseract； EXE可执行文件地址：http://download.csdn.net/download/whatday/7740469； 接下来，我们将在Windows环境下安装Tes…
maven generating project in batch mode hang
2015 from---http://www.cnblogs.com/beiyeren/p/4566485.html 现象： 执行 archetype:generate 的时候，会产生 [INFO] Generating project in Batch mode 然后就一直阻塞在这里 原因是：网速问题， 解决方法： 设置maven不要从远程服务器上获取catalog，增加参数-DarchetypeCatalog=internal 如何在idea里设置maven参数：
知识库 : 使用Tesseract识别弱验证码
2015-07-08 from---http://udn.yyuap.com/doc/ae/920457.html 摘要 1.验证码 2.验证码识别思路 3.验证码的强弱 4.Tesseract 5.Tesseract识别验证码示例 1.验证码 Wikipedia中验证码定义如下： A CAPTCHA (an acronym for "Completely Automated Public Turing test to tell Computers and Humans Apart") is a type of challenge-response test used in computing to determine whether or not the user is human. 翻译为中文就是： 全自动区分计算机和人类的公开图灵测试…