本文目录一览：
- 1、python爬虫被当做黑客攻击是怎么回事呢
- 2、Python爬虫获取数据犯法吗？
- 3、什么是 Growth Hacker
- 4、淘宝12亿条客户信息遭爬取，黑客非法获利34万，客户信息是如何泄露的？
- 5、想知道网页shell攻击，等各种漏洞，寄生虫，需要哪些编程语言知识。全面一点的2016年给回答者拜
- 6、求个网页分析爬虫，能分析域名下所有的页面，把有我要找的关键字的页面自己打开。
python爬虫被当做黑客攻击是怎么回事呢
网站有专门的条款说明用户应当遵守的规定，比如百度知道就对其内容拥有知识产权，在未经允许不能转载传播。网站虽然不知道你是否会去传播，但是可以通过访问网页的速度判断你是否是一个机器人。
要想避免网站发现你在爬内容，可以适当限制爬去网页的速度。
Python爬虫获取数据犯法吗？
没有的事，如果是这样的话，百度，谷歌这些搜索引擎公司也是犯法的了。他们也是爬取别人的网站，获取信息，给用户用的。其实搜索引擎就是一种爬虫。
如果网站本身不做鉴别，网站会认为爬虫和一般的浏览器的行为是一样的。
什么是 Growth Hacker
作为一个经常拿growth hacking当特殊技能点的人发一下言。
首先，假设诸君和我一样我不想看拗口的概念词汇，那growth hacker在我理解里就是：产品初期通过用户行为快速定位，后期实现小投入大量增长的人。
－－
国外诸君在此议题上已经有过激烈讨论（见Quora） slideshare 上也有业界分享，推荐两个：
非常实惠划算的123页，但是放心，除了记几张流量图以外都是典型ppt图，直接快速按右键
长得很干货其实除了看起来视觉疲劳以外真的很干货的东西。
－－
小生我在当年年少轻狂的时候也写过一篇The Cheesecake Test （是的，抱歉了各位也是英文的），简单说，就是对一个虚拟的芝士蛋糕公司做了虚拟的A/B(准确说，还有C/D） Test...
---
实在不喜欢英文的或者想要看到具体要求的各位，请参考钛点的某篇：
牛x公司如37Signals怎么招Growth Hacker
－－－－
很好，列完了参考直接讲点通俗易于理解的好了，到底可以做到什么。（警告：以下太通俗，代码人请忍住。。）
第二个链接的dave在里面提过一个customer lifecycle, 为 Acquisition, Activation, Retention, Referral, Revenue。简单，尤其重要的是单词都短。。。从这点入手举个简单例子。因为之前那篇芝士蛋糕的可能不太接地气，假设这是家网上卖烧饼的公司好了。
1. Acquisition
把人搞过来。简单来说，可以去论坛留言，做seo, 在社交网络上吸引人气，制造话题（比如某CBD天桥上一夜过去突然贴满了撕不下啦的烧饼。。。）
总而言之，把人们吸引过来，多多益善
2. Activation
流量是没有意义的。如楼上几位都提过的A/B Testing, 主要目的就是为了让访问者真的产生行为。
比如：
a. 网站首页放个超级大烧饼照片和人笑着吃烧饼的照片比起来，哪个促进注册率
b. 如果从打开网页到下订单有几个步骤的话，哪一步多人流失？比如选好了烧饼后选择配料的那一页有很多人离开网站，经调查发现是因为白糖列在第一项，让很多南方吃咸党深受冒犯，愤而离开。。。
c. 等等等等
这一项经常作为growth hack 的重点，实在是因为科技进步，要追踪用户在网站的行为实在是太方便了。 更为重要的是，有一堆ratio可以算
3. Retention
呼唤老朋友。最直接说，如果没有知乎每周邮件的话，我基本也就不会上来（Quora模式）。 同样，作为烧饼家，同样可以：
”亲爱的doublefang： 我们注意到你已经有一个星期没有买我们的烧饼了。你最喜欢的芝士红肠烧饼还在热腾腾地等你，它的好朋友黄金芝士烧饼也深受欢迎，如果你打算换口味的话，我们的川辣 开胃烧饼也上线了”
私人化口吻＋数据分析（过去重复购买纪录，相似项推荐，同类不相似推荐）
同样，由于技术进步，也可以找到工具进行数据归类和生成固定邮件模式了
4. Referral
经典案例是dropbox的推荐好友，你和被推荐好友都得到免费容量。
那么引申一下：
我们的高级会员可以为烧饼选择特殊酱料。 暂时不想升级？没关系，邀请你的好友注册，注册好友和你都会在收到的烧饼上看到vip专享酱料。
5. Revenue
钱。 目前常见有不同版本升级（evernote）以及卖广告（flappy bird）方式 。
像烧饼店这样卖一个赚一个的。。。
a) 实惠版全年鸡蛋烧饼，营养版每周不同主题烧饼，豪华版每周精选加送鳗鱼主题。所有实惠版用户半年后会收到专属促销代码，可半价订购一周豪华饼
b) 烧饼盒子广告位
－－－－－
通俗搞笑的例子讲完了。最后送一张源自网络的经典图
实现增长什么都要做，但中心是analytics...growth hacker的人叫hacker，是所谓有技能有头脑面对问题劈山砍柴（这词用错了？）搞出个方法解决问题的人。
更新：:被通知多年前的这个答案被推荐了。顺便回来更新一下后来写的方法论：下方是链接，更下方是直接复制的内容...
难得干货的钛点｜Growth Hacking 技巧们 （一）
(3) The SERP Hack
我知道有些人为了更高冷地聊天，一看到缩写就会问全称。
Search Engine Results Page，简单讲就是搜索排名的结果。这一部分讲的不是调整网站本身的结构，比如优化title, description什么的方便爬虫抓取，或者关键内容用Javascript会不会干扰搜索后显示结果这类。
因为初创企业本身很难有流量（而且通过技术手段调整也实在是硬实力了）。
方法是，通过垂直社区等所有与关键词相关的大站来拉高自己网站的排名。比如在Quora，国内类推是知乎，百度知道等，以及所有与创业领域相关的垂直社区网站。
以下是假设我需要找个人清洁房子，分别在Google和百度上搜索的结果：
Google 非广告类结果中第一个是社区文章，接下来几个是相关类型社区。
百度第一个是百度知道上的回答（们），跑到那给链接还是蛮方便的。
所以说在Quora上问一个问题经常出现一群创始人扑上来回答，回答之前不忘在自己的一句话描述里介绍公司，回答同时不忘在结尾顺势提一下自己公司并给出外链。
当然鉴于国情等等在知乎上这么干可能直接被骂营销号，所以去百度吧。
总之，重点是通过已经有影响力的站点拉高自己的搜索排名。
（4）The Omnipotence Hack
名字听起来特别适合作为Boss压轴出场，但此处讲的就是（尽可能）覆盖所有可以进行宣传的社交平台。
这句话的一个重要依据是用户是难以预测的。比如你平时喜欢用Facebook, Twitter等与人沟通，但他就是喜欢在Instagram，Pinterest上搜搜自己关注的公司, 顺便查一下Linkedin.
所以唯一方法就是保证他在所有平台都可以找到你，接收到宣传和更新。另外一个好处（以及缺点）是不同平台可以实现的宣传手法不同，短平快T，图片流I，P和亲民派F等等。缺点就是需要耗费人力，而且万一人力不足出现开了帐户但没有精心维护的情况，反而可能造成负面效果。
放在国内，由于垄断性目前只有微博和微信这两处需要关注。不过类比instagram，也有各种红红火火的图片应用，各自定位又不同（食色，Nice，etc），所以只能总结性地说，到你目标用户可能去的地方去。
（5）The Guest Post Hack
通过在相关领域知名的博客主那里发表客座文章来吸引人关注产品。
这类里面我印象最深的就是Andrew Chen的博客上的客座稿件，因为——实际上我就是看了那些文章才决定关注他的博客的。
比如这篇：
Nird的书Hooked因为搭上PH的创始人作为同著者的名头而在国内受到追捧。实际上，作为早期邮件订阅者表示他写这本书很久了。从分章节寄订阅邮件征求反馈到最后定稿（还搞了个订阅者特惠），可以看出是非常详尽的规划。
不过个人觉得写得一般，当然有反对意见可以留言。
总之，高质高量的guest post是一种双赢的宣传手段。而且据我观察国内初创对这招已经用得炉火纯青了。就算没空总结心得，都可以随便写一篇可能对初创企业有用的工具总结，然后把自己的服务放进去。
淘宝12亿条客户信息遭爬取，黑客非法获利34万，客户信息是如何泄露的？
近些日子，一则“淘宝12亿条客户信息遭爬取，黑客非法获利34万”的问题，引发了广大网友们的热议，在网上闹的沸沸扬扬。那么，客户的信息是如何泄漏的呢？这个黑客使用了python的爬虫技术，爬出了淘宝的信息。然后这个黑客把这些拿到的信息，都拿去售卖给了其他需要这些信息的公司，各有所需。这些信息泄漏之后，轻则让我们收到更多的垃圾信息和骚扰电话，重则被骗取钱财。那么具体的情况是什么呢？我来给大家分享一下我的看法。
一.黑客爬取信息
这些黑客是通过python这个语言，利用了爬虫的功能，爬取了淘宝的12亿条客户的信息。不得不说，这个黑客的技术也是确实很硬，能够把淘宝这样的大公司的信息给爬取出来。
二.黑客售卖信息
爬取到了12亿条信息之后，黑客是售卖了这12亿条的淘宝客户的信息。成功的盈利了34万的一个金额，也是非常的多了。
三.信息泄漏的后果
信息邪路的后果，有轻有重。轻则是受到更多的垃圾短息，已经骚扰电话。重则是可能银行卡会被盗刷，掌握了自己的关键信息，导致自己更加的容易受骗等等。
以上就是我对于这个问题所发表的看法，纯属个人观点，仅供参考。大家有什么不同的看法都可以在评论区留言，大家一起讨论一下。大家看完，记得点赞，加关注哦。
想知道网页shell攻击，等各种漏洞，寄生虫，需要哪些编程语言知识。全面一点的2016年给回答者拜
数据库语言:MySQL,Oracle,ms SQL等，根据对象使用关系数据库类型
shell脚本语言，JavaScript脚本语言
超文本语言html4.01或者html5
动态网页语言php,asp,perl，根据对象确定。
css对你意义不大。
再有就是C或者c＋＋开发病毒的软件。
以上至少要求精通。
还有就是别想用windows去攻击，用Unix或者类Unix，这又是一门大课程。所以，别想去骇别人了，目前简单的攻击就是DDOS或者sql注入攻击。这都得看对方的后台代码如何。一个人学完这些语言几乎不可能，更不说精通了。去下了端口扫描软件，别太当真了。黑客不是一两年就可以学成了，除非你有师傅，直接学方法。
求个网页分析爬虫，能分析域名下所有的页面，把有我要找的关键字的页面自己打开。
1 爬虫技术研究综述
引言�
随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎(Search Engine)，例如传统的通用搜索引擎AltaVista，Yahoo!和Google等，作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是，这些通用性搜索引擎也存在着一定的局限性，如：�
(1) 不同领域、不同背景的用户往往具有不同的检索目的和需求，通用搜索引擎所返回的结果包含大量用户不关心的网页。�
(2) 通用搜索引擎的目标是尽可能大的网络覆盖率，有限的搜索引擎服务器资源与无限的网络数据资源之间的矛盾将进一步加深。�
(3) 万维网数据形式的丰富和网络技术的不断发展，图片、数据库、音频/视频多媒体等不同数据大量出现，通用搜索引擎往往对这些信息含量密集且具有一定结构的数据无能为力，不能很好地发现和获取。�
(4) 通用搜索引擎大多提供基于关键字的检索，难以支持根据语义信息提出的查询。�
为了解决上述问题，定向抓取相关网页资源的聚焦爬虫应运而生。聚焦爬虫是一个自动下载网页的程序，它根据既定的抓取目标，有选择的访问万维网上的网页与相关的链接，获取所需要的信息。与通用爬虫(general�purpose web crawler)不同，聚焦爬虫并不追求大的覆盖，而将目标定为抓取与某一特定主题内容相关的网页，为面向主题的用户查询准备数据资源。�
1 聚焦爬虫工作原理及关键技术概述�
网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件，如图1(a)流程图所示。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止，如图1(b)所示。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。�
相对于通用网络爬虫，聚焦爬虫还需要解决三个主要问题：�
(1) 对抓取目标的描述或定义；�
(2) 对网页或数据的分析与过滤；�
(3) 对URL的搜索策略。�
抓取目标的描述和定义是决定网页分析算法与URL搜索策略如何制订的基础。而网页分析算法和候选URL排序算法是决定搜索引擎所提供的服务形式和爬虫网页抓取行为的关键所在。这两个部分的算法又是紧密相关的。�
2 抓取目标描述�
现有聚焦爬虫对抓取目标的描述可分为基于目标网页特征、基于目标数据模式和基于领域概念3种。�
基于目标网页特征的爬虫所抓取、存储并索引的对象一般为网站或网页。根据种子样本获取方式可分为：�
（1） 预先给定的初始抓取种子样本；�
（2） 预先给定的网页分类目录和与分类目录对应的种子样本，如Yahoo!分类结构等；�
（3） 通过用户行为确定的抓取目标样例，分为：�
a) 用户浏览过程中显示标注的抓取样本；�
b) 通过用户日志挖掘得到访问模式及相关样本。�
其中，网页特征可以是网页的内容特征，也可以是网页的链接结构特征，等等。�
现有的聚焦爬虫对抓取目标的描述或定义可以分为基于目标网页特征，基于目标数据模式和基于领域概念三种。�
基于目标网页特征的爬虫所抓取、存储并索引的对象一般为网站或网页。具体的方法根据种子样本的获取方式可以分为：（）预先给定的初始抓取种子样本；（2）预先给定的网页分类目录和与分类目录对应的种子样本，如Yahoo!分类结构等；（3）通过用户行为确定的抓取目标样例。其中，网页特征可以是网页的内容特征，也可以是网页的链接结构特征，等等
我可以帮你做一个搜索引擎。站内的