您现在的位置是: 首页 > HTML/CSS HTML/CSS
Linux服务器中输入如下命令抓取网站HTML页面
冬寂
2020-08-05 22:47:00
【HTML/CSS】
7490人已围观
在Linux服务器中输入如下命令抓取网站HTML页面:
wget -r -p -np -k -E http://www.xxx.com 抓取整站
wget -l 1 -p -np -k http://www.xxx.com 抓取第一级
-r 递归抓取
-k 抓取之后修正链接,适合本地浏览.
wget -m -e robots=off -k -E “http://www.xxx.com/“
可以将全站下载以本地的当前工作目录,生成可访问、完整的镜像。
解释:
-m //镜像,就是整站抓取
-e robots=off //忽略robots协议,强制、流氓抓取
-k //将绝对URL链接转换为本地相对URL
-E //将所有text/html文档以.html扩展名保存
随机图文
-
Linux服务器中输入如下命令抓取网站HTML页面
Linux服务器中输入如下命令抓取网站HTML页面 -
当我读了4000期《时代》周刊以后(The TIME Project)
在2013年到2017年期间,我阅读了从1923年到2000年的每一期《时代》杂志,总共将近4000期,同时也相当于是研读了77年有价值的历史。一开始,我只是把这项阅读工程当成一种追踪经济历史的方式,但最后的落脚点却是个人变革。通过一周接一周地阅读一代又一代人出版的《时代》,我能够观察与感知到历史画卷在我面前徐徐展开。这个经历最终改变了我的生活方式。原作者Scott Krisiloff -
绿化带植物还有那么多讲究?
种在路边需要 叶子大(阴凉,减小噪音,吸附粉尘), 长得快(快速绿化,不能10多年还长不大,不阴凉), 绿叶期长(长时间阴凉), 耐寒抗冻(好生养), 不能是同一个品种,得交叉种植(不至于得病全死了) 不能种桉树之类的(有毒,对人不好,对鸟不好) -
李佳琦正沦为淘宝“弃子”
以雕爷这个行业内人说的为准好吧:化妆品79 元销售额的话,李佳琦方大约拿走 40%,也就是 31.6 元,归李佳琦,噢,对了,每一个单品,无论卖掉多少,还得额外交 5~8 万元左右的“坑位费”
