信息发布→ 登录 注册 退出

Linux如何使用Wget递归下载_Linux下整站爬取与断点续传技巧【指南】

发布时间:2026-01-04

点击量:
要完整镜像网站并支持断点续传,需组合使用wget的递归(-r)、断点续传(-c)、依赖下载(-p)、链接本地化(-k)、深度限制(-l 3)等参数,并配合robots忽略、User-Agent伪装、文件类型过滤及日志记录。

如果您需要在Linux系统中使用Wget工具对网站进行完整镜像下载,或在中断后继续未完成的下载任务,则需掌握其递归抓取与断点续传的核心参数组合。以下是实现该目标的具体操作步骤:

一、基础递归下载整站内容

Wget默认不启用递归模式,必须显式指定-r参数才能遍历目录结构并下载链接资源。同时需限制递归深度与文件类型,避免无限制爬取导致磁盘溢出或违反网站robots.txt规则。

1、执行基本递归下载命令:wget -r -l 3 -p -k -E -nH --no-parent https://example.com/

2、其中-l 3表示最大递归深度为3层,-p下载页面所需所有图片、CSS、JS等依赖文件,-k重写HTML链接为本地可浏览格式,-E自动添加.html扩展名,-nH禁用主机名子目录,--no-parent禁止向上级目录跳转。

3、添加--restrict-file-names=windows可确保生成的文件名兼容Windows系统,避免冒号、问号等非法字符。

二、启用断点续传与失败重试机制

网络不稳定或服务器限流可能导致下载中断,Wget支持基于HTTP Range请求的断点续传功能,前提是目标服务器支持字节范围请求(Accept-Ranges: bytes)。

1、在原有递归命令基础上增加-c参数启动断点续传:wget -c -r -l 3 -p -k -E -nH --no-parent https://example.com/

2、添加--tries=10设定单个文件最多重试10次,--retry-connrefused允许在连接被拒绝时也尝试重连。

3、使用--wait=1 --random-wait控制请求间隔,防止因访问过于频繁被服务器封禁IP。

三、配合robots.txt策略与用户代理伪装

Wget默认遵守robots.txt协议,若目标站点禁止爬虫访问,则需手动覆盖该行为;同时部分网站会根据User-Agent字段屏蔽默认的Wget标识,需模拟常见浏览器身份。

1、忽略robots.txt限制:在命令中加入-e robots=off参数。

2、设置浏览器风格User-Agent:--user-agent="Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36"

3、完整组合示例:wget -e robots=off --user-agent="Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36" -c -r -l 3 -p -k -E -nH --no-parent https://example.com/

四、限制下载范围与排除冗余路径

整站下载常伴随大量无用资源(如后台接口、动态脚本、重复图片),可通过正则匹配方式排除特定URL模式,缩小存储占用并提升效率。

1、使用--reject参数过滤文件类型:--reject="cgi,php,asp,aspx,jsp"

2、利用--exclude-directories跳过指定目录:--exclude-directories="/admin,/wp-admin,/cgi-bin"

3、结合--accept白名单机制,仅下载HTML、CSS、JS、PNG、JPEG等静态资源:--accept="html,htm,css,js,png,jpg,jpeg,gif"

五、保存会话状态与日志追踪

长时间运行的下载任务需记录过程信息以便排查问题,Wget提供详细日志输出与进度保存功能,支持中断后恢复上下文。

1、将完整执行日志写入文件:-o wget-log.txt

2、启用进度显示并保存当前下载状态:--progress=bar:force --save-cookies cookies.txt

3、若需暂停任务,直接按Ctrl+C即可安全终止;再次运行相同命令时,Wget将自动检测已存在文件并跳过或续传。

标签:# app  # CGI  # 接口  # restrict  # 递归  # win  # ai  # 工具  # 字节  # php  # 浏览器  # cookie  # windows  # js  # html  # linux  # css  
在线客服
服务热线

服务热线

4008888355

微信咨询
二维码
返回顶部
×二维码

截屏,微信识别二维码

打开微信

微信号已复制,请打开微信添加咨询详情!