使用wget抓取整个站点和对应的命令详解。
省流
使用如下命令即可对目标站点进行整站抓取：
1 | wget -r -p -np -k -e robots=off https://repo.jellyfin.org/releases/plugin/ |
需要注意的是在抓取过程中需要关注内存使用否则可能引发OOM。
进阶
-r：递归；-p：–page-requisites（页面必需元素）；-np：–no-parent（不抓取父级目录）；
开启该开关后如上方举例，就只会抓取plugin下面的文件，不会探索上级目录（即便页面中有父级目录链接）。-k：将下载的HTML页面中的链接转换为相对链接即本地链接；-e robots=off：强制绕过robots.txt定义的不允许抓取的地址；--user-agent="Mozilla/5.0 (lxnchan) Firefox/3.0.3"：定义UA防止被规则匹配限流；-nc：断点续传；-nd：不在本地按照网站结构创建子目录，将所有抓取到的文件装在一个文件夹内；--accept=docx,xlsx,pptx,dotm：仅抓取指定格式的文件；--reject=html,css,js,png,jpg：排除指定格式的文件；--referrer go.microsoft.com：指定Refer；--header="Accept: text/html"：设置Header。
