`、`<meta name="description">`、`<meta name="keywords">`、`<link rel="canonical">` - 用 **普通浏览器 UA** 再请求一遍，确认仍是 200（SPA 正常）全部通过即说明：爬虫拿到的是 SEO 模板，普通用户拿到的是 SPA。 --- ## 二、用 curl 手动检测在服务器已启动的前提下，在终端执行： ### 爬虫应拿到“带 TDK 的 HTML” ```bash # 模拟百度爬虫请求首页 curl -s -A "Baiduspider/2.0" http://localhost:3000/ | findstr /i "title description keywords canonical" ``` 应能看到包含「天远数据」的 title，以及 description、keywords、canonical 等标签。 **Windows 下中文乱码说明**：服务器返回的是 UTF-8，CMD 默认是 GBK，直接 `curl … | findstr` 会看到乱码（如 `澶╄繙鏁版嵁`）或出现 “FINDSTR: 写入错误”。可任选一种方式解决： ```cmd :: 方式 1：先切到 UTF-8 再执行（CMD） chcp 65001 curl -s -A "Baiduspider/2.0" https://www.tianyuandb.com/ | findstr /i "title description" ``` ```powershell # 方式 2：PowerShell 下指定输出编码 [Console]::OutputEncoding = [System.Text.Encoding]::UTF8 curl -s -A "Baiduspider/2.0" https://www.tianyuandb.com/ | Select-String -Pattern "title|description" ``` ```cmd :: 方式 3：保存到文件后用编辑器打开（任意编码都行） curl -s -A "Baiduspider/2.0" https://www.tianyuandb.com/ -o seo-test.html :: 用记事本/VSCode 打开 seo-test.html，选 UTF-8 即可看到正确中文 ``` ```bash # 看完整 HTML 前几行（含 <head>） curl -s -A "Baiduspider/2.0" http://localhost:3000/ | more ``` ### 普通用户应拿到 SPA（一般是带 script 的 index.html） ```bash # 不带爬虫 UA，相当于普通浏览器 curl -s http://localhost:3000/ | findstr /i "script root app" ``` 通常会有 `id="app"` 或大量 `<script>`，说明是前端 SPA。 ### 看响应头（若用了 Node 中间件） ```bash curl -I -A "Baiduspider/2.0" http://localhost:3000/ ``` 若返回里有 `X-SEOMiddleware: prerendered`，说明走的是 SEO 中间件、返回的是预渲染 HTML。 --- ## 三、用浏览器“伪装”爬虫（可选） 1. 打开 Chrome DevTools (F12) → Network。 2. 右键列表头 → 勾选 “User-Agent”（或先在 More tools 里加自定义请求头）。 3. 使用扩展（如 “User-Agent Switcher”）把 UA 改成： - `Baiduspider/2.0` 4. 刷新页面，在 Elements 里看 `<head>`： - 应看到正确的 `<title>`、`<meta name="description">`、`<meta name="keywords">` 等。注意：若前端是 SPA，同一 URL 在浏览器里仍可能先加载 SPA 再改 title；用 curl 用爬虫 UA 请求，更能代表爬虫真实看到的内容。 --- ## 四、线上/生产环境检测 ### 1. 用本机脚本测线上 ```bash cd server $env:SEO_TEST_URL="https://www.xingfucha.cn"; node test-seo.js ``` （Linux/Mac 用 `export SEO_TEST_URL=https://www.xingfucha.cn` 再运行 `node test-seo.js`。） ### 2. 用 curl 测线上 ```bash curl -s -A "Baiduspider/2.0" https://www.xingfucha.cn/ | findstr /i "title description" curl -I -A "Baiduspider/2.0" https://www.xingfucha.cn/ ``` ### 3. 使用搜索引擎工具 - **百度**： [百度搜索资源平台](https://ziyuan.baidu.com/) → 抓取诊断 / 抓取频次，看抓取是否成功。 - **Google**： [Google Search Console](https://search.google.com/search-console) → URL 检查，输入首页或内页 URL，查看“已编入索引”的页面快照。 --- ## 五、检测结果对照 | 检测项 | 预期结果 | |------------------|----------| | 爬虫 UA 请求 | 返回 200，HTML 内含完整 title、description、keywords、canonical | | 爬虫响应头 | 若用 Node 中间件，有 `X-SEOMiddleware: prerendered` | | 普通浏览器请求 | 返回 200，为 SPA 的 index.html（有 #app 或大量 script） | | test-crawler-detection.js | 全部用例通过 | | test-seo.js | 全部路由“爬虫拿到 SEO 模板 + 普通用户正常” | 若某一项不符合，按下面排查： - **爬虫也拿到 SPA**：检查 Nginx/Node 里爬虫判断和 SEO 模板路径、路由映射是否正确。 - **普通用户报错或空白**：检查 SPA 静态资源和 fallback 的 index.html 是否正常。 - **标题/描述不对**：检查 `public/seo-templates/` 下对应模板是否已重新生成（`node generate-seo-templates.cjs`）。 --- ## 六、爬虫请求返回 404 时排查当执行 `curl -s -A "Baiduspider/2.0" https://www.xingfucha.cn/` 得到 **404 Not Found** 时，按下面顺序在**服务器上**检查。 ### 1. 确认已接入 SEO 配置 - 若你**还没**在宝塔里替换/合并过 `server/nginx-www.xingfucha.cn.conf` 里的 SEO 相关配置，爬虫仍会走原来的 `location /`，不会返回 SEO 模板。 - **操作**：在宝塔 → 网站 → www.xingfucha.cn → 配置文件，确认存在： - 上面的 `set $is_crawler`、`set $seo_file` 以及一堆 `if ($http_user_agent ...)`、`if ($uri = '/') ...`； - `location ~ ^/__seo__/(.+)$ { ... internal; }`； - 在 `location /` 里有 `if ($is_crawler = 1) { rewrite ^ /__seo__/$seo_file break; }`。 - 修改后执行 `nginx -t`，再重载 Nginx。 ### 2. 确认 SEO 模板目录和文件存在 404 常见原因是 Nginx 去读 SEO 模板时路径不对或文件不存在。在**服务器**上执行（路径按你实际部署的来，一般为宝塔默认）： ```bash # Linux 服务器上 ls -la /www/wwwroot/www.xingfucha.cn/seo-templates/ cat /www/wwwroot/www.xingfucha.cn/seo-templates/index.html | head -5 ``` - 若 `seo-templates` 不存在或没有 `index.html`，需要把本地的 `public/seo-templates/` 整个目录上传到服务器的 `/www/wwwroot/www.xingfucha.cn/seo-templates/`（与配置里的 `alias` 路径一致）。 - 若目录名或路径和 Nginx 里 `alias` 不一致（例如多写了 `public` 或少了一层目录），改成与配置一致或改配置里的 `alias`。 ### 3. 看 Nginx 错误日志在服务器上： ```bash tail -20 /www/wwwlogs/www.xingfucha.cn.error.log ``` 再发一次爬虫请求，看是否有 `open() ".../seo-templates/xxx.html" failed (2: No such file or directory)` 之类，根据路径修正目录或配置。 ### 4. 快速对照 | 现象 | 可能原因 | 处理 | |------|----------|------| | 爬虫返回 404 | 未接入 SEO 配置 | 按 1 合并/替换 Nginx 配置并重载 | | 爬虫返回 404 | 模板目录或文件不存在 | 按 2 上传/创建 `seo-templates` 并保证有 `index.html` | | 爬虫返回 404 | alias 路径错误 | 对照 error.log 修正 `alias` 或目录结构 | | 爬虫返回 200 但仍是 SPA | 爬虫未命中 SEO 逻辑 | 检查 `$is_crawler`、`$seo_file` 与 `rewrite` 是否生效

# SEO 检测指南 ## 一、本地快速检测 ### 1. 只测爬虫识别逻辑（不启动服务） ```bash cd server node test-crawler-detection.js ``` 会跑多组 User-Agent，看是否把百度/Google 等识别为爬虫、普通浏览器识别为非爬虫。 ### 2. 端到端检测（需先启动服务） **步骤 1：启动 SEO 服务器** ```bash cd server npm install npm run start ``` **步骤 2：另开一个终端，运行检测** ```bash cd server npm run test ``` 或指定地址： ```bash # Windows PowerShell $env:SEO_TEST_URL="http://localhost:3000"; node test-seo.js # 若部署在线上，可测线上 $env:SEO_TEST_URL="https://www.xingfucha.cn"; node test-seo.js ``` 脚本会： - 用 **百度爬虫 UA** 请求首页、代理页、帮助中心、个人查询等 - 检查响应里是否有：``、`<meta name="description">`、`<meta name="keywords">`、`<link rel="canonical">` - 用 **普通浏览器 UA** 再请求一遍，确认仍是 200（SPA 正常）全部通过即说明：爬虫拿到的是 SEO 模板，普通用户拿到的是 SPA。 --- ## 二、用 curl 手动检测在服务器已启动的前提下，在终端执行： ### 爬虫应拿到“带 TDK 的 HTML” ```bash # 模拟百度爬虫请求首页 curl -s -A "Baiduspider/2.0" http://localhost:3000/ | findstr /i "title description keywords canonical" ``` 应能看到包含「天远数据」的 title，以及 description、keywords、canonical 等标签。 **Windows 下中文乱码说明**：服务器返回的是 UTF-8，CMD 默认是 GBK，直接 `curl … | findstr` 会看到乱码（如 `澶╄繙鏁版嵁`）或出现 “FINDSTR: 写入错误”。可任选一种方式解决： ```cmd :: 方式 1：先切到 UTF-8 再执行（CMD） chcp 65001 curl -s -A "Baiduspider/2.0" https://www.tianyuandb.com/ | findstr /i "title description" ``` ```powershell # 方式 2：PowerShell 下指定输出编码 [Console]::OutputEncoding = [System.Text.Encoding]::UTF8 curl -s -A "Baiduspider/2.0" https://www.tianyuandb.com/ | Select-String -Pattern "title|description" ``` ```cmd :: 方式 3：保存到文件后用编辑器打开（任意编码都行） curl -s -A "Baiduspider/2.0" https://www.tianyuandb.com/ -o seo-test.html :: 用记事本/VSCode 打开 seo-test.html，选 UTF-8 即可看到正确中文 ``` ```bash # 看完整 HTML 前几行（含 <head>） curl -s -A "Baiduspider/2.0" http://localhost:3000/ | more ``` ### 普通用户应拿到 SPA（一般是带 script 的 index.html） ```bash # 不带爬虫 UA，相当于普通浏览器 curl -s http://localhost:3000/ | findstr /i "script root app" ``` 通常会有 `id="app"` 或大量 `<script>`，说明是前端 SPA。 ### 看响应头（若用了 Node 中间件） ```bash curl -I -A "Baiduspider/2.0" http://localhost:3000/ ``` 若返回里有 `X-SEOMiddleware: prerendered`，说明走的是 SEO 中间件、返回的是预渲染 HTML。 --- ## 三、用浏览器“伪装”爬虫（可选） 1. 打开 Chrome DevTools (F12) → Network。 2. 右键列表头 → 勾选 “User-Agent”（或先在 More tools 里加自定义请求头）。 3. 使用扩展（如 “User-Agent Switcher”）把 UA 改成： - `Baiduspider/2.0` 4. 刷新页面，在 Elements 里看 `<head>`： - 应看到正确的 `<title>`、`<meta name="description">`、`<meta name="keywords">` 等。注意：若前端是 SPA，同一 URL 在浏览器里仍可能先加载 SPA 再改 title；用 curl 用爬虫 UA 请求，更能代表爬虫真实看到的内容。 --- ## 四、线上/生产环境检测 ### 1. 用本机脚本测线上 ```bash cd server $env:SEO_TEST_URL="https://www.xingfucha.cn"; node test-seo.js ``` （Linux/Mac 用 `export SEO_TEST_URL=https://www.xingfucha.cn` 再运行 `node test-seo.js`。） ### 2. 用 curl 测线上 ```bash curl -s -A "Baiduspider/2.0" https://www.xingfucha.cn/ | findstr /i "title description" curl -I -A "Baiduspider/2.0" https://www.xingfucha.cn/ ``` ### 3. 使用搜索引擎工具 - **百度**： [百度搜索资源平台](https://ziyuan.baidu.com/) → 抓取诊断 / 抓取频次，看抓取是否成功。 - **Google**： [Google Search Console](https://search.google.com/search-console) → URL 检查，输入首页或内页 URL，查看“已编入索引”的页面快照。 --- ## 五、检测结果对照 | 检测项 | 预期结果 | |------------------|----------| | 爬虫 UA 请求 | 返回 200，HTML 内含完整 title、description、keywords、canonical | | 爬虫响应头 | 若用 Node 中间件，有 `X-SEOMiddleware: prerendered` | | 普通浏览器请求 | 返回 200，为 SPA 的 index.html（有 #app 或大量 script） | | test-crawler-detection.js | 全部用例通过 | | test-seo.js | 全部路由“爬虫拿到 SEO 模板 + 普通用户正常” | 若某一项不符合，按下面排查： - **爬虫也拿到 SPA**：检查 Nginx/Node 里爬虫判断和 SEO 模板路径、路由映射是否正确。 - **普通用户报错或空白**：检查 SPA 静态资源和 fallback 的 index.html 是否正常。 - **标题/描述不对**：检查 `public/seo-templates/` 下对应模板是否已重新生成（`node generate-seo-templates.cjs`）。 --- ## 六、爬虫请求返回 404 时排查当执行 `curl -s -A "Baiduspider/2.0" https://www.xingfucha.cn/` 得到 **404 Not Found** 时，按下面顺序在**服务器上**检查。 ### 1. 确认已接入 SEO 配置 - 若你**还没**在宝塔里替换/合并过 `server/nginx-www.xingfucha.cn.conf` 里的 SEO 相关配置，爬虫仍会走原来的 `location /`，不会返回 SEO 模板。 - **操作**：在宝塔 → 网站 → www.xingfucha.cn → 配置文件，确认存在： - 上面的 `set $is_crawler`、`set $seo_file` 以及一堆 `if ($http_user_agent ...)`、`if ($uri = '/') ...`； - `location ~ ^/__seo__/(.+)$ { ... internal; }`； - 在 `location /` 里有 `if ($is_crawler = 1) { rewrite ^ /__seo__/$seo_file break; }`。 - 修改后执行 `nginx -t`，再重载 Nginx。 ### 2. 确认 SEO 模板目录和文件存在 404 常见原因是 Nginx 去读 SEO 模板时路径不对或文件不存在。在**服务器**上执行（路径按你实际部署的来，一般为宝塔默认）： ```bash # Linux 服务器上 ls -la /www/wwwroot/www.xingfucha.cn/seo-templates/ cat /www/wwwroot/www.xingfucha.cn/seo-templates/index.html | head -5 ``` - 若 `seo-templates` 不存在或没有 `index.html`，需要把本地的 `public/seo-templates/` 整个目录上传到服务器的 `/www/wwwroot/www.xingfucha.cn/seo-templates/`（与配置里的 `alias` 路径一致）。 - 若目录名或路径和 Nginx 里 `alias` 不一致（例如多写了 `public` 或少了一层目录），改成与配置一致或改配置里的 `alias`。 ### 3. 看 Nginx 错误日志在服务器上： ```bash tail -20 /www/wwwlogs/www.xingfucha.cn.error.log ``` 再发一次爬虫请求，看是否有 `open() ".../seo-templates/xxx.html" failed (2: No such file or directory)` 之类，根据路径修正目录或配置。 ### 4. 快速对照 | 现象 | 可能原因 | 处理 | |------|----------|------| | 爬虫返回 404 | 未接入 SEO 配置 | 按 1 合并/替换 Nginx 配置并重载 | | 爬虫返回 404 | 模板目录或文件不存在 | 按 2 上传/创建 `seo-templates` 并保证有 `index.html` | | 爬虫返回 404 | alias 路径错误 | 对照 error.log 修正 `alias` 或目录结构 | | 爬虫返回 200 但仍是 SPA | 爬虫未命中 SEO 逻辑 | 检查 `$is_crawler`、`$seo_file` 与 `rewrite` 是否生效 | 按上述步骤即可完成从本地到线上的 SEO 检测。