全网搜图，为什么「你搜得到、服务器搜不到」

背景

做内容站的同学多少会遇到一个尴尬：自己在浏览器里一搜一堆图，想让服务器端的脚本去全网搜图配图，却总是什么都抓不到。以为是自己代码写错了，反复排查后才发现——根本原因不在代码，而在「能力」和「网络现实」两层。

这篇文章记录一次完整排查，把「为什么服务器搜不到图」「到底能用哪些源」「怎么彻底打通」讲清楚。

过程

问题描述

需要给文章/资源库配图，优先「到网上找现成图」以省成本。但服务器端脚本搜图总是失败：要么返回空、要么全是无关图、要么直接连不上。

排查：先分清「搜不到」还是「搜不了」

这其实是两个不同的问题：

• 搜不到：工具本身看不到图。主流的网页抓取/搜索是纯文本能力——抓网页只返回文字，<img> 的图片字节会被丢弃。用这类工具"看图库"，等于看文字版，自然"找不到图"。
• 搜不了：网络层面被挡。国内服务器的出口 IP，很多国外图片源（维基百科、Clearbit、DuckDuckGo、Google 相关服务）会拒绝：有的直接返回 403，有的连接超时。这不是代码问题，是访问不到。

逐个实测各种源的结果：

关键结论：国内服务器想搜图，能稳定用的其实是「国内可达的搜索引擎」——百度图片 + Bing 国内节点。国外那一票（尤其 Google 系）基本别指望。

两条实现路线

路线一：Bing 直接解析（轻量，零依赖）

Bing 图片搜索把真实大图 URL 直接写在服务端 HTML 里（murl 字段）。用 curl 抓回来正则解析即可，不需要浏览器、不需要任何权限：

curl -s -L -A "Mozilla/5.0" "https://www.bing.com/images/search?q=关键词" \
  | grep -oE 'murl":"https?://[^&]+'

优点：快、零成本、好接入。缺点：只覆盖 Bing；搜中文长词偶发串图。

路线二：真浏览器渲染（百度 + Bing 全覆盖）

百度图片的结果是 JS 异步加载的，纯 curl 拿不到，必须跑一个真正加载 JS 的浏览器。用 Playwright 起无头 Chromium，打开搜索页、滚动触发懒加载、从 DOM 抽图片 URL——百度就能稳定搜到真实大图了。

这一步需要一个前置：容器里得能跑 Chromium，缺的系统库要装。而容器内往往没有 root——真正的 root 通道在宿主机（SSH 提权后再 docker exec -u root 进容器），装齐依赖后 Chromium 就能启动。

配图策略：国内优先，落地自家图床

搜图解决的只是"找到"，最后还要"用得上"：

1. 搜索引擎用国内的：百度（主）+ Bing 国内节点（辅）。
2. 图源优先国内 CDN：img*.baidu.com、阿里云、腾讯、字节、知乎等国内直链，保证前端加载快。
3. 最终全部落到自家图床：不管从哪搜到，下载 → 传自家图床 → 用图床直链。好处是前端永远走自己域名，不受源站是否还在、是否防盗链影响。

总结

正确做法 / 复用经验

• 先分清「搜不到」还是「搜不了」：纯文本工具看不到图（能力缺口），和出口 IP 被图源拒绝（网络限制），是两回事，排查方向完全不同。
• 国内服务器 = 国内图源优先：百度 + Bing 国内节点是稳定可用的；Google/维基/国外图库多数不可用，别耗时间。
• 搜到 ≠ 能用：Bing 索引里的 URL 约三分之一可能已失效或防盗链（404/403），必须逐个下载校验，只留真能下的。
• 中文长词容易串图：搜 logo / 精准图时，用英文品牌名命中更准；脚本要加"去重同图"防御。
• 最终落自家图床：不依赖任何第三方源站的存活状态。

参考

• Playwright 文档：无头浏览器渲染与 DOM 提取。
• 配图优先级经验同样适用于内容站的"先找现成图、省成本"原则。