NoviaHub-News：NoviaHub「AI 热点」的爬虫

NoviaHub-News 是 NoviaHub「AI 热点」栏目的资讯采集程序。它读取 AI 公司、研究机构和科技媒体公开发布的订阅源、列表页和文章页，为每条资讯写一段 AI 摘要，并链接回原文。

它的 User-Agent 是 NoviaHub-News/1.0 (+https://noviahub.com/developers/news/about)，在 robots.txt 里的名字是 noviahub-news。

它遵守 robots.txt（RFC 9309）：先按写给 noviahub-news 的规则，没有就按 * 的规则。读不到一个站点的 robots.txt（服务器错误、429 或网络错误）时，它不抓取这个站点的任何内容。它不登录，不绕过验证码或 Cloudflare 等防护，也不伪装成浏览器。

它访问得很少：每个来源的订阅或列表页每 1 到 12 小时读一次，新文章的页面通常只读一次。NoviaHub 只展示标题、AI 摘要和原文链接，不展示全文，也不转载图片。

如果不希望它抓取你的网站，在 robots.txt 里加上：

User-agent: noviahub-news
Disallow: /

NoviaHub 的开发者栏目还有一个爬虫 NoviaHub-Developers（robots.txt 里的名字是 noviahub-developers），它读取 GitHub 等公开接口和开源仓库，同样遵守 robots.txt。 有问题或希望删除内容，请写信给 [email protected]。