IT 之家 7 月 1 日消息，互聯網安全和性能優化公司 Cloudflare 宣布了一系列新措施，旨在幫助網站抵御 AI 爬蟲的無限制抓取，同時探索一種新的商業模式，以保障互聯網內容創作者的利益。
據 IT 之家了解，根據 Cloudflare 的最新政策，每一個與該公司簽約以管理其網站流量的新域名客戶將被詢問是否允許 AI 爬蟲訪問其網站，還是選擇完全屏蔽這些爬蟲。此前，Cloudflare 已于 2024 年推出了一款免費工具，用于阻止 AI 爬蟲，但此次更新后，用戶無需手動調整設置即可默認屏蔽 AI 爬蟲。目前，包括康泰納仕（Cond é Nast）、《時代》雜志（TIME）和美聯社（The Associated Press）在內的多家大型出版商已經選擇屏蔽 AI 爬蟲。
Cloudflare 首席執行官馬修普林斯（Matthew Prince）指出，出版商正面臨一場 " 生存危機 "，因為用戶不再點擊聊天機器人提供的原始鏈接。如果用戶不訪問這些網站，網站就無法獲得維持運營所需的廣告收入。普林斯在一份聲明中表示：" 原創內容是互聯網成為過去一個世紀最偉大發明之一的關鍵，創作者必須繼續創作。AI 爬蟲無限制地抓取內容，我們的目標是將權力重新交還給創作者，同時幫助 AI 公司繼續創新。這關乎通過一種新的模式，保障一個自由且充滿活力的互聯網的未來。"
此外，Cloudflare 還啟動了一項名為 " 按爬取付費 " 的私人測試項目，該項目允許網站所有者向 AI 爬蟲收取訪問內容的費用。Cloudflare 解釋稱：" 每次 AI 爬蟲請求內容時，它們要么通過請求頭展示支付意愿以獲得成功訪問（HTTP 200 響應代碼），要么收到一個 402 付款所需響應，其中包含定價信息。" 該公司將記錄這些交易并提供底層技術基礎設施。出版商可以選擇允許某些爬蟲免費訪問其內容，同時也可以為其網站上的其他爬蟲設定統一的按請求收費價格。
Cloudflare 表示，" 按爬取付費 " 目前仍處于早期階段，預計未來會不斷演變。公司還支持開發其他市場平臺和收費方式，例如允許出版商根據內容類型設置動態定價。
