論文の概要: Identifying AI Web Scrapers Using Canary Tokens

• arxiv url: http://arxiv.org/abs/2605.13706v1
• Date: Wed, 13 May 2026 15:53:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:28.157419
• Title: Identifying AI Web Scrapers Using Canary Tokens
• Title（参考訳）: カナリアトークンによるAI Webスクラッパの識別
• Authors: Steven Seiden, Triss Ren, Caroline Zhang, Taein Kim, Enze Liu, Emily Wenger,
• Abstract要約: 大きな言語モデル(LLM)をフィードする大規模なWebスクレイピングは、サイトの安定性に影響を与え、法的、プライバシー、倫理的懸念を高める。 本稿では, LLM 関連スクレーカーの精度, 自動推定のための新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 4.364248691212873
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: From pre-training to query-time augmentation, web-scraped data helps to improve the quality and contextual relevancy of content generated by large language models (LLMs). However, large-scale web scraping to feed LLMs can affect site stability and raise legal, privacy, or ethics concerns. If website owners wish to limit LLM-related web scraping on their site, due to these or other concerns, they may turn to scraper access control mechanisms like the Robots Exclusion Protocol. To be most effective, such mechanisms require site owners to first identify the scrapers that they wish to restrict (e.g., via User-Agent strings). Existing mechanisms to identify LLM-related scrapers rely on voluntary disclosure by companies, one-off experiments by researchers, or crowd-sourced reports -- methods that are neither reliable nor scalable. This paper proposes a novel technique for accurately and automatically inferring LLM-related scrapers. We host dynamic websites that serve unique canary tokens to each visiting scraper, then prompt LLMs for information about our sites. If an LLM consistently generates outputs containing tokens unique to a scraper, it provides evidence of exposure to that scraper. Via experiments across 22 production LLM systems, we demonstrate that our approach can reliably identify which scrapers feed which LLM, including several that are not publicly known or disclosed by the companies. Our approach provides a promising avenue for unprivileged third parties to infer which scrapers serve data to which LLMs, potentially enabling better control over unwanted scraping.
• Abstract（参考訳）: 事前トレーニングからクエリ時拡張まで、Webスクラッドデータは、大きな言語モデル(LLM)によって生成されたコンテンツの品質とコンテキスト的関連性を改善するのに役立ちます。 しかし、LLMをフィードする大規模なWebスクレイピングは、サイトの安定性に影響を与え、法的、プライバシー、倫理的懸念を提起する可能性がある。 ウェブサイトのオーナーがLLM関連のWebスクレイピングを制限したい場合、これらや他の懸念から、Robots Exclusion Protocolのようなスクレイパーアクセス制御機構に切り替える可能性がある。 最も効果的にするためには、サイトオーナーは、最初に制限したいスクレイパーを識別する必要がある(例えば、User-Agent文字列を介して)。 LLM関連のスクレーカーを識別する既存のメカニズムは、企業による自発的な開示、研究者によるワンオフ実験、クラウドソースによる報告などに依存している。 本稿では, LLM関連スクレーカーの精度, 自動推定のための新しい手法を提案する。 訪問スクレイパーごとにユニークなカナリアトークンを提供する動的ウェブサイトをホストし、そのサイトに関する情報をLCMに促します。 LLMがスクレイパー特有のトークンを含む出力を一貫して生成すると、そのスクレイパーに露出する証拠が提示される。 当社のアプローチは,22のLLMシステムを対象とした実験により,LLMがどのスクレイパーに供給するかを確実に特定できることを実証する。 我々のアプローチは、特権のない第三者が、どのスクレイパーがどのLSMにデータを提供するかを推測し、望ましくないスクレーピングのより良い制御を可能にする、有望な道を提供する。

関連論文リスト

• DeGenTWeb: A First Look at LLM-dominant Websites [4.7586268097101945]
  本稿では,LLMが支配するWebサイトを体系的に識別するDeGenTWebについて述べる。 Web ページ上で LLM 生成テキストの検出に適応する方法を示す。 LLMが優位なサイトはCommon CrawlのデータとBingの検索結果の両方で広く利用されている。
  論文  参考訳（メタデータ） (2026-04-30T17:54:35Z)
• Beyond BeautifulSoup: Benchmarking LLM-Powered Web Scraping for Everyday Users [5.7578515237305625]
  大規模言語モデル(LLM)はウェブスクレイピングを民主化しており、低スキルのユーザは単純な自然言語プロンプトを通じて洗練された操作を実行できる。 これまでのLCMベースのベンチマークでは,手作業による手作業がなくても,初心者のユーザはアクセス不能なWebサイトをスクラップできることがわかった。
  論文  参考訳（メタデータ） (2026-01-09T20:34:28Z)
• Information-Guided Identification of Training Data Imprint in (Proprietary) Large Language Models [52.439289085318634]
  情報誘導プローブを用いて,プロプライエタリな大規模言語モデル (LLM) で知られているトレーニングデータを識別する方法を示す。 我々の研究は、重要な観察の上に成り立っている: 高次数テキストパスは、暗記プローブにとって良い検索材料である。
  論文  参考訳（メタデータ） (2025-03-15T10:19:15Z)
• Get my drift? Catching LLM Task Drift with Activation Deltas [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)
• AutoScraper: A Progressive Understanding Web Agent for Web Scraper Generation [54.17246674188208]
  Webスクレイピングは、Webサイトからデータを抽出し、自動データ収集を可能にし、データ分析機能を強化し、手動のデータ入力作業を最小化する強力なテクニックである。 既存の手法では、ラッパーベースの手法は、新しいウェブサイトで直面する場合、適応性とスケーラビリティの制限に悩まされる。 本稿では,大規模言語モデル(LLM)を用いたWebスクレイパー生成のパラダイムを紹介し,多様なWeb環境をより効率的に処理できる2段階フレームワークであるAutoScraperを提案する。
  論文  参考訳（メタデータ） (2024-04-19T09:59:44Z)
• Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs [59.596335292426105]
  本稿では,大規模な言語モデルにおけるセーフガードを評価するための,最初のオープンソースデータセットを収集する。 我々は、自動安全性評価において、GPT-4に匹敵する結果を得るために、BERTライクな分類器をいくつか訓練する。
  論文  参考訳（メタデータ） (2023-08-25T14:02:12Z)
• Detecting Phishing Sites Using ChatGPT [2.3999111269325266]
  本稿では,大規模言語モデル(LLM)を用いてフィッシングサイトを検出するChatPhishDetectorという新しいシステムを提案する。 本システムでは,Webクローラを利用してWebサイトから情報を収集し,クローリングデータに基づいてLLMのプロンプトを生成し,LLMが生成した応答から検出結果を取得する。 GPT-4Vを用いた実験結果は、98.7%の精度と99.6%のリコールで優れた性能を示し、他のLLMや既存のシステムよりも優れていた。
  論文  参考訳（メタデータ） (2023-06-09T11:30:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。