論文の概要: terms.txt: A Consent and Compensation Protocol for Agentic Web Access
- arxiv url: http://arxiv.org/abs/2609.11152v1
- Date: Thu, 10 Sep 2026 07:01:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.23757
- Title: terms.txt: A Consent and Compensation Protocol for Agentic Web Access
- Title（参考訳）: terms.txt: A Consent and Compensation Protocol for Agentic Web Access
- Abstract要約: 公的な測定では、AIクローラーとエージェントの下での取引が破られる。
私たちは、パスごと、目的ごとのマシンアクセス用語のためのロボット.txtスタイルのファイルである terms.txt を指定します。
依存関係のない実装では、1つのvCPUでリクエスト毎に0.20から0.65msが追加される。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The open web ran on an unwritten bargain: sites admitted crawlers, and search engines sent visitors back. Public measurements show that bargain breaking under AI crawlers and agents. Automated clients now make up most requests, training dominates Cloudflare-classified crawling, and the largest AI platforms fetch thousands of pages for each visitor they return. The web's common control, robots.txt, cannot express identity, purpose, terms, or price, can be circumvented, and newer alternatives are largely proprietary CDN features. We specify terms.txt, a robots.txt-style file for per-path, per-purpose machine-access terms, plus an origin-enforced exchange using Web Bot Auth signatures, signed intent, delegation tokens, HTTP 402 negotiation, and signed receipts. We define what the exchange can enforce, audit, and leave to contract. A dependency-free implementation adds 0.20 to 0.65 ms per request on one vCPU.
- Abstract（参考訳）: サイトはクローラーを認め、検索エンジンはビジターを送り返した。
公的な測定は、AIクローラーとエージェントの下での取引が破られることを示している。
自動化されたクライアントは、ほとんどのリクエストを処理し、トレーニングはCloudflareに分類されたクローリングを支配し、最大のAIプラットフォームは、帰還するビジター毎に数千ページのページを取得する。
Webの一般的なコントロールであるRobot.txtは、アイデンティティ、目的、用語、あるいは価格を表現できないため、回避でき、新しい代替手段は、主にプロプライエタリなCDN機能である。
また、Web Bot Authシグネチャ、署名されたインテント、デリゲートトークン、HTTP 402ネゴシエーション、署名されたレシートを使用した、オリジナル強化された交換を行う。
取引所が強制し、監査し、契約に残せるものを定義します。
依存関係のない実装では、1つのvCPUでリクエスト毎に0.20から0.65msが追加される。
関連論文リスト
- Do Generative AI Assistants Respect robots.txt? Tracing Web Access Beyond Visible Answers [0.3499870393443268]
AIアシスタントは、新たな回答を提供するために、推論時にWebコンテンツを検索するようになっている。
これらの検索強化機能は、ロボット$.$txtで表現されるウェブサイト所有者の制限を尊重するかどうかは不明だ。
広告付きWeb検索機能を備えたAIアシスタント10種について,実証実験を行った。
論文 参考訳（メタデータ） (2026-07-16T00:45:06Z) - MolmoWeb: Open Visual Web Agent and Open Data for the Open Web [60.29597961827816]
MolmoWebMixはブラウザのタスクとWeb-GUIの知覚データを組み合わせたものだ。
MolmoWeb-8Bは、完全にオープンなマルチモーダルWebエージェントのファミリーである。
我々は、Webエージェントのオープンな研究を可能にするため、モデルチェックポイント、トレーニングデータ、コード、統一された評価ハーネスをリリースする。
論文 参考訳（メタデータ） (2026-04-09T17:54:02Z) - Shy Guys: A Light-Weight Approach to Detecting Robots on Websites [1.5036109852211983]
本稿では,クライアント側のインタラクションを伴わない標準的なWebサーバログ上でのみ動作する,軽量でパッシブなボット検出手法を提案する。
世界中にホストされているウェブサイトから収集された54,945個のユニークなユーザエージェント文字列を含む460万件以上のリクエストに対して,本手法の評価を行った。
提案手法は, 偽陽性率3%を維持しながら, ボットトラフィックの67.7%を検知し, 美術品の状態を20%以下に向上させる。
論文 参考訳（メタデータ） (2026-03-30T15:07:00Z) - Permission Manifests for Web Agents [30.22217505383227]
LLM(Large Language Model)ベースのWebエージェントの台頭は、Webとの対話の自動化において、大きな変化をもたらしている。
どのインタラクションが許可されているかを指定する方法がないため、Webサイトオーナーはますます、ブランケットブロッキングとCAPTCHAに依存している。
ロボット.txtスタイルのインターフェースマニフェストであるエージェントパーミッションを導入し,API参照によって補完される,Webサイトが許可されたインタラクションを指定する。
論文 参考訳（メタデータ） (2025-12-07T17:45:01Z) - Is Misinformation More Open? A Study of robots.txt Gatekeeping on the Web [2.370481325034444]
評価可能なニュースサイトと誤報サイトがロボット.txtファイルの設定方法に異なるかどうかを検討する。
回答可能なサイトの60.0%は、ロボット.txtファイル内の偽情報サイトの9.1%に対して、少なくとも1つのAIクローラを禁止している。
我々の研究は、大規模言語モデルで利用可能なトレーニングデータを形成することができるコンテンツアクセシビリティの非対称性の増大に注目した。
論文 参考訳（メタデータ） (2025-10-11T18:47:14Z) - WALT: Web Agents that Learn Tools [66.73502484310121]
WALTは、Webサイト機能を再利用不能なツールにリバースエンジニアリングするフレームワークである。
WALTはアドホックなスキルを仮説化するのではなく、既にウェブサイトに設計されている自動化の堅牢な実装を公開している。
VisualWebArenaとWebArenaでは、WALTはより少ないステップとLLM依存の推論でより高い成功を達成している。
論文 参考訳（メタデータ） (2025-10-01T23:41:47Z) - Scrapers selectively respect robots.txt directives: evidence from a large-scale empirical study [4.052698858972076]
ロボットによるウェブスクレイパーコンプライアンスに関する大規模な研究を初めて行った。
ボットはより厳格なロボットに対して$.$txtの指示に従う可能性が低い。
これらの結果は、望ましくないスクラップを防ぐためにロボット$.$txtファイルに頼るのは危険であり、代替アプローチの必要性を強調していることを示唆している。
論文 参考訳（メタデータ） (2025-05-27T20:22:45Z) - Beyond Browsing: API-Based Web Agents [58.39129004543844]
APIベースのエージェントはWebArenaの実験でWebブラウザエージェントを上回っている。
ハイブリッドエージェント(Hybrid Agents)は、タスク全体にわたって、ほぼ均一にパフォーマンスを向上する。
結果から,APIが利用可能であれば,Webブラウジングのみに依存するという,魅力的な代替手段が提示されることが強く示唆された。
論文 参考訳（メタデータ） (2024-10-21T19:46:06Z) - Consent in Crisis: The Rapid Decline of the AI Data Commons [74.68176012363253]
汎用人工知能(AI)システムは、大量の公開Webデータに基づいて構築されている。
我々は,AIトレーニングコーパスに基づくWebドメインに対する同意プロトコルの大規模かつ長期的監査を行う。
論文 参考訳（メタデータ） (2024-07-20T16:50:18Z) - AutoScraper: A Progressive Understanding Web Agent for Web Scraper Generation [54.17246674188208]
Webスクレイピングは、Webサイトからデータを抽出し、自動データ収集を可能にし、データ分析機能を強化し、手動のデータ入力作業を最小化する強力なテクニックである。
既存の手法では、ラッパーベースの手法は、新しいウェブサイトで直面する場合、適応性とスケーラビリティの制限に悩まされる。
本稿では,大規模言語モデル(LLM)を用いたWebスクレイパー生成のパラダイムを紹介し,多様なWeb環境をより効率的に処理できる2段階フレームワークであるAutoScraperを提案する。
論文 参考訳（メタデータ） (2024-04-19T09:59:44Z) - A ground-truth dataset and classification model for detecting bots in
GitHub issue and PR comments [70.1864008701113]
ボットはGithubリポジトリで、分散ソフトウェア開発プロセスの一部である反復的なアクティビティを自動化するために使用されている。
本稿では,5000のGithubアカウントのプルリクエストとコメント発行に関する,高い相互契約を伴う手動分析に基づいて,基幹トラスデータセットを提案する。
ボットを検出する自動分類モデルを提案し,各アカウントの空のコメント数と空でないコメント数,コメントパターンの数,コメントパターン内のコメント間の不平等を主特徴とする。
論文 参考訳（メタデータ） (2020-10-07T09:30:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。