論文の概要: Agent-Canary-Mas: End-to-End Evaluation of Protocol Risk in Long-Horizon Multi-Agent Systems

• arxiv url: http://arxiv.org/abs/2610.15529v1
• Date: Sun, 11 Oct 2026 11:02:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.222422
• Title: Agent-Canary-Mas: End-to-End Evaluation of Protocol Risk in Long-Horizon Multi-Agent Systems
• Title（参考訳）: Agent-Canary-Mas: 長距離マルチエージェントシステムにおけるプロトコルリスクのエンドツーエンド評価
• Abstract要約: Agent-to-agentプロトコルは、エージェントがピアを発見し、結果を交換し、ツールの使用をコーディネートすることを可能にする。 ローカルに成功したプロトコル攻撃は、後続のエージェントによって拒絶されるか、あるいは連続したタスク決定に伝達される。 本稿では,長期マルチエージェントタスクによるプロトコルリスクを追従するエンドツーエンド評価システムであるAgent-Canary-Masを提案する。
• 参考スコア（独自算出の注目度）: 14.902300845813501
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agent-to-agent protocols allow LLM agents to discover peers, exchange results, and coordinate tool use. A locally successful protocol attack, however, may be rejected by a later agent or propagated into a consequential task decision. Measuring local exploitability alone leaves this difference unresolved and provides limited evidence about which participant caused the final outcome. We present Agent-Canary-Mas, an end-to-end evaluation system that follows protocol risk through long-horizon multi-agent tasks. It covers five risk classes and 13 subclasses across A2A, ANP, and BCS, with 975 matched malicious--benign task pairs in five business domains. A shared OpenClaw framework runs autonomous, tool-using agents under different underlying models while preserving the task and execution setup. Matched runs separate local protocol success from downstream consequences; retained evidence connects participant selection, message consumption, tool activity, and task-state changes. We further evaluate a protocol-context Guard that checks an object's authority at consequential handoffs. Across three model conditions, local attack success is frequently at or above 90%, while consequence conversion ranges from 7.1\% to 100.0\%. Cross-agent evidence raises macro-averaged Audit-F1 from 29.7% to 95.5%. On Finance tasks, the Guard lowers average ASR from 86.1% to 53.8% and PTCR from 65.5% to 31.2%, with a measurable completion tradeoff. These results show that protocol risk depends on how agents use exchanged objects throughout the task, and that evaluating this path supports more informative risk assessment, attribution, and defense.
• Abstract（参考訳）: Agent-to-agentプロトコルにより、LLMエージェントはピアを発見し、結果を交換し、ツールの使用をコーディネートすることができる。 しかし、ローカルに成功したプロトコル攻撃は、後続のエージェントによって拒絶されるか、あるいは連続したタスク決定に伝達される。 局所的な搾取可能性のみを測定することは、この違いを未解決のまま残し、どの参加者が最終的な結果をもたらしたかという限られた証拠を提供する。 本稿では,長期マルチエージェントタスクによるプロトコルリスクを追従するエンドツーエンド評価システムであるAgent-Canary-Masを提案する。 A2A, ANP, BCSの5つのリスククラスと13のサブクラスをカバーする。 共有のOpenClawフレームワークは、タスクと実行のセットアップを維持しながら、さまざまな基盤モデルの下で、自律的なツール使用エージェントを実行する。 Matchedは、ダウンストリームの結果とは別のローカルプロトコルの成功を実行し、参加者の選択、メッセージ消費、ツールアクティビティ、タスク状態の変更を結び付ける証拠を保持する。 さらに、連続的なハンドオフでオブジェクトの権限をチェックするプロトコルコンテキストガードを評価する。 3つのモデル条件の中で、局所攻撃の成功率は90%以上であり、結果の変換は7.1\%から100.0\%である。 クロスエージェントの証拠は、マクロ平均のAudit-F1を29.7%から95.5%に引き上げる。 財務面では、平均的なASRを86.1%から53.8%に下げ、PTCRを65.5%から31.2%に下げる。 これらの結果は、エージェントがタスク全体を通して交換対象をどのように利用するかに依存し、このパスを評価することでより情報的なリスク評価、帰属、防衛を支援することを示している。

関連論文リスト

• AgentHorizon: Evaluating Agentic Judges for Long-Horizon Computer-Use Tasks [67.28108897589799]
  AgentHorizonは、1,373のコンピュータ利用タスクのベンチマークである。 同様の(しかし互換性のない)要求を完了したのと、成功した軌道を区別する能力について、審査員を評価した。 我々の最高のエージェント・ジャッジであるGPT-5.5は、AHサブセット上で80.9%のバランスの取れた精度を達成する。
  論文  参考訳（メタデータ） (2026-10-08T01:03:48Z)
• Separation of Duties for Privileged LLM Agents: A Governed Execution Architecture with Measured Security-Utility Trade-offs [0.0]
  エージェントとオペレーティングシステムの間に4つの役割(プランナー、政策ゲート、執行役、監査役)を介するアーキテクチャについて検討する。 我々は8種類の313ケースのベンチマークで評価した。
  論文  参考訳（メタデータ） (2026-09-28T05:32:17Z)
• AgentAudit: An Open, Extensible Framework for Full-Lifecycle Trust Evaluation of AI Agents [2.8000808592516293]
  AgentAuditは10の能力、グラウンド、セキュリティ、振る舞いの次元にわたって、実行トレース全体を評価する。 記録された実行トレースのみを読み出し、エージェントの実行方法に干渉しない。 我々は,9つの言語モデル(OpenAI GPT-5, Claude Sonnet 5, Sarvam 105B, Llama 3.3 70B, Gemini 2.5 Flash)を,9つの能力と対向タスクで評価した。
  論文  参考訳（メタデータ） (2026-09-09T08:29:16Z)
• Do LLM Agents Negotiate Rationally? A Mechanism-Design Framework for Verifiable Multi-Agent Interaction over A2A/MCP [4.958397945862737]
  LLMエージェントフレームワークは、エージェントツーツールアクセスのためのAnthropicのModel Context Protocol(MCP)や、エージェントデリゲートとネゴシエーションのためのGoogleのAgent2Agent(A2A)プロトコルなど、ますます相互運用されている。 本稿では,古典的交渉機構を符号化するフレームワークについて紹介する。 我々は,非構造化対話,構造化プロトコル,検証付き構造化プロトコルを用いて,複数のLDMバックボーンの評価を行った。
  論文  参考訳（メタデータ） (2026-07-10T07:32:19Z)
• Capable but Careless: Do Computer-Use Agents Follow Contextual Integrity? [54.701199583505144]
  アプリケーション間アクセスは、ほとんど見落とされたプライバシーリスクを生み出す。 我々はAgentCIBenchを紹介します。これは、このリスクを決定論的に評価されたシナリオに変換する評価ハーネスです。 我々は15のフロンティアエージェントを評価し、驚くほど高い失敗率を見出す。
  論文  参考訳（メタデータ） (2026-06-22T11:36:58Z)
• Handoff Debt: The Rediscovery Cost When Coding Agents Take Over Interrupted Tasks [0.0]
  他のエージェントやエンジニアが残した部分的な状態からタスクを中断し、再割り当てし、レビューし、再開するからです。 前任者の作業が不透明あるいは不完全である場合に課される再検討コスト。 我々の乗っ取りプロトコルは、決定論的ハンドオフポイントで符号化エージェントを中断し、リポジトリを凍結し、4つのハンドオフビューで後継エージェントを評価する。
  論文  参考訳（メタデータ） (2026-06-01T20:40:38Z)
• AgentTrust: Runtime Safety Evaluation and Interception for AI Agent Tool Use [2.9991161518367875]
  AgentTrustは実行前にエージェントツールコールをインターセプトし、構造化されたバリデーションを返す。 6つのリスクカテゴリにまたがる300-scenarioベンチマークと、630が独立して構築された現実世界の敵シナリオです。 パッチされたルールセットで評価された630秒のベンチマークでは、AgentTrustは96.7%の精度を達成している。
  論文  参考訳（メタデータ） (2026-05-06T11:38:16Z)
• Towards a Science of Scaling Agent Systems [79.64446272302287]
  エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。 協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。 ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
  論文  参考訳（メタデータ） (2025-12-09T06:52:21Z)
• OpenAgentSafety: A Comprehensive Framework for Evaluating Real-World AI Agent Safety [58.201189860217724]
  OpenAgentSafetyは,8つの危機リスクカテゴリにまたがるエージェントの動作を評価する包括的なフレームワークである。 従来の作業とは異なり、我々のフレームワークは、Webブラウザ、コード実行環境、ファイルシステム、bashシェル、メッセージングプラットフォームなど、実際のツールと対話するエージェントを評価します。 ルールベースの分析とLSM-as-judgeアセスメントを組み合わせることで、過度な行動と微妙な不安全行動の両方を検出する。
  論文  参考訳（メタデータ） (2025-07-08T16:18:54Z)
• Malicious Agent Detection for Robust Multi-Agent Collaborative Perception [52.261231738242266]
  多エージェント協調(MAC)知覚は、単エージェント認識よりも敵攻撃に対して脆弱である。 MAC知覚に特異的な反応防御であるMADE(Malicious Agent Detection)を提案する。 我々は、ベンチマーク3DデータセットV2X-simとリアルタイムデータセットDAIR-V2Xで包括的な評価を行う。
  論文  参考訳（メタデータ） (2023-10-18T11:36:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。