論文の概要: From Evidence to Action: How Tool-Using Agents Fail
- arxiv url: http://arxiv.org/abs/2610.07753v1
- Date: Tue, 06 Oct 2026 04:50:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.80448
- Title: From Evidence to Action: How Tool-Using Agents Fail
- Title（参考訳）: エビデンスからアクションへ:ツール使用エージェントの失敗
- Abstract要約: このエビデンス・ツー・アクション・チェーンは、エージェントが単一アクションの実行に行動するかどうかを決定するため、どこで壊れるかを調査する。
10のモデルハーネスで、強力な静的アクションアセスメントは、より弱いインタラクティブ実行と共存することができる。
- 参考スコア（独自算出の注目度）: 44.361207294180424
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tool-using agents make consequential changes to external state, yet correct outcomes do not guarantee that their actions were supported by evidence established beforehand. We study where this evidence-to-action chain breaks as agents move from deciding whether to act to executing single actions and dependent workflows. Across ten model-harness configurations, strong static action assessment can coexist with much weaker interactive execution. Failures often begin before execution: agents stop with incomplete investigation or act before required evidence is established. Once required evidence is obtained, single-action execution is usually reliable, while multi-action workflows additionally expose unresolved prerequisites and incomplete execution. For this analysis, we introduce SafeActBench, comprising 656 cases across six operational domains and five protocols that progress from static action judgment and investigated non-action to single- and multi-action workflows. A provenance-bound Evidence Ledger and deterministic trajectory evaluator track what information was established, when actions occurred, and whether downstream dependencies were satisfied. These results show that failures arise not only from missing information, but also from how agents use established evidence when deciding and executing actions.
- Abstract（参考訳）: ツール使用エージェントは、外部状態への連続的な変更を行うが、正しい結果は、それらのアクションが事前に確立された証拠によって支持されていることを保証しない。
このエビデンス・ツー・アクション・チェーンは、エージェントが単一アクションの実行と依存ワークフローの実行に行動するかどうかを決定するため、どこで壊れるかを調査する。
10のモデルハーネス構成で、強力な静的アクションアセスメントは、より弱いインタラクティブ実行と共存することができる。
エージェントは不完全な調査を止め、必要な証拠が確立する前に行動する。
必要な証拠が得られれば、シングルアクションの実行は通常信頼できるが、マルチアクションワークフローは未解決の前提条件と不完全な実行を公開する。
本分析では,6つの操作領域にまたがる656のケースと,静的動作判定から単一および複数動作ワークフローへの非作用を調査する5つのプロトコルを含むSafeActBenchを紹介する。
Evidence LedgerとDeterministic trajectory Evaluatorは、どの情報が確立されたか、いつアクションが発生したか、下流依存が満足しているかを追跡する。
これらの結果は、失敗は行方不明の情報だけでなく、エージェントが行動を決定し実行する際に確立された証拠を使用する方法からも生じることを示している。
関連論文リスト
- Intrusion Detection for Agentic Processes: Evidence-Based Runtime Monitoring [0.0]
本稿では,実行時侵入検知のためのエージェント・プロセス侵入検知システム(A-IDS)を提案する。
A-IDSは、エビデンスをサポートする観測結果と、ワークフロー状態、認可、通信、強制イベントのための管理およびバージョン管理された予測ベースラインを比較する。
A-IDSは異常な振る舞いから悪意のある意図を推測せず、観測されていない事象を非発生の証明として扱わず、新しい異常検知器、時間論理、前兆モデルも主張しない。
論文 参考訳（メタデータ） (2026-09-10T14:37:12Z) - Safety in Self-Evolving Agents: A Survey [65.20955577335691]
大きな言語モデル(LLM)は強力な汎用能力を示すが、そのパラメータは通常、デプロイ後に固定され、新しいインタラクションからの学習が制限される。
経験が再利用可能な状態になり、過去の出来事が将来の原因になり、ある文脈で無害な情報が後により大きな永続性、権威、あるいは範囲で決定に影響を与える可能性がある。
私たちは、再利用可能な影響を特定する移行中心のフレームワークであるSAVERを導入し、Adaptationは変更の仕方を捉え、Violationは破損した安全属性を特定し、障害が観測可能な露出マークを識別し、Responseは封じ込め、修復、取り消しを評価します。
論文 参考訳（メタデータ） (2026-09-08T05:04:40Z) - When Tool Outputs Become Commands: Separating Action Induction from Runtime Authorization in Tool-Augmented LLM Agents [11.018574747618173]
動作誘導と実行承認を異なるランタイムロールとして扱うSARAを提案する。
AgentDojoとAgentDynにまたがって、SARAは4つの主要な評価設定でASRを0.63%に制限している。
論文 参考訳（メタデータ） (2026-08-27T13:59:04Z) - What Process Evaluation of Coding Agents Actually Measures: Action, Task, and Step Are Three Different Levels [5.46203679640347]
符号化エージェントにおけるプロセス評価のための測定フレームワークを提案する。
本フレームワークは,プレフィックス条件付き識別,リプレイ/インターベンションに基づく推定,および判断情報操作の制御を組み合わせたものである。
論文 参考訳（メタデータ） (2026-08-24T08:27:33Z) - From Trajectories to Evidence: Auditable Experimental Records for Industrial Research Agents [47.678562263387214]
研究エージェントは、産業レコメンデーション設定において、多段階の機械学習実験をますます実施している。
生成されたアーティファクトは、サポートされないか、不完全かもしれないし、実行されたラウンドは無効かもしれないし、あるいは廃止されるかもしれないし、後の修正は、以前の発見を曖昧にするかもしれない。
本稿では,連続的アーティファクトのバウンダリ検証と実行後のクレーム資格を結合するエビデンス・グラウンド・フレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-05T13:37:38Z) - ScrambleToolBench: Agents Search Exhaustively Even When Their Own Map Points to the Next Step [74.83535434786145]
ScrambleToolBenchは,行動推論の分離を目的とした対話型端末ベンチマークである。
このベンチマークでは、エージェントがテストとエラーのインタラクションを通じて、隠されたツールの振る舞いを明らかにする必要がある。
現状の言語モデルに対する我々の評価は、初期発見が成功しても頑健な適応にはならないことを示している。
論文 参考訳（メタデータ） (2026-08-03T15:07:46Z) - ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents [59.626170560327274]
textbfClawForgeは、ステートコンフリクト下で実行可能なコマンドラインカテゴリのためのジェネレータベースのベンチマークフレームワークである。
私たちはこのフレームワークをClawForge-Bench(17のシナリオ、6の能力カテゴリ)としてインスタンス化します。
論文 参考訳（メタデータ） (2026-05-13T21:34:08Z) - When Agents Overtrust Environmental Evidence: An Extensible Agentic Framework for Benchmarking Evidence-Grounding Defects in LLM Agents [7.383366380709273]
大規模言語モデルエージェントは、ファイル、Webページ、API、ログを公開する環境対応の足場を通じて、ますます運用されるようになる。
環境基盤化は、文脈入力、証拠証明、鮮度検査、検証ポリシー、行動ゲーティング、モデル推論を含むシステムレベルの問題である。
この障害モードをベンチマークするためのエージェントフレームワークであるEnvTrustBenchを紹介します。
論文 参考訳（メタデータ） (2026-05-09T09:32:27Z) - Beyond Task Success: An Evidence-Synthesis Framework for Evaluating, Governing, and Orchestrating Agentic AI [0.0]
本稿では,手動符号化コーパスにおける有界なエビデンス合成に寄与する。
本稿では,(1)評価,ガバナンス,オーケストレーション,保証にまたがる4層フレームワーク,(2)可観測性,決定性,タイムライン,検証性に基づくODTA実行時配置テスト,(3)状態変更動作のための最小アクション検証バンドル,の3つの関連アーティファクトを紹介する。
論文 参考訳（メタデータ） (2026-04-18T20:28:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。