論文の概要: Robustness Analysis of Agentic AI to Inconsistent and Incomplete Tool Responses

• arxiv url: http://arxiv.org/abs/2608.22676v2
• Date: Sun, 30 Aug 2026 13:25:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.676093
• Title: Robustness Analysis of Agentic AI to Inconsistent and Incomplete Tool Responses
• Title（参考訳）: 不整合および不完全ツール応答に対するエージェントAIのロバスト性解析
• Abstract要約: リターンがエージェントコンテキストに入ると、ツールの障害を分析します。 確率に基づく信号は、不完全なリターンといくつかの直接的な不整合をはっきりと捉えていることを示す。 可能性信号の弱いいくつかの障害は、エージェントを状態変化アクションにリダイレクトすることができる。
• 参考スコア（独自算出の注目度）: 8.002494437891077
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tool-using agents increasingly rely on external tools to complete multi-step tasks, but tool returns can fail in different ways and require different recovery actions. Existing robustness studies often use uncertainty-based measures to detect when an agent becomes unreliable. These measures can reveal that something has gone wrong, but they do not directly identify the type of tool failure or the appropriate response. We address this limitation by analyzing tool failures at the moment a return enters the agent context. Our approach combines two complementary signals. The first compares the likelihood of the returned content under the tool schema and under the full trajectory prefix. The second measures the agent's probability distribution over its legal next actions. We evaluate the approach by injecting incomplete and inconsistent returns into a retail customer-service benchmark. The results show that likelihood-based signals clearly capture incomplete returns and some direct inconsistencies, while action-based signals reveal how strongly a failure changes the next decision. Some failures that are weak under likelihood signals can still redirect the agent toward state-changing actions. These findings show that tool failures can be recognized at the return boundary, but reliable diagnosis requires combining multiple signals.
• Abstract（参考訳）: ツール使用エージェントは、マルチステップタスクの完了に外部ツールに依存することが多いが、ツールリターンは異なる方法で失敗し、異なるリカバリアクションを必要とする可能性がある。 既存の堅牢性の研究は、しばしば不確実性に基づく測定を用いて、エージェントが信頼できなくなることを検知する。 これらの測定は、何かがうまくいかなかったことを明らかにしますが、ツールの失敗のタイプや適切なレスポンスを直接特定しません。 我々は、リターンがエージェントコンテキストに入る瞬間にツールの障害を分析することで、この制限に対処する。 我々のアプローチは2つの相補的な信号を組み合わせている。 1つ目は、ツールスキーマと完全なトラジェクトリプレフィックスの下で返されるコンテンツの可能性を比較する。 2つ目は、エージェントの法的な次の行動に対する確率分布を測定することである。 我々は、不完全で一貫性のないリターンを小売顧客サービスベンチマークに注入することで、アプローチを評価する。 その結果、確率に基づく信号は、不完全なリターンといくつかの直接的な不整合をはっきりと捉え、一方、アクションベースの信号は、障害が次の決定をいかに強く変えるかを明らかにする。 可能性信号の弱いいくつかの障害は、エージェントを状態変化アクションにリダイレクトすることができる。 これらの結果から,ツール障害はリターンバウンダリで認識できるが,信頼性の高い診断には複数の信号の組み合わせが必要であることが示唆された。

関連論文リスト

• Agents Trust Tools Too Much: Measuring Reliance on Unreliable Tools [16.535602696436424]
  Web検索,LLMサブエージェントデリゲート,コード実行という3つのツールを用いて,エージェントが信頼できないツールに応答する方法を評価する。 各ツールに対して、そのリターンを破損させ、エージェントが最終回答で破損したコンテンツを採用するかどうかを測定する。 エージェントは3つの設定にまたがって高いレベルのオーバートラストを示す。
  論文  参考訳（メタデータ） (2026-09-04T17:02:32Z)
• ROPE: Routed Origin Policy Enforcement against Indirect Prompt Injection [61.4148196085256]
  本稿では,信頼という構造概念に根ざしたROPE(Routed Origin Policy Enforcement)について述べる。 提案手法では,(1)軌道の各段階において,攻撃可能コンテンツのみを起点とする値が,原点保護パラメータに到達しない,(2)注入のリワードがない,という2つの保証が認められている。
  論文  参考訳（メタデータ） (2026-08-27T01:22:14Z)
• From Sequence to Structure: Relational Uncertainty Propagation for LLM Agents [75.69180947909148]
  大規模言語モデル(LLM)エージェントのためのトラジェクトリレベルのUQフレームワークを提案する。 RuPAは、推論状態、ツールインタラクション、環境フィードバックが時間的およびセマンティックな依存関係エッジで接続されたノードである、指向的なトラジェクトリグラフとして実行履歴を表現している。 我々は,複数のモデルファミリにまたがる6つのオープンソースLCMを用いて,代用エージェントベンチマーク($2, Terminal-Bench-2, GAIA)でRUPAを評価した。
  論文  参考訳（メタデータ） (2026-08-17T01:40:14Z)
• Broken Symmetry in LLM Refusal: Answer Release Is More Local Than Refusal Restoration [24.010665397925333]
  言語モデルがプロンプトに答えることを拒否した場合、正しい答えが内部表現から削除されるか、単に出力層で抑圧されるかは不明確である。 この機構を制御された無条件設定を用いて検討し, 双方向アクティベーションパッチのための完全一致の解答と拒否軌道を導出する。
  論文  参考訳（メタデータ） (2026-08-16T14:47:33Z)
• Grounding Without Corrective Control: Truth-Tracking Profiles for Large Language Models [0.0]
  最近の研究は、いくつかの大きな言語モデル表現が内容や参照を持っていることを示唆している。 この論文はそのギャップから何に従うか尋ねる。 出力は、目標とタスク固有のアレンジメントが生成し、受け入れ、または取り下げるものに相違がある場合、応答可能である。
  論文  参考訳（メタデータ） (2026-08-14T12:30:19Z)
• Independent Patch Verification for Coding Agents with a Bidirectional Reconstruct-and-Verify Framework [49.16055123488827]
  大規模言語モデルを利用したコーディングエージェントは、バグレポートから直接コードパッチを生成することができる。 報告された問題を真に解決するかどうかを独立に検証するメカニズムは存在しない。 本稿では,RETRACE をトレーニング不要なポストジェネレーション検証フレームワークとして提案する。
  論文  参考訳（メタデータ） (2026-08-09T22:59:13Z)
• ScrambleToolBench: Agents Search Exhaustively Even When Their Own Map Points to the Next Step [74.83535434786145]
  ScrambleToolBenchは,行動推論の分離を目的とした対話型端末ベンチマークである。 このベンチマークでは、エージェントがテストとエラーのインタラクションを通じて、隠されたツールの振る舞いを明らかにする必要がある。 現状の言語モデルに対する我々の評価は、初期発見が成功しても頑健な適応にはならないことを示している。
  論文  参考訳（メタデータ） (2026-08-03T15:07:46Z)
• Verified Tool Calls Improve LLM Agent Reliability Under Non-Atomic Failures [0.0]
  現実世界のシステムは、ディスパッチ後のタイムアウト、遅延可視性、部分的な状態更新など、非原子的な振る舞いを示す。 これらのミスマッチは、重複アクション、タスク成功、不要なツール実行などの信頼性の問題を引き起こす。 ライトウェイトで検証対応のツールラッパーが導入されており、ツールコールをポストコンディション検証、バリデーション前ロジック、イデオロケーションキーで拡張する。
  論文  参考訳（メタデータ） (2026-07-31T16:16:14Z)
• Otap:Structure-Aware Optimal Transport for Evaluating Planning and Execution in Agent Trajectories [13.06173852232351]
  現在の評価指標は、そのような軌道をバイナリ成功フラグに還元するか、正確なマッチングによって参照と比較する。 エージェントの実行グラフと有効な解グラフの集合との距離として軌道評価をインスタンス化する。 結果のスコアは"otap"と呼ばれ、依存性保存のリオーダーに確実に不変な擬似メトリックである。
  論文  参考訳（メタデータ） (2026-07-19T05:23:17Z)
• Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
  AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。 コードには手書きのコードはなく、人間による注釈もない。 エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
  論文  参考訳（メタデータ） (2026-07-17T17:41:16Z)
• What Accuracy and Gradient Cosine Miss: Evaluating Feedback Alignment via Scale Stability, Reference Validity, and Depth Utility [48.10132234701036]
  本稿では,3つのチェック(スケール安定性,参照妥当性,深度ユーティリティ)に基づく診断評価プロトコルを提案する。 複数のアーキテクチャや手法にまたがって、我々のプロトコルは広い校正マージンを持つ全ての障害を識別する。
  論文  参考訳（メタデータ） (2026-06-19T06:04:17Z)
• Toward Semantically-Seeded, Graph-Propagated Impact Analysis Across Software Artifacts: A Vision [0.0]
  我々は、同じ埋め込み上で両方の信号を融合する、トレーニング不要で解釈可能なアナライザについて論じる。 変更シナリオをラベル付けした支払いサブシステムに関する、小さなが完全な概念実証は、私たちが関心を持っているメカニズムを示しています。
  論文  参考訳（メタデータ） (2026-06-17T09:34:56Z)
• ExComm: Exploration-Stage Communication for Error-Resilient Agentic Test-Time Scaling [57.42714978834704]
  ExCommは、探索段階のエージェントテストタイムスケーリングのための通信プロトコルである。 ExCommは、強いテスト時間スケーリングベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-05-21T07:38:44Z)
• Beyond the Black Box: Interpretability of Agentic AI Tool Use [0.0]
  本稿では,スパースオートエンコーダと線形プローブ上に構築された機械論的・解釈可能性ツールキットを提案する。 フレームワークは各アクションの前にモデル状態を読み出し、ツールが必要かどうか、そして次のツールアクションがいかに適切かの両方を推測する。 我々は、NVIDIA Nemotron関数呼び出しデータセットから多段階の軌道上のプローブをトレーニングし、GPT-OSS 20BとGemma 3 27Bモデルに同じワークフローを適用する。
  論文  参考訳（メタデータ） (2026-05-07T19:47:30Z)
• Pando: Do Interpretability Methods Work When Models Won't Explain Themselves? [53.07826484214082]
  モデル・オーガニゼーションのベンチマークであるPandoを紹介します。 Pandoは、ラベル付きクエリ-レスポンスペアから、ホールドアウトモデル決定を予測する。 説明が忠実であれば、ブラックボックスの引用はすべてのホワイトボックスメソッドに一致するか、超える。
  論文  参考訳（メタデータ） (2026-04-13T06:42:24Z)
• RAGEN-2: Reasoning Collapse in Agentic RL [123.40730283427136]
  RAGEN-2では、安定なエントロピーであっても、モデルは多様に見えるが入力に依存しない固定テンプレートに依存することができる。 推論品質をインテリアインプットの多様性(エントロピー)とクロスインプットの区別可能性(Mutual Information, MI)に分解する。 様々なタスクにおいて、相互情報はエントロピーよりも最終的なパフォーマンスと非常に強く関連しているため、推論品質のより信頼性の高いプロキシとなります。
  論文  参考訳（メタデータ） (2026-04-07T04:29:41Z)
• Willful Disobedience: Automatically Detecting Failures in Agentic Traces [2.2365938060262356]
  AgentPexはエージェントトレースを体系的に評価するAIツールである。 エージェントプロンプトとシステム命令から振る舞いルールを抽出し、これらの仕様を使用してコンプライアンスのトレースを自動的に評価する。 我々は、通信、小売、航空会社の顧客サービスにおいて、AgentPexを2ベンチから424のトレースで評価した。
  論文  参考訳（メタデータ） (2026-03-25T00:33:39Z)
• AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents [50.481033105867205]
  我々はAgentProcessBenchを紹介した。AgentProcessBenchは、現実的なツール拡張トラジェクトリにおけるステップレベルの有効性を評価するための最初のベンチマークである。 ベンチマークは、1,000の多様な軌跡と8,509の人間ラベル付きステップアノテーションと89.1%のアノテーション間合意で構成されている。 探索をキャプチャする3つのラベリングスキームと、ラベルのあいまいさを減らすためのエラー伝搬ルールを備えている。
  論文  参考訳（メタデータ） (2026-03-15T16:13:58Z)
• LLM Self-Explanations Fail Semantic Invariance [27.126691338850254]
  機能状態が固定されている間、セマンティックコンテキストだけが変化するとき、忠実な自己レポートは安定していなければならない。 このテストは、4つのフロンティアモデルが意図的に不可能なタスクに直面しているエージェント環境で運用する。
  論文  参考訳（メタデータ） (2026-03-01T20:18:43Z)
• Runaway is Ashamed, But Helpful: On the Early-Exit Behavior of Large Language Model-based Agents in Embodied Environments [54.67512489842682]
  大規模言語モデル(LLM)は、複雑な実施環境において、強力な計画と意思決定能力を示す。 LLMをベースとしたエージェントの早期退避行動を探究する第一歩を踏み出す。
  論文  参考訳（メタデータ） (2025-05-23T08:23:36Z)
• Is the Top Still Spinning? Evaluating Subjectivity in Narrative Understanding [40.78154629252038]
  曖昧なクレームにバイナリラベルを強制すると、評価の信頼性が低下する。 請求項のニュアンス評価を提供する方法として,LCM生成した要約の編集を紹介する。 我々は,ARMが主張の忠実性に関するアノテータ合意において,絶対的な21%の改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2025-04-01T19:08:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。