論文の概要: Robustness Analysis of Agentic AI to Inconsistent and Incomplete Tool Responses
- arxiv url: http://arxiv.org/abs/2608.22676v1
- Date: Mon, 24 Aug 2026 00:26:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.825908
- Title: Robustness Analysis of Agentic AI to Inconsistent and Incomplete Tool Responses
- Title（参考訳）: 不整合および不完全ツール応答に対するエージェントAIのロバスト性解析
- Abstract要約: 失敗したツールと、よく形づくられた偽りを返すツールは、異なる治療法の異なる問題である。
これは質的なパイロットスタディで、完了までエージェントを走らせるのではなく、単一の決定ポイントを獲得します。
- 参考スコア（独自算出の注目度）: 8.002494437891077
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Robustness to a bad tool return means answering it in the way that return calls for, which depends on how the tool went wrong. A tool that has failed and a tool that returns a well-formed falsehood are different problems with different remedies. We ask whether the two already differ at the moment the return arrives. This is a qualitative pilot study: we score single decision points rather than running agents to completion. We inject controlled faults into a retail customer-service domain and read two channels off the model's log-probabilities: the likelihood of the returned content under the tool schema alone and under the whole trajectory, and its distribution over the legal actions, read for both shape and where the mass sits. An incomplete return is legible in every case, being improbable under the schema alone in a range no other condition enters, and it moves the mass toward the tools that re-read state wherever there is room to move. An inconsistent return leaves the schema channel untouched and registers in the likelihood comparison on the field whose true value the context already carries verbatim, not on the one whose contradiction runs through the domain policy. The action distribution gives each condition a distinct signature, but orders them by how far the return bears on the next action rather than by fault family. Recognition is therefore asymmetric: each condition is legible in some channel, and no channel is legible on all of them.
- Abstract（参考訳）: 悪いツールのリターンに対するロバストさは、そのツールがどううまくいかなかったかによって、リターンの呼び出しのやり方で答えることを意味します。
失敗したツールと、よく形づくられた偽りを返すツールは、異なる治療法の異なる問題である。
返却が到着した時点で既に両者が異なっているかどうかを問う。
これは質的なパイロットスタディで、完了までエージェントを走らせるのではなく、単一の決定ポイントを獲得します。
我々は、制御された障害を小売のカスタマーサービスドメインに注入し、モデルのログ確率から2つのチャンネルを読み取る。
不完全なリターンは、すべてのケースにおいて正当であり、スキーマの下では、他の条件が入らない範囲でのみ実行不可能であり、移動の余地のある場所で状態を読み戻すツールに向かって質量を移動させる。
矛盾したリターンは、スキーマチャネルに未タッチのまま残し、コンテキストがすでに冗長であるフィールドで、矛盾がドメインポリシーを通したフィールドではなく、可能性比較に登録する。
アクション分布は各条件に明確なシグネチャを与えるが、リターンがフォールトファミリではなく次のアクションにどの程度耐えられるかを指示する。
したがって、認識は非対称であり、各条件は、あるチャネルで正則であり、全てのチャネルで正則でない。
関連論文リスト
- Agents Trust Tools Too Much: Measuring Reliance on Unreliable Tools [16.535602696436424]
Web検索,LLMサブエージェントデリゲート,コード実行という3つのツールを用いて,エージェントが信頼できないツールに応答する方法を評価する。
各ツールに対して、そのリターンを破損させ、エージェントが最終回答で破損したコンテンツを採用するかどうかを測定する。
エージェントは3つの設定にまたがって高いレベルのオーバートラストを示す。
論文 参考訳（メタデータ） (2026-09-04T17:02:32Z) - ROPE: Routed Origin Policy Enforcement against Indirect Prompt Injection [61.4148196085256]
本稿では,信頼という構造概念に根ざしたROPE(Routed Origin Policy Enforcement)について述べる。
提案手法では,(1)軌道の各段階において,攻撃可能コンテンツのみを起点とする値が,原点保護パラメータに到達しない,(2)注入のリワードがない,という2つの保証が認められている。
論文 参考訳（メタデータ） (2026-08-27T01:22:14Z) - From Sequence to Structure: Relational Uncertainty Propagation for LLM Agents [75.69180947909148]
大規模言語モデル(LLM)エージェントのためのトラジェクトリレベルのUQフレームワークを提案する。
RuPAは、推論状態、ツールインタラクション、環境フィードバックが時間的およびセマンティックな依存関係エッジで接続されたノードである、指向的なトラジェクトリグラフとして実行履歴を表現している。
我々は,複数のモデルファミリにまたがる6つのオープンソースLCMを用いて,代用エージェントベンチマーク($2, Terminal-Bench-2, GAIA)でRUPAを評価した。
論文 参考訳（メタデータ） (2026-08-17T01:40:14Z) - Broken Symmetry in LLM Refusal: Answer Release Is More Local Than Refusal Restoration [24.010665397925333]
言語モデルがプロンプトに答えることを拒否した場合、正しい答えが内部表現から削除されるか、単に出力層で抑圧されるかは不明確である。
この機構を制御された無条件設定を用いて検討し, 双方向アクティベーションパッチのための完全一致の解答と拒否軌道を導出する。
論文 参考訳（メタデータ） (2026-08-16T14:47:33Z) - Grounding Without Corrective Control: Truth-Tracking Profiles for Large Language Models [0.0]
最近の研究は、いくつかの大きな言語モデル表現が内容や参照を持っていることを示唆している。
この論文はそのギャップから何に従うか尋ねる。
出力は、目標とタスク固有のアレンジメントが生成し、受け入れ、または取り下げるものに相違がある場合、応答可能である。
論文 参考訳（メタデータ） (2026-08-14T12:30:19Z) - Independent Patch Verification for Coding Agents with a Bidirectional Reconstruct-and-Verify Framework [49.16055123488827]
大規模言語モデルを利用したコーディングエージェントは、バグレポートから直接コードパッチを生成することができる。
報告された問題を真に解決するかどうかを独立に検証するメカニズムは存在しない。
本稿では,RETRACE をトレーニング不要なポストジェネレーション検証フレームワークとして提案する。
論文 参考訳（メタデータ） (2026-08-09T22:59:13Z) - ScrambleToolBench: Agents Search Exhaustively Even When Their Own Map Points to the Next Step [74.83535434786145]
ScrambleToolBenchは,行動推論の分離を目的とした対話型端末ベンチマークである。
このベンチマークでは、エージェントがテストとエラーのインタラクションを通じて、隠されたツールの振る舞いを明らかにする必要がある。
現状の言語モデルに対する我々の評価は、初期発見が成功しても頑健な適応にはならないことを示している。
論文 参考訳（メタデータ） (2026-08-03T15:07:46Z) - Verified Tool Calls Improve LLM Agent Reliability Under Non-Atomic Failures [0.0]
現実世界のシステムは、ディスパッチ後のタイムアウト、遅延可視性、部分的な状態更新など、非原子的な振る舞いを示す。
これらのミスマッチは、重複アクション、タスク成功、不要なツール実行などの信頼性の問題を引き起こす。
ライトウェイトで検証対応のツールラッパーが導入されており、ツールコールをポストコンディション検証、バリデーション前ロジック、イデオロケーションキーで拡張する。
論文 参考訳（メタデータ） (2026-07-31T16:16:14Z) - Otap:Structure-Aware Optimal Transport for Evaluating Planning and Execution in Agent Trajectories [13.06173852232351]
現在の評価指標は、そのような軌道をバイナリ成功フラグに還元するか、正確なマッチングによって参照と比較する。
エージェントの実行グラフと有効な解グラフの集合との距離として軌道評価をインスタンス化する。
結果のスコアは"otap"と呼ばれ、依存性保存のリオーダーに確実に不変な擬似メトリックである。
論文 参考訳（メタデータ） (2026-07-19T05:23:17Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z) - What Accuracy and Gradient Cosine Miss: Evaluating Feedback Alignment via Scale Stability, Reference Validity, and Depth Utility [48.10132234701036]
本稿では,3つのチェック(スケール安定性,参照妥当性,深度ユーティリティ)に基づく診断評価プロトコルを提案する。
複数のアーキテクチャや手法にまたがって、我々のプロトコルは広い校正マージンを持つ全ての障害を識別する。
論文 参考訳（メタデータ） (2026-06-19T06:04:17Z) - Toward Semantically-Seeded, Graph-Propagated Impact Analysis Across Software Artifacts: A Vision [0.0]
我々は、同じ埋め込み上で両方の信号を融合する、トレーニング不要で解釈可能なアナライザについて論じる。
変更シナリオをラベル付けした支払いサブシステムに関する、小さなが完全な概念実証は、私たちが関心を持っているメカニズムを示しています。
論文 参考訳（メタデータ） (2026-06-17T09:34:56Z) - ExComm: Exploration-Stage Communication for Error-Resilient Agentic Test-Time Scaling [57.42714978834704]
ExCommは、探索段階のエージェントテストタイムスケーリングのための通信プロトコルである。
ExCommは、強いテスト時間スケーリングベースラインを一貫して上回ります。
論文 参考訳（メタデータ） (2026-05-21T07:38:44Z) - Beyond the Black Box: Interpretability of Agentic AI Tool Use [0.0]
本稿では,スパースオートエンコーダと線形プローブ上に構築された機械論的・解釈可能性ツールキットを提案する。
フレームワークは各アクションの前にモデル状態を読み出し、ツールが必要かどうか、そして次のツールアクションがいかに適切かの両方を推測する。
我々は、NVIDIA Nemotron関数呼び出しデータセットから多段階の軌道上のプローブをトレーニングし、GPT-OSS 20BとGemma 3 27Bモデルに同じワークフローを適用する。
論文 参考訳（メタデータ） (2026-05-07T19:47:30Z) - Pando: Do Interpretability Methods Work When Models Won't Explain Themselves? [53.07826484214082]
モデル・オーガニゼーションのベンチマークであるPandoを紹介します。
Pandoは、ラベル付きクエリ-レスポンスペアから、ホールドアウトモデル決定を予測する。
説明が忠実であれば、ブラックボックスの引用はすべてのホワイトボックスメソッドに一致するか、超える。
論文 参考訳（メタデータ） (2026-04-13T06:42:24Z) - RAGEN-2: Reasoning Collapse in Agentic RL [123.40730283427136]
RAGEN-2では、安定なエントロピーであっても、モデルは多様に見えるが入力に依存しない固定テンプレートに依存することができる。
推論品質をインテリアインプットの多様性(エントロピー)とクロスインプットの区別可能性(Mutual Information, MI)に分解する。
様々なタスクにおいて、相互情報はエントロピーよりも最終的なパフォーマンスと非常に強く関連しているため、推論品質のより信頼性の高いプロキシとなります。
論文 参考訳（メタデータ） (2026-04-07T04:29:41Z) - Willful Disobedience: Automatically Detecting Failures in Agentic Traces [2.2365938060262356]
AgentPexはエージェントトレースを体系的に評価するAIツールである。
エージェントプロンプトとシステム命令から振る舞いルールを抽出し、これらの仕様を使用してコンプライアンスのトレースを自動的に評価する。
我々は、通信、小売、航空会社の顧客サービスにおいて、AgentPexを2ベンチから424のトレースで評価した。
論文 参考訳（メタデータ） (2026-03-25T00:33:39Z) - AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents [50.481033105867205]
我々はAgentProcessBenchを紹介した。AgentProcessBenchは、現実的なツール拡張トラジェクトリにおけるステップレベルの有効性を評価するための最初のベンチマークである。
ベンチマークは、1,000の多様な軌跡と8,509の人間ラベル付きステップアノテーションと89.1%のアノテーション間合意で構成されている。
探索をキャプチャする3つのラベリングスキームと、ラベルのあいまいさを減らすためのエラー伝搬ルールを備えている。
論文 参考訳（メタデータ） (2026-03-15T16:13:58Z) - LLM Self-Explanations Fail Semantic Invariance [27.126691338850254]
機能状態が固定されている間、セマンティックコンテキストだけが変化するとき、忠実な自己レポートは安定していなければならない。
このテストは、4つのフロンティアモデルが意図的に不可能なタスクに直面しているエージェント環境で運用する。
論文 参考訳（メタデータ） (2026-03-01T20:18:43Z) - Runaway is Ashamed, But Helpful: On the Early-Exit Behavior of Large Language Model-based Agents in Embodied Environments [54.67512489842682]
大規模言語モデル(LLM)は、複雑な実施環境において、強力な計画と意思決定能力を示す。
LLMをベースとしたエージェントの早期退避行動を探究する第一歩を踏み出す。
論文 参考訳（メタデータ） (2025-05-23T08:23:36Z) - Is the Top Still Spinning? Evaluating Subjectivity in Narrative Understanding [40.78154629252038]
曖昧なクレームにバイナリラベルを強制すると、評価の信頼性が低下する。
請求項のニュアンス評価を提供する方法として,LCM生成した要約の編集を紹介する。
我々は,ARMが主張の忠実性に関するアノテータ合意において,絶対的な21%の改善をもたらすことを示す。
論文 参考訳（メタデータ） (2025-04-01T19:08:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。