論文の概要: Fabrication After Tool Failure: Tool-Augmented Agents Assert Values Their Tools Did Not Return
- arxiv url: http://arxiv.org/abs/2609.14758v1
- Date: Sun, 13 Sep 2026 19:46:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.959396
- Title: Fabrication After Tool Failure: Tool-Augmented Agents Assert Values Their Tools Did Not Return
- Title（参考訳）: ツール障害後の製作:ツール拡張エージェントがツールが返さない価値を保証
- Abstract要約: ツール拡張言語モデルは、ツールの供給に失敗した時に正直に報告するかどうかではなく、正しい回答に達するかどうかで評価される。
16のシステムドメインと8つのツール障害タイプにまたがる1024項目のベンチマークで、この障害後の決定を分離する。
- 参考スコア（独自算出の注目度）: 7.146717861821737
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tool-augmented language models are evaluated on whether they reach the right answer, not on whether they report honestly when a tool fails to supply one. We isolate this post-failure decision with a benchmark of 1,024 items spanning 16 internal-system domains and eight tool-failure types, in which a tool call is enforced and the returned payload is guaranteed to be unusable. Under a deployment-style system prompt, 14.10% of responses are dishonest: the model either asserts a value the payload cannot support or declines while citing a fabricated policy or capability limit. The rate is governed almost entirely by whether the failure is signalled. When the tool returns status:error, dishonesty is absent (0.0%); when it returns status:ok with a redacted, corrupted, stale, malformed, empty or truncated value, dishonesty reaches 45.3%. The behaviour is not an artefact of our prompts: it appears under a neutral prompt (10.17%) and under the shipped prompt of every production agent framework we evaluate, reaching 24.67% under CrewAI's, and none of the nine frameworks we audit specifies what the model should do when a tool fails. Comparing prompt-level defences, we find that the operative variable is not deference to tool output but the absence of a named failure state. Appending a single sentence that requires the model to emit retrieval_status: OK or FAILED before answering reduces dishonesty from 14.10% to 0.87%, with one item of 688 worsening against 92 improving, and transfers unchanged into three foreign agent scaffolds. The emitted flag is faithful in 99.7-99.9% of declarations, giving a runtime detector that needs only a regular expression.
- Abstract（参考訳）: ツール拡張言語モデルは、ツールの供給に失敗した時に正直に報告するかどうかではなく、正しい回答に達するかどうかで評価される。
ツールコールが実施され、返却されたペイロードが使用不能であることが保証された16のシステムドメインと8つのツール障害タイプにまたがる1,024項目のベンチマークで、この障害後の決定を分離する。
デプロイスタイルのシステムプロンプトでは、14.10%のレスポンスが不適切である: モデルは、製造されたポリシーや能力制限を引用しながら、ペイロードがサポートできない価値を主張するか、低下させる。
確率は、ほとんど完全に失敗が合図されるかどうかによって支配される。
ツールが status:error を返すと、不完全性は欠落する(0.0%)。
中立的なプロンプト(10.17%)の下で、評価対象とするすべての生産エージェントフレームワークの出荷プロンプトの下で、CrewAIの24.67%に到達し、監査対象の9つのフレームワークのうち、ツールが失敗するとモデルが何をすべきかを特定できない。
プロンプトレベルのディフェンスと比較すると,操作変数はツール出力と参照されるのではなく,名前付き障害状態が存在しないことが分かる。
モデルが検索_statusを出力する必要がある1つの文を入力する前にOKまたはFAILEDは、不正を14.10%から0.87%に減らし、688項目のうち1項目は92の改善に対して悪化し、3つの外国エージェントの足場に変化しない。
出力されたフラグは99.7-99.9%の宣言に忠実であり、正規表現のみを必要とするランタイム検出器を提供する。
関連論文リスト
- NovaFabric: Tamper-Evident, Replayable Evidence for Autonomous AI Agent Runs [0.0]
我々はNovaFabricを紹介し、監査グレードの実行証拠を作成している。
エージェントロジックを変更することなく実行中のエージェントを、ポータブルなRun Capsuleに記録する。
シードランは4モードのリプレイプロトコルで再実行可能である。
我々は8つの研究課題を測定範囲で評価した。
論文 参考訳（メタデータ） (2026-09-11T08:35:43Z) - SilentProbe: Measuring Silent Failure in Production APIs Used as Agent Tools [0.0]
機械チェック可能な制約は111例中111例において正直な誤りを示し, 61例中44例では散文のみの制約が無音に失敗した。
88回のうち88回は、その記述が単なる例示である語彙が欠落し、88回から91%が完全で書かれた語彙が正しく使用された。
論文 参考訳（メタデータ） (2026-08-29T07:07:28Z) - Fidelity Is Not Enough: Dispatch-Level Instrumentation for Agentic Datasheet Extraction [6.419341495897254]
3つのコンポーネントに対して25のハンドキュレートされたクレームのエージェントベンチマークで、すべてのツールコールをログします。
ルールベースの障害帰属分類器と、2つのルールがどのツールが呼び出されたかのみをチェックするサイレント障害検出器の2つを構築しました。
論文 参考訳（メタデータ） (2026-08-28T15:25:12Z) - ROPE: Routed Origin Policy Enforcement against Indirect Prompt Injection [61.4148196085256]
本稿では,信頼という構造概念に根ざしたROPE(Routed Origin Policy Enforcement)について述べる。
提案手法では,(1)軌道の各段階において,攻撃可能コンテンツのみを起点とする値が,原点保護パラメータに到達しない,(2)注入のリワードがない,という2つの保証が認められている。
論文 参考訳（メタデータ） (2026-08-27T01:22:14Z) - MemToC: Benchmarking Memory-Tool Conflict Resolution in Large Language Models [49.47300047353726]
MemToCは、実行時ツールによるポストツール-リターン仲裁のベンチマークである。
MemToCは、542の質制御された事実質問から構築された6,504回の評価エピソードで構成されている。
オープンウェイトな7-9Bモデルでは、ツールが強く支配的なクローズドブックの回答を返す。
論文 参考訳（メタデータ） (2026-08-26T18:22:03Z) - ADeptS-Bench: Measuring the Trustworthiness of Computer Use Agents Across Devices [48.36933831982682]
我々はADEPTS機能フレームワークを基盤とした信頼性ベンチマークであるADeptS-Benchを紹介する。
Safetyストリームは、視覚インターフェースに埋め込まれた脅威を伴うペアの良心/悪意のあるタスクを提供する。
曖昧さストリームは、意図が曖昧である場合、エージェントが明確化を求めるかどうかを評価する。
論文 参考訳（メタデータ） (2026-08-25T23:21:57Z) - Feedback That Backfires: Why Small Language Model Agents Repeat the Call They Just Watched Fail [0.0]
障害レコードの修正的なゲインを、失敗するアクションを再発光するログ確率の変化として定義すると、そのゲインは、命令チューニングされたモデル毎に負であることが分かります。
問題は、モデルのエラーメッセージの把握ではなく、ハーネスにある。
論文 参考訳（メタデータ） (2026-08-24T10:19:17Z) - The Recall Trap: A Recall-Maximizing Retriever Configuration Reduces Issue Resolution in Fixed-Budget Code Context [45.88028371034407]
コード修復における制御ケーススタディを報告し,新しい現象ではない。
私たちは、同じスタック上の1つのフラグ(1チャンク毎の重複)を切り替えます。
BM25(3.2pp、重要なパラダイム間相互作用)を逆転させる。
厳格な固定予算では、ファイルごとのハードダイドプリケートや、タスクに対するA/Bパッケージングポリシは、メトリックフラグを調整しないことが示されます。
論文 参考訳（メタデータ） (2026-08-14T19:22:50Z) - Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。
ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。
3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI)
4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
論文 参考訳（メタデータ） (2026-07-19T22:27:00Z) - Reason Less, Verify More: Deterministic Gates Recover a Silent Policy-Violation Failure Mode in Tool-Using LLM Agents [1.6567880228735357]
ポリシーを許容する環境では、対応する状態遷移がドメインポリシーによって禁じられている場合であっても、ツールはよくできた呼び出しを実行できる。
我々は、この障害モードを2ドルの航空会社ドメインで研究する。
我々は、決定論的かつリードオンリーの事前実行ゲートという、軽量な介入を評価する。
論文 参考訳（メタデータ） (2026-07-08T13:38:54Z) - ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents [59.626170560327274]
textbfClawForgeは、ステートコンフリクト下で実行可能なコマンドラインカテゴリのためのジェネレータベースのベンチマークフレームワークである。
私たちはこのフレームワークをClawForge-Bench(17のシナリオ、6の能力カテゴリ)としてインスタンス化します。
論文 参考訳（メタデータ） (2026-05-13T21:34:08Z) - SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。
提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。
我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
論文 参考訳（メタデータ） (2025-03-11T17:53:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。