論文の概要: Same Error, Different Recovery: How Delivery Changes LLM Agent Behavior
- arxiv url: http://arxiv.org/abs/2611.11581v1
- Date: Sun, 08 Nov 2026 19:52:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 09:45:38.066118
- Title: Same Error, Different Recovery: How Delivery Changes LLM Agent Behavior
- Title(参考訳): 同一のエラー, 異なる回復: LLM エージェントの挙動の変化
- Abstract要約: ツールを使用する言語モデルは、失敗した呼び出しをリトライするか、修正するか、停止してユーザーに伝えるかを決定する必要があります。
我々は,この配送問題を,様々な配置,ガイダンス,履歴保持,ターン構造によって分離する。
我々はこの形式を決定論的推論エンジン内でオプトイン回復層として実装し、公開ベンチマークと符号化エージェントで評価する。
- 参考スコア(独自算出の注目度): 4.248579005664226
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A tool-using language model must decide whether to retry a failed call, correct it, or stop and tell the user. The error text alone may not be enough: the same feedback can lead to different actions depending on where it appears in the conversation. We isolate this delivery problem by varying placement, guidance, retained history and turn structure. Two studies with plans fixed before data collection, across 13 open models from 3B to 70B parameters, compare the next action and subsequent task completion, with exact deterministic reruns. A new user turn that retains the failed exchange avoids the severe stopping failure observed in Llama models when that exchange is removed. It is non-inferior to history rewriting in pooled synthetic comparisons, but is not best for every model. We implement this form as an opt-in recovery layer within a deterministic inference engine and evaluate it on public benchmarks and a coding agent. On ToolMaze, it raises success on explicit errors by 14.2 points with 7-8B models and 10.5 points with 32-70B models; Loud/Quiet, 24 multi-turn tasks with visible failures and silent corruption, scored by final-state agreement, shows no measurable gain. A client given the exact fault kind performs better still. The findings support delivery as a distinct factor in recovery, not an engine-exclusive solution or a universal retry policy.
- Abstract(参考訳): ツールを使用する言語モデルは、失敗した呼び出しをリトライするか、修正するか、停止してユーザーに伝えるかを決定する必要があります。
エラーテキストだけでは十分ではないかもしれない。同じフィードバックは、会話のどこに現れるかによって異なるアクションを引き起こす可能性がある。
我々は,この配送問題を,様々な配置,ガイダンス,履歴保持,ターン構造によって分離する。
データ収集の前に修正された計画に関する2つの研究は、3Bから70Bパラメータの13のオープンモデルに対して、次のアクションとその後のタスク完了を比較し、正確な決定論的再実行と比較した。
フェールした交換を保持する新しいユーザターンは、その交換が削除されたときにラマモデルで観測される深刻な停止障害を回避する。
プール化された合成比較では歴史の書き直しには適さないが、すべてのモデルに最適ではない。
我々はこの形式を決定論的推論エンジン内でオプトイン回復層として実装し、公開ベンチマークと符号化エージェントで評価する。
ToolMazeでは、7-8Bモデルで14.2ポイント、32-70Bモデルで10.5ポイントの明示的なエラーで成功している。
正確な障害の種類が与えられたクライアントは、それでもパフォーマンスが良くなります。
これらの結果は、エンジン排他的ソリューションやユニバーサルリトライポリシではなく、リカバリの明確な要因としてデリバリを支持している。
関連論文リスト
- CAREFUL-Bench: Effect-Aware, Judge-Free Evaluation of Multi-Turn LLM Function Calling [45.88028371034407]
バークレー関数呼び出しリーダーボードは、シミュレートされたサービスの最終的な状態のみをチェックする。
ジャッジフリーのリプレイスコアラは、ログ化された任意のBFCLランをリスコアし、800の参照トラジェクトリすべてでBFCLの結果を再生する。
確認対応プロトコルは、提案に答える決定論的ユーザを追加する。
論文 参考訳(メタデータ) (2026-11-02T11:47:05Z) - Beyond Benchmarks: Can Small Open-Weight Models Get Real Coding Work Done? [0.0]
このレポートは、コーディングクライアント間の2026年7月から10月までの私のエンジニアリング作業に続くものです。
サービスされたモデル、一貫性のあるテキスト、実行されたツール呼び出し、独立した振る舞いチェックをパスするコードは、明確な進捗レベルであることが判明した。
論文 参考訳(メタデータ) (2026-10-25T12:15:46Z) - Loud Failures, Quiet Failures: Fault Detection and Recovery in Tool-Using Language Model Agents [0.0]
我々は、ツールが明示的なエラーを返す場合の91.3%の試験において、エージェントが障害を問題として扱うことを示したが、その58.8%の試験では、それが妥当な間違った値を返す。
兄弟姉妹に対してペアを組むと(-9.3点、p .001)、変更計画がさらに(+10.4点、p .001)、回復は変化しない(p =.512)。
障害後、エージェントは同じツールに最大22.2%の試験で3回以上連続して戻るが、正確に同じ繰り返しはまれである。
論文 参考訳(メタデータ) (2026-10-07T13:29:59Z) - Does This Action Still Explain the Task? Reverse Scoring for Diffusion Language Model Agents [25.947103954467874]
拡散ベースの大規模言語モデル(dLLM)は、並列デコーディングを通じて自動回帰エージェントのシーケンシャル遅延ボトルネックを壊すことを約束する。
最近の評価では、この効率はエンボディード・エージェント・コンピテンスに移行しない。
我々は、この失敗とトレーニングなしの治療法について、機械学的に説明します。
論文 参考訳(メタデータ) (2026-09-29T20:54:04Z) - Critical-State RL: Diagnosing Trainable States for Multi-Turn Tool Use [54.30773141960395]
マルチターンインタラクションにおけるトレーニング可能な状態を特定するために、Critical-State RLを導入する。
それぞれの報酬がタスク成功に対するアクションの効果を捉えているかどうか、参照ポリシーよりも改善できるかどうかを評価する。
Berkeley Function Calling Leaderboard (BFCL) v4の実験では、診断選択された州でのトレーニングと代替州でのトレーニングを比較している。
論文 参考訳(メタデータ) (2026-09-21T17:57:20Z) - ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。
SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。
モデル自身の失敗から両方を得るReDraftを紹介します。
論文 参考訳(メタデータ) (2026-09-15T04:59:03Z) - MemToC: Benchmarking Memory-Tool Conflict Resolution in Large Language Models [49.47300047353726]
MemToCは、実行時ツールによるポストツール-リターン仲裁のベンチマークである。
MemToCは、542の質制御された事実質問から構築された6,504回の評価エピソードで構成されている。
オープンウェイトな7-9Bモデルでは、ツールが強く支配的なクローズドブックの回答を返す。
論文 参考訳(メタデータ) (2026-08-26T18:22:03Z) - Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents [22.30468215041597]
ツール使用エージェントは別の言語で同じタスクを与えられるが、それでも同じステップを踏むだろうか?
アクションポリシーを,8つのモデル,6つの並列ベンチマーク,41の言語で測定対象とする。
論文 参考訳(メタデータ) (2026-08-11T16:18:34Z) - Expert-Aware Causal Tracing of Factual Recall in Sparse MoE Language Models [48.37640356111552]
ファクトリコールの因果トレースは、主に高密度トランスフォーマー言語モデルで研究されている。
スパースMoE言語モデルのための専門家対応因果トレースを定式化する。
論文 参考訳(メタデータ) (2026-06-02T15:35:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。