論文の概要: Feedback That Backfires: Why Small Language Model Agents Repeat the Call They Just Watched Fail

• arxiv url: http://arxiv.org/abs/2608.23651v1
• Date: Mon, 24 Aug 2026 10:19:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.467337
• Title: Feedback That Backfires: Why Small Language Model Agents Repeat the Call They Just Watched Fail
• Title（参考訳）: バックファイアのフィードバック: 小さい言語モデルエージェントが失敗を見た電話を繰り返す理由
• Abstract要約: 障害レコードの修正的なゲインを、失敗するアクションを再発光するログ確率の変化として定義すると、そのゲインは、命令チューニングされたモデル毎に負であることが分かります。 問題は、モデルのエラーメッセージの把握ではなく、ハーネスにある。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agent harnesses record a failed tool call and its error message in the transcript and ask the model to continue, on the assumption that the error is corrective information. We measure whether it is. Defining the corrective gain of a failure record as the change in log-probability of re-emitting the action that just failed, we find the gain is negative for every instruction-tuned model we tested (6 checkpoints, 135M-1.7B, 4 families) in two environments: simulated tool calling and MBPP program repair. Normalised by action length the effect is about -1.03 nats per action token, a factor of 2.8 in the odds of each token, and holds on 90%-100% of individual items, not only on average. Over a fixed candidate set the probability of repeating the failed call rises from 0.06 to 0.54, and greedy decoding reproduces it token for token on 19% of items after the failure versus 0% before. Counterfactuals pairing the same call with a failure message, a success message, or a neutral acknowledgement separate two effects: the failed call's surface form accounts for 83% of the damage, while the semantic contribution of marking it failed is small and inconsistent in sign across environments. The problem is in the harness, not the model's grasp of error messages, and that predicts which remedies work. Replacing the verbatim call with a runtime-generated description of the failure removes 76% of the inversion at no token cost, and making previously-failed strings unreachable at the decoder acts on the same term. Two plausible remedies do not: an explicit "do not repeat" instruction leaves the measured quantity where it was, and deleting the failed attempt to retry from a clean context, the standard prescription for context contamination, is the worst harness we measured for repetition, because it restores the context that produced the failure. The study runs end to end on a CPU; all artefacts are released.
• Abstract（参考訳）: エージェントは失敗したツールコールとそのエラーメッセージを書き起こしに記録し、エラーが修正情報であると仮定してモデルを継続するように要求する。 私たちはそれが正しいかどうかを測る。 フェールレコードの正しいゲインを、失敗したアクションを再発光するログ確率の変化として定義すると、テストした命令チューニングモデル(6つのチェックポイント、135M-1.7B、4ファミリ)に対して、シミュレートされたツールコールとMBPPプログラムの修正の2つの環境において、そのゲインが負であることに気付きます。 アクション長によって正規化される効果は、アクショントークン当たり約1.03ナットであり、各トークンの確率の2.8倍であり、平均だけでなく個々のアイテムの90%-100%を占める。 固定された候補セット上では、失敗した呼び出しを繰り返す確率は0.06から0.54に上昇し、greedy復号化は失敗後の19%のアイテムに対して0%に対してトークンのトークンを再生する。 フェールコールとフェールメッセージ、成功メッセージ、中立的な承認とをペアリングするフェールファクトは2つの効果を分離する。フェールコールの表面フォームは損傷の83%を占めており、フェールコールのマーキングのセマンティックコントリビューションは小さく、環境間のサインで一貫性がない。 問題は、モデルのエラーメッセージの把握ではなく、ハーネスにある。 実行時に生成された障害の説明で動詞の呼び出しを置き換えると、トークンコストなしで反転の76%が取り除かれる。 明示的な"繰り返すな"命令は、測定した量を残し、クリーンなコンテキストからリトライしようとする失敗を削除します。 研究はCPU上でエンドツーエンドで行われ、すべての成果物がリリースされます。

関連論文リスト

• Fabrication After Tool Failure: Tool-Augmented Agents Assert Values Their Tools Did Not Return [7.146717861821737]
  ツール拡張言語モデルは、ツールの供給に失敗した時に正直に報告するかどうかではなく、正しい回答に達するかどうかで評価される。 16のシステムドメインと8つのツール障害タイプにまたがる1024項目のベンチマークで、この障害後の決定を分離する。
  論文  参考訳（メタデータ） (2026-09-13T19:46:42Z)
• Clean Engineering, Unstable Measurement: A Preregistered Reliability Failure of Black-Box LLM Observers on Shared Endpoints [4.41537705949485]
  言語モデル審査員は、トレーニングデータをゲートし、世代をスコアし、リーダーボードを駆動する。 我々は、事前登録された2つのキャンペーンにおいて、すべてのしきい値が事前に固定された状態で、その仮定を監査した。 52,988件の要求を監査し、スピアマン0.400で0.90と一致した。 証拠を3段階のスナップショット識別はしご、8つの設計ルール、レポートチェックリストに抽出する。
  論文  参考訳（メタデータ） (2026-09-03T17:59:43Z)
• Invocation-Level Reliability of Tool-Using Agents [0.7874708385247353]
  クリーンな教師強化コンテキストと,モデル独自のフリーランニングコンテキストの両方の下で,その2つを分離する,正しい起動率を測定する。 深さ6では、モデル自身のクリーンコンテキスト能力の約70%が、以前の失敗に失われる。
  論文  参考訳（メタデータ） (2026-08-23T09:04:59Z)
• Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents [22.30468215041597]
  ツール使用エージェントは別の言語で同じタスクを与えられるが、それでも同じステップを踏むだろうか? アクションポリシーを,8つのモデル,6つの並列ベンチマーク,41の言語で測定対象とする。
  論文  参考訳（メタデータ） (2026-08-11T16:18:34Z)
• Real-Time Detection and Repair of LLM Agent Failures [0.0]
  LLMエージェントは、エポゾドループの途中で失敗し、カスケードツールエラー、ゴールのドリフトオフ、結果の生成、あるいは静かに劣化したコンテンツを吸収する。 1ステップあたりのマイクロ秒のモニターを使用して、正常な実行のみをトレーニングすることで、観測可能なステップ単独で、どの程度の検出が達成できるのかを問う。 システムは1歩あたり200マイクロ秒で、審査員の呼び出しより3桁低い。
  論文  参考訳（メタデータ） (2026-08-03T16:34:46Z)
• Judging Is Not Enumerating: Silent Omissions in LLM-Authored Acceptable Sets [13.85834524293015]
  私たちは、ロールが想定する能力を測定し、通常、ロールが配置されるプロトコルの下でそれを欠いていることを見つけます。 モデルは、その候補がセット自体の作者よりもはるかに優れているかどうかを判断する。
  論文  参考訳（メタデータ） (2026-08-02T05:00:44Z)
• Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
  AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。 コードには手書きのコードはなく、人間による注釈もない。 エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
  論文  参考訳（メタデータ） (2026-07-17T17:41:16Z)
• What Accuracy and Gradient Cosine Miss: Evaluating Feedback Alignment via Scale Stability, Reference Validity, and Depth Utility [48.10132234701036]
  本稿では,3つのチェック(スケール安定性,参照妥当性,深度ユーティリティ)に基づく診断評価プロトコルを提案する。 複数のアーキテクチャや手法にまたがって、我々のプロトコルは広い校正マージンを持つ全ての障害を識別する。
  論文  参考訳（メタデータ） (2026-06-19T06:04:17Z)
• Code Correctness Signals in LLM Hidden States: Pre-Generation Probing and Repair Geometry [0.0]
  モデルのファーストアタプティブコードの正しさは、プロンプト-ファイナル隠れ状態から線形にデオード可能である。 モデルが失敗した最初の試みを修復しようとするケース236では、失敗した試みからその修復への隠れ状態シフトが統計的に検出可能なコントラスト方向をもたらす。
  論文  参考訳（メタデータ） (2026-06-12T15:06:15Z)
• Catching One in Five: LLM-as-Judge Blind Spots in Production Multi-Turn Transaction Agents [45.148328075418156]
  デプロイされた多ターン食品・飲料注文エージェントについて検討し,実際の品質問題の数を測定した。 私たちの盲点分類は、失敗はランダムではなく構造化されていることを示している。 プロダクションマルチターンエージェントでは、自動判断はリグレッションフロアであり、人間のレビューの代わりにはならない。
  論文  参考訳（メタデータ） (2026-06-09T02:11:01Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• Demonstrating a long-coherence dual-rail erasure qubit using tunable transmons [59.63080344946083]
  共振結合された一対のトランスモンからなる「デュアルレール量子ビット」が高コヒーレントな消去量子ビットを形成することを示す。 我々は、チェック毎に0.1%$ dephasingエラーを導入しながら、消去エラーの中間回路検出を実演する。 この研究は、ハードウェア効率の量子誤り訂正のための魅力的なビルディングブロックとして、トランスモンベースのデュアルレールキュービットを確立する。
  論文  参考訳（メタデータ） (2023-07-17T18:00:01Z)
• SoftCorrect: Error Correction with Soft Detection for Automatic Speech Recognition [116.31926128970585]
  我々は,明示的かつ暗黙的な誤り検出の限界を回避するため,ソフトエラー検出機構を備えたSoftCorrectを提案する。 暗黙的な誤り検出とCTC損失と比較すると、SoftCorrectはどの単語が誤りであるかを明示的な信号を提供する。 AISHELL-1とAidatatangデータセットの実験では、SoftCorrectはそれぞれ26.1%と9.4%のCER削減を達成した。
  論文  参考訳（メタデータ） (2022-12-02T09:11:32Z)
• TACRED Revisited: A Thorough Evaluation of the TACRED Relation Extraction Task [80.38130122127882]
  TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである パフォーマンスの天井に到達したのか、改善の余地はあるのか? ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
  論文  参考訳（メタデータ） (2020-04-30T15:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。