論文の概要: Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction

• arxiv url: http://arxiv.org/abs/2610.13672v1
• Date: Fri, 09 Oct 2026 14:37:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.63941
• Title: Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction
• Title（参考訳）: トーケンではなくターンを注入する:自己補正のためのLLM推論の方向を学習する
• Abstract要約: 大規模な言語モデルは、自身の推論におけるエラーを確実に識別し、修正するのに苦労する。 私たちは、失敗したロールアウトにどこに介入するかを学び、それらをリダイレクトする方法を決めます。 結果の修正フレームワークであるUPTURNは、LLMの微調整を必要としない。 選択したプレフィックスを保持し、新しいユーザターンとして命令を注入し、接尾辞を再生する。
• 参考スコア（独自算出の注目度）: 20.322580751260578
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models struggle to reliably identify and correct errors in their own reasoning. Unlike prior training-based approaches that fine-tune an LLM to generate revisions or feedback, we learn where to intervene in failed rollouts and determine how to redirect them. To choose where to intervene, we train a 130K-parameter MLP head on a frozen encoder using only final-answer correctness. For redirection, we find that under a fixed generation budget, the tested inline injections fail to reliably redirect reasoning, whereas presenting the same instruction in a new user turn changes the model's course. The resulting correction framework, UPTURN (User-Prompt TURN injection at a learned position), requires no LLM fine-tuning: it retains a selected prefix, injects an instruction as a new user turn, and regenerates the suffix. Across four reasoners and six math benchmarks, UPTURN improves average accuracy in every setting over a 32-rollout baseline. It outperforms self-correction and reflection-token injection baselines under matched correction budgets, transfers across reasoners and to GPQA-Diamond without retraining, and complements GRPO and self-correction methods.
• Abstract（参考訳）: 大規模な言語モデルは、自身の推論におけるエラーを確実に識別し、修正するのに苦労する。 LLMを微調整してリビジョンやフィードバックを生成する以前のトレーニングベースのアプローチとは異なり、障害が発生したロールアウトにどこに介入すればよいかを学び、それらをリダイレクトする方法を決定する。 そこで, 冷凍エンコーダ上で130KパラメータのMLPヘッドを最終回答正解のみを用いて訓練する。 リダイレクトのために、固定世代予算の下では、試験されたインラインインジェクションが推論を確実にリダイレクトできないのに対して、新しいユーザで同じ命令を提示すると、モデルのコースが変わります。 UPTURN(User-Prompt TURN Injection at a learned position)は、選択したプレフィックスを保持し、新しいユーザターンとして命令を注入し、サフィックスを再生する。 4つの推論器と6つの数学ベンチマークで、UPTURNは32ロールアウトベースライン以上の設定毎に平均精度を向上する。 整合補正予算下での自己補正およびリフレクション・トケン・インジェクションのベースラインを上回り、リトレーニングなしで推論器とGPQA-ダイアモンドに転送し、GRPOと自己補正の手法を補完する。

関連論文リスト

• Can Language Models Learn to Reject Their Own Bad Reasoning Steps? [29.52749228408909]
  セルフステップ・リジェクション(SSR)は、ベースモデルの凍結を維持しながら、発電機のバックボーンに軽量のロラ受入ゲートを訓練する。 SSRは、生成されたトークンの1.21--1.40倍を用いて、シングルパスデコードよりも平均マクロ平均精度を5.4--10.1ポイント向上させる。
  論文  参考訳（メタデータ） (2026-10-05T08:27:16Z)
• Reflective Recovery: A Self-Supervised Method for Reasoning by Learning from Mistakes [70.64622557376505]
  リフレクティブリカバリは、推論中のミスを認識し、修正するようにモデルに教える。 AIME 2025では30.0%から37.5%、Minervaでは37.6%から47.8%に精度が向上している。
  論文  参考訳（メタデータ） (2026-07-24T02:51:42Z)
• Mechanistic Interpretability of Code Correctness in LLMs via Sparse Autoencoders [0.0]
  スパースオートエンコーダを用いて大規模言語モデルを分解し,コード正当性に対応する方向を特定する。 LLMにおける符号の正当性方向は誤りを確実に予測するのに対して、補正能力は統計的に有意であるが、修正エラーと正しい符号の保存との間にはトレードオフがある。 戦略の推進は、詳細な問題記述よりもテスト例を優先すべきであり、予測器の指示は、開発者レビューのエラーアラームとして機能し、これらの予測器は選択的なステアリングをガイドできる。
  論文  参考訳（メタデータ） (2025-10-03T11:44:21Z)
• Guess-and-Learn (G&L): Measuring the Cumulative Error Cost of Cold-Start Adaptation [0.11102988539107704]
  機械学習モデルの評価は、スクラッチから学習中に発生する累積誤差の適応コストを見越して、最終的な精度を強調するのが一般的である。 Guess-and- Learn (G&L) v1.0は、コールドスタート適応性を測定することで、このギャップに対処する。
  論文  参考訳（メタデータ） (2025-08-29T00:13:02Z)
• Subtle Errors in Reasoning: Preference Learning via Error-injected Self-editing [59.405145971637204]
  eRror-Injected Self-Editing (RISE) と呼ばれる新しい好み学習フレームワークを提案する。 RISEは、事前定義された微妙なエラーをピボットトークンに注入する。 RISEの有効性を検証する実験では、Qwen2-7B-Instructでの優先学習により、GSM8Kでは3.0%、MATHでは7.9%が顕著に改善され、トレーニングサンプルは4.5Kに留まった。
  論文  参考訳（メタデータ） (2024-10-09T07:43:38Z)
• Training Language Models to Self-Correct via Reinforcement Learning [98.35197671595343]
  自己補正は、現代の大規模言語モデル(LLM)では、ほとんど効果がないことが判明した。 完全自己生成データを用いたLLMの自己補正能力を大幅に向上させるマルチターンオンライン強化学習手法であるSCoReを開発した。 SCoReは最先端の自己補正性能を実現し,MATHとHumanEvalでそれぞれ15.6%,9.1%向上した。
  論文  参考訳（メタデータ） (2024-09-19T17:16:21Z)
• Small Language Models Need Strong Verifiers to Self-Correct Reasoning [69.94251699982388]
  大規模言語モデル(LLM)の推論性能を高めるための有望なソリューションとして自己補正が登場した。 この研究は、小さい(=13B)言語モデル(LM)が、より強いLMから最小の入力で推論タスクを自己補正できるかどうかを考察する。
  論文  参考訳（メタデータ） (2024-04-26T03:41:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。