論文の概要: Splicing Hints into Reasoning Traces: Learning from Demonstrator Failures

• arxiv url: http://arxiv.org/abs/2610.13996v1
• Date: Sat, 26 Sep 2026 23:28:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 21:02:54.452251
• Title: Splicing Hints into Reasoning Traces: Learning from Demonstrator Failures
• Title（参考訳）: ヒントを推論トレースに分割する - デモストレータの失敗から学ぶ
• Abstract要約: 検証可能な報酬による強化学習は、最終回答をチェックする際に数学的推論を改善する。 ループ内検証器が基本的な障害に直面しているため、チェックを推論モデルに置き換える。 代わりに、トレーニングループから検証と修復をSPLICEでオフラインデータ生成に移動します。 SPLICE 上で微調整されたモデルでは、AIME 上での推論モデルの未編集のトレースから抽出したモデルと、オリンピックの証明でヒトの成績に対して検証されたグレーディングプロトコルとを比較検討した。
• 参考スコア（独自算出の注目度）: 1.539942973115038
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning with verifiable rewards improves mathematical reasoning when a final answer can be checked, but a correct answer does not certify the derivation behind it, and proof problems offer no answer to check. Replacing the check with a reasoning model as an in-loop verifier faces a fundamental obstacle: the policy must already produce occasional correct attempts for any reward to exist, which it may never do at olympiad level. We instead move verification and repair out of the training loop and into offline data generation with SPLICE, a workflow in which a second model, given only a reference solution, edits a reasoning model's traces as they are generated: it verifies progress, truncates a failed trace at its last verified step, and splices in an adaptively strengthened hint until progress resumes. The resulting dataset includes repaired examples whose sampled unaided trajectory failed, with failed continuations removed and progress repeatedly checked against the reference solution. A model finetuned on SPLICE traces outperforms the same model distilled from the reasoning model's unedited traces on AIME and, under a grading protocol validated against human grades, on olympiad proofs. The trained model's own traces show a corresponding behavioral signature: at difficult points it announces a branch in the style of the spliced hints and takes riskier steps, with predictive entropy rising there and just after, a pattern absent from the model trained on unedited traces.
• Abstract（参考訳）: 検証可能な報酬による強化学習は、最終的な答えをチェックできるときの数学的推論を改善するが、正しい答えはその背景にある導出を証明せず、証明問題はチェックのための答えを提供しない。 ループ内検証器として推論モデルでチェックを置き換えることは、根本的な障害に直面している。 SPLICEは、参照ソリューションのみを与えられた第2のモデルが生成した推論モデルのトレースを編集し、進捗を検証し、最後の確認ステップで失敗したトレースを切断し、進捗が再開するまで適応的に強化されたヒントでスプライシングするワークフローである。 得られたデータセットには、サンプルの未確認軌道が失敗した修正例が含まれており、継続が削除され、参照ソリューションに対して進行が繰り返しチェックされる。 SPLICE 上で微調整されたモデルでは、AIME 上での推論モデルの未編集のトレースから抽出したモデルと、オリンピックの証明でヒトの成績に対して検証されたグレーディングプロトコルとを比較検討した。 訓練されたモデル自身のトレースは、対応する行動的シグネチャを示す: 難点において、スプリケートされたヒントのスタイルの分岐をアナウンスし、よりリスクの高いステップを取り、そこで予測エントロピーが上昇し、すぐに、未編集のトレースでトレーニングされたモデルから欠落するパターンである。

関連論文リスト

• Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models [87.94969284553706]
  エンド・ツー・エンドのpass@$K$は、成功した振る舞いがベースモデルのディストリビューションにすでに現れるかどうかをテストする。 コールドスタートからハーネスを駆動するために、ベースチェックポイントを必要としない3つのスクリーンを構築します。 3つの画面はいずれも、ポストトレーニング後のSWE-bench Verified pass@$1$と密接に一致して、コホートをランク付けする。
  論文  参考訳（メタデータ） (2026-10-07T17:37:19Z)
• Correct Answers, Invalid Traces: What Verifiable Grade-School Math Reveals About Chain-of-Thought Traces [15.709289123537593]
  学習した推論と計画の主張を支援するために使用されるトレースについて研究する。 まず、有効な最小限のトレースに特化して訓練されたモデルを評価する。 その後、私たちは追跡監視に介入します。
  論文  参考訳（メタデータ） (2026-09-29T17:46:55Z)
• ReTrace: Rejected-Trajectory Conditioning for Speculative Decoding [46.17292752074153]
  本稿では,前回のラウンドから削除された接尾辞に対して,各ドラフトブロックを条件付けするReTraceを紹介する。 ReTraceは、DFlashバックボーン上で、平均受信長とエンドツーエンドの復号速度を継続的に改善する。
  論文  参考訳（メタデータ） (2026-08-30T12:20:54Z)
• InT: Self-Proposed Interventions Enable Credit Assignment in LLM Reasoning [32.274434679047395]
  アウトカム・リワード強化学習(RL)は,大規模言語モデル(LLM)の推論能力向上に有効であることが証明された。 標準RLは最終回答のレベルにのみクレジットを割り当て、結果が正しくない場合にすべての推論トレースを罰する。 Invention Training (InT) は、モデルが独自の推論トレースに基づいてきめ細かいクレジット割り当てを行う訓練パラダイムである。
  論文  参考訳（メタデータ） (2026-01-20T18:15:38Z)
• Refinement Provenance Inference: Detecting LLM-Refined Training Prompts from Model Behavior [58.751981587234916]
  本稿では,Refinement Provenance Inference (RPI)監査タスクをRefinement Provenance Inference (RPI)として定式化する。 本稿では,ロジットレベルの信号で教師が強制する可能性機能を融合させるロジットベースのフレームワークであるReProを提案する。 トレーニング中、ReProはシャドウファインチューニングを通じて転送可能な表現を学び、訓練データアクセスなしで、見えない犠牲者の証明を推測するために軽量のリニアヘッドを使用する。
  論文  参考訳（メタデータ） (2026-01-05T10:16:41Z)
• Learning a Dense Reasoning Reward Model from Expert Demonstration via Inverse Reinforcement Learning [50.20267980386502]
  我々は、専門家によるデモンストレーションから直接、プロセスの監督のための密集したトークンレベルの報酬モデルを学びます。 学習された推論報酬は、2つの補完的な役割を果たす: (i)訓練中の推論ポリシーを最適化するためのステップレベルのフィードバックを提供する。
  論文  参考訳（メタデータ） (2025-10-02T09:55:26Z)
• Beyond Semantics: The Unreasonable Effectiveness of Reasonless Intermediate Tokens [14.78605805191225]
  中間トークンのセマンティクスが「思考」や「推論トレース」として人間化され、実際にモデル性能にどのように影響するかを考察する。 解のみのベースラインが大幅に改善されているにもかかわらず、完全に正しいトレースで訓練されたモデルは、正しい解に到達すると、いまだに不正な推論トレースを生成する。
  論文  参考訳（メタデータ） (2025-05-19T23:29:23Z)
• SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
  大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。 本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
  論文  参考訳（メタデータ） (2024-07-23T20:34:23Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。