論文の概要: Failure Profiling and Reachable Trajectory Selection for Reasoning Distillation
- arxiv url: http://arxiv.org/abs/2611.09042v1
- Date: Fri, 06 Nov 2026 06:14:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-09 22:29:06.810509
- Title: Failure Profiling and Reachable Trajectory Selection for Reasoning Distillation
- Title(参考訳): 共鳴蒸留における故障プロファイリングと到達可能な軌道選択
- Abstract要約: 学生は、教師のアウトプット分布に過度に適合し、推論時の行動がトレーニングデータから逸脱した場合、一般化が不十分になる傾向にある。
近年の手法では誤りデータを組み込むことでこのギャップを埋めようとするが、補正軌道はいまだに教師の推論パターンを反映している。
本研究では,学生の失敗と現実的な学習によって,効果的な学習データが共同で決定されるべきであるという知見に基づいて,FPRT(Failure Profiling and Reachable Trajectory Selection)を提案する。
- 参考スコア(独自算出の注目度): 10.13987648511885
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training smaller language models on reasoning solutions generated by a larger teacher model is the prevailing approach for transferring mathematical reasoning capabilities. However, the student tends to overfit the output distribution of the teacher and generalizes poorly when its own behavior at inference time deviates from the training data. Recent methods attempt to bridge this gap by incorporating error data, yet the corrective trajectories still reflect the reasoning patterns of the teacher, which the student cannot reliably reproduce, leaving the distribution mismatch largely unresolved. We propose a method, Failure Profiling and Reachable Trajectory Selection (FPRT), built on the insight that effective training data should be jointly determined by what the student fails on and what it can realistically learn. Our method first profiles the failure behavior of the student on each problem through repeated sampling, characterizing it in terms of error rate and error consistency to reveal qualitatively distinct failure modes. Each mode demands a fundamentally different training signal. The diagnosed mode then guides candidate generation from the teacher via distinct prompting strategies tailored to each failure type. Among the correct candidates, our method selects the one whose initial reasoning steps after the point of divergence are most reproducible by the student. These first corrective steps constitute the primary bottleneck, while the remaining steps follow an already corrected context and can therefore be continued more readily. This contrasts with standard reranking approaches, which score the trajectory as a whole and thereby dilute the signal at the critical reasoning transition. Experiments demonstrate that our method achieves the SOTA performance across the five benchmarks on both student backbones.
- Abstract(参考訳): より大規模な教師モデルによって生成される推論解に基づいて、より小さな言語モデルを訓練することは、数学的推論能力を伝達するための一般的なアプローチである。
しかし、学生は、教師の出力分布に過度に適合し、推論時の自身の振る舞いがトレーニングデータから逸脱した場合に一般化する傾向にある。
近年の手法では、誤りデータを組み込んでこのギャップを埋めようとしているが、校正軌道は教師の推論パターンを反映しており、生徒が確実に再現できないため、分布ミスマッチは未解決のままである。
本研究では,学生の失敗と現実的な学習によって,効果的な学習データが共同で決定されるべきであるという知見に基づいて,FPRT(Failure Profiling and Reachable Trajectory Selection)を提案する。
提案手法は, 繰り返しサンプリングを行い, 誤り率と誤差の整合性を特徴付けることによって, 定性的に異なる障害モードを明らかにする。
各モードは基本的に異なる訓練信号を必要とする。
診断モードは、各障害タイプに合わせて異なるプロンプト戦略を通じて、教師から候補生成を誘導する。
本手法では, 分岐点以降の推論ステップが, 学生が最も再現しやすいものを選択する。
これらの最初の修正ステップは、主要なボトルネックを構成し、残りのステップは、既に修正済みのコンテキストに従っているため、より簡単に継続することができる。
これは、軌道全体をスコアリングし、クリティカルな推論遷移で信号を希薄にする標準的な再階アプローチとは対照的である。
実験により,本手法は両学生のバックボーン上での5つのベンチマークでSOTA性能を実現することを示した。
関連論文リスト
- H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。
既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。
本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
論文 参考訳(メタデータ) (2026-07-21T10:47:27Z) - Beyond Trajectory Matching: Reflow with Marginal Distribution Alignment [7.13416637929041]
拡散および連続フロー生成モデルは高品質な生成を実現する。
リフローに基づく蒸留は、教師のODE軌道を単純化し、生徒モデルが教師の移動を少ないステップで近似できるようにする。
本稿では,各蒸留間隔の終点において,学生が引き起こした限界値とそれに対応する教師の限界値との差分をペナライズする境界アライメント正規化器を提案する。
論文 参考訳(メタデータ) (2026-06-28T09:19:44Z) - DeltaPrompts: Escaping the Zero-Delta Trap in Multimodal Distillation [49.98710755440242]
蒸留により、コンパクトなビジョンランゲージモデル(VLM)が強力な推論能力を得ることができる。
標準チャート/文書推論データセットにおけるプロンプトの最大69%は、事実上ゼロデルタである。
既存のデータセットをシードとして再利用し、学生の障害モードを積極的にターゲットとして、より良いプロンプトを生成するためのステージド合成パイプラインを提案する。
論文 参考訳(メタデータ) (2026-05-15T02:04:12Z) - InT: Self-Proposed Interventions Enable Credit Assignment in LLM Reasoning [32.274434679047395]
アウトカム・リワード強化学習(RL)は,大規模言語モデル(LLM)の推論能力向上に有効であることが証明された。
標準RLは最終回答のレベルにのみクレジットを割り当て、結果が正しくない場合にすべての推論トレースを罰する。
Invention Training (InT) は、モデルが独自の推論トレースに基づいてきめ細かいクレジット割り当てを行う訓練パラダイムである。
論文 参考訳(メタデータ) (2026-01-20T18:15:38Z) - From Correction to Mastery: Reinforced Distillation of Large Language Model Agents [13.982204994247718]
大規模言語モデルエージェントは反復的推論とツールの使用を通じて複雑なタスクの解決に長けている。
既存の蒸留手法は、小規模の生徒に完全な教師の軌跡を模倣するように訓練する。
本研究では,教師が最初期の誤りのみを訂正する学習者中心のフレームワークであるSCoReを提案する。
論文 参考訳(メタデータ) (2025-09-12T15:34:07Z) - Diffusing States and Matching Scores: A New Framework for Imitation Learning [16.941612670582522]
敵対的模倣学習は伝統的に、学習者と敵対的に選択されたコスト関数の間の2つのプレイヤーゼロサムゲームとしてフレーム化されている。
拡散モデルは、回帰を通じてスコア関数を訓練することだけを必要とするGANの非敵対的な代替品として登場した。
提案手法は, GANスタイルの模倣学習ベースラインと差別化なし模倣学習ベースラインの両方を, 連続制御問題に比較して優れていることを示す。
論文 参考訳(メタデータ) (2024-10-17T17:59:25Z) - Stepwise Verification and Remediation of Student Reasoning Errors with Large Language Model Tutors [78.53699244846285]
大規模言語モデル(LLM)は、高品質なパーソナライズされた教育を全員に拡大する機会を提供する。
LLMは、学生のエラーを正確に検知し、これらのエラーに対するフィードバックを調整するのに苦労する。
教師が学生の誤りを識別し、それに基づいて回答をカスタマイズする現実世界の教育実践に触発され、我々は学生ソリューションの検証に焦点をあてる。
論文 参考訳(メタデータ) (2024-07-12T10:11:40Z) - Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。
また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。
様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
論文 参考訳(メタデータ) (2023-02-22T14:50:24Z) - Agree to Disagree: Diversity through Disagreement for Better
Transferability [54.308327969778155]
本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。
我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
論文 参考訳(メタデータ) (2022-02-09T12:03:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。