論文の概要: Learning from Your Own Mistakes: Constructing Learnable Micro-Reflective Trajectories for Self-Distillation

• arxiv url: http://arxiv.org/abs/2606.18844v1
• Date: Wed, 17 Jun 2026 09:24:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 17:16:51.084499
• Title: Learning from Your Own Mistakes: Constructing Learnable Micro-Reflective Trajectories for Self-Distillation
• Title（参考訳）: 自分の間違いから学ぶ:自己蒸留のための学習可能なマイクロ反射軌道の構築
• Authors: Zhilin Huang, Hang Gao, Ziqiang Dong, Yuan Chen, Yifeng Luo, Chujun Qin, Jingyi Wang, Yang Yang, Guanjun Jiang,
• Abstract要約: 自己蒸留は、モデルのロールアウトをトレーニング信号として使用することにより、大規模言語モデルの推論を改善する。 本稿では,暗黙的な分布アライメントから明示的な軌跡構築まで,自己蒸留を推し進めるTrajectory-Augmented Policy Optimization (TAPO)を提案する。
• 参考スコア（独自算出の注目度）: 14.043179860831406
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-distillation improves reasoning in large language models by using the model's own rollouts as training signal, typically through implicit logit-level alignment that minimizes KL divergence toward a privileged target distribution. However, because this supervision is generated via uncontrolled sampling, it provides no diagnostic insight into the model's specific errors or corrective guidance for its individual failure patterns. Consequently, the model learns to imitate a privileged distribution rather than receiving fine-grained corrections that pinpoint where and why its reasoning fails. In this paper, we propose Trajectory-Augmented Policy Optimization (TAPO), which advances self-distillation from implicit distributional alignment to explicit trajectory construction. During RL training, the model produces both correct and incorrect rollouts to the same query, and TAPO leverages this contrastive structure to construct micro-reflective corrections, new training trajectories that retain the model's erroneous reasoning up to the point of failure, then insert a natural-language diagnosis and corrected reasoning guided by a correct reference from the same sampling group. Since each trajectory is anchored in the learner's own prefix and solutions, the corrective signal preserves the model's on-policy distribution to a greater extent than the position-wise alignment imposed by KL-based methods. To integrate these trajectories, TAPO introduces difficulty-aware candidate selection at the model's capability boundary and decoupled advantage estimation to prevent gradient contamination. Experiments on AIME 2024, AIME 2025, and HMMT 2025 show that TAPO achieves consistent improvements over GRPO under the same number of training steps. Further analysis demonstrates that TAPO strengthens both first-pass reasoning and error-correction effectiveness.
• Abstract（参考訳）: 自己蒸留は、モデル自身のロールアウトをトレーニング信号として使用することにより、大きな言語モデルの推論を改善する。 しかしながら、この監視は制御されていないサンプリングによって生成されるため、モデルの特定のエラーや個々の障害パターンの修正ガイダンスに関する診断的洞察は提供されない。 その結果、モデルは、どこでなぜその推論が失敗するのかをピンポイントするきめ細かい補正を受けるのではなく、特権分布を模倣することを学ぶ。 本稿では,暗黙的な分布アライメントから明示的な軌跡構築まで,自己蒸留を推し進めるTrajectory-Augmented Policy Optimization (TAPO)を提案する。 RLトレーニングの間、モデルは正しいロールアウトと間違ったロールアウトの両方を同じクエリに生成し、TAPOは、このコントラスト構造を利用して、マイクロ反射補正、モデルの誤った推論を失敗点まで保持する新たなトレーニング軌道を構築し、その後、同じサンプリンググループからの正しい参照によって導かれる自然言語診断と修正された推論を挿入する。 各トラジェクトリは学習者自身のプレフィックスとソリューションに固定されているため、補正信号は、KLベースの手法によって課される位置方向アライメントよりも、モデルのオン・ポリティ分布をはるかに保存する。 これらの軌道を統合するため、TAPOはモデルの能力境界における難易度を考慮した候補選択を導入し、勾配汚染を防ぐために有利な推定を分離した。 AIME 2024、AIME 2025、HMMT 2025の実験は、TAPOがGRPOに対して同じ数のトレーニングステップで一貫した改善を達成していることを示している。 さらなる分析により、TAPOはファーストパス推論と誤り訂正の有効性の両方を強化することが示されている。

関連論文リスト

• MixSD: Mixed Contextual Self-Distillation for Knowledge Injection [29.7616760417696]
  Supervised Fine-tuning (SFT) は言語モデルに新しい知識を注入するために広く使われている。 このことは、人間や外部システムからの微調整対象が、モデルの自動回帰分布から逸脱するためである、と我々は主張する。 分布整合型知識注入のための簡易な外部教師なし手法であるMixSDを提案する。
  論文  参考訳（メタデータ） (2026-05-16T07:57:09Z)
• Self-Distilled Trajectory-Aware Boltzmann Modeling: Bridging the Training-Inference Discrepancy in Diffusion Language Models [65.89572755202245]
  拡散言語モデル(DLM)は、より強力なグローバル認識と高い並列生成を提供する。 標準負のエビデンス下界(NELBO)に基づく教師付き微調整後のDLMは非効率である。 そこで本研究では,学習を推論の容易かつハードな構造に整合させる,自己蒸留軌道に基づくポストトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-12T09:39:06Z)
• The Illusion of Certainty: Decoupling Capability and Calibration in On-Policy Distillation [67.26315138466312]
  モデルロールアウトから経験的信頼性を推定するキャリブレーション対応のOPDフレームワークであるCaOPDを提案する。 本研究は, 能力蒸留が信頼性を示唆するものではないこと, 信頼性をポストトレーニングの本質的な目的として扱うべきであることを明らかにする。
  論文  参考訳（メタデータ） (2026-04-18T04:43:40Z)
• InT: Self-Proposed Interventions Enable Credit Assignment in LLM Reasoning [32.274434679047395]
  アウトカム・リワード強化学習(RL)は,大規模言語モデル(LLM)の推論能力向上に有効であることが証明された。 標準RLは最終回答のレベルにのみクレジットを割り当て、結果が正しくない場合にすべての推論トレースを罰する。 Invention Training (InT) は、モデルが独自の推論トレースに基づいてきめ細かいクレジット割り当てを行う訓練パラダイムである。
  論文  参考訳（メタデータ） (2026-01-20T18:15:38Z)
• Whatever Remains Must Be True: Filtering Drives Reasoning in LLMs, Shaping Diversity [13.211627219720796]
  強化学習(Reinforcement Learning, RL)は、推論に関わる課題を解決するためにLLMをチューニングするためのデファクトスタンダードとなっている。 我々は、RLが暗黙的に「モード探索」あるいは「ゼロ強制」逆KLを目標分布に最適化し、モデルがターゲットの特定の高確率領域に質量を集中させることを論じる。 そこで本研究では,まず,正解の相対確率を無視しながら,不正確な解をフィルタリングして得られる明示的対象分布から始める。
  論文  参考訳（メタデータ） (2025-12-05T18:56:40Z)
• ResAD: Normalized Residual Trajectory Modeling for End-to-End Autonomous Driving [64.42138266293202]
  ResADは正規化された残留軌道モデリングフレームワークである。 学習タスクを再編成し、慣性参照からの残留偏差を予測する。 NAVSIMベンチマークでは、ResADはバニラ拡散ポリシーを用いて最先端のPDMS 88.6を達成している。
  論文  参考訳（メタデータ） (2025-10-09T17:59:36Z)
• Training Language Models to Self-Correct via Reinforcement Learning [98.35197671595343]
  自己補正は、現代の大規模言語モデル(LLM)では、ほとんど効果がないことが判明した。 完全自己生成データを用いたLLMの自己補正能力を大幅に向上させるマルチターンオンライン強化学習手法であるSCoReを開発した。 SCoReは最先端の自己補正性能を実現し,MATHとHumanEvalでそれぞれ15.6%,9.1%向上した。
  論文  参考訳（メタデータ） (2024-09-19T17:16:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。