論文の概要: Backtracking When It Strays: Mitigating Dual Exposure Biases in LLM Reasoning Distillation

• arxiv url: http://arxiv.org/abs/2605.19433v1
• Date: Tue, 19 May 2026 06:42:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.16737
• Title: Backtracking When It Strays: Mitigating Dual Exposure Biases in LLM Reasoning Distillation
• Title（参考訳）: LLM還元蒸留における二重曝露バイアスの緩和
• Authors: Bing Wang, Shaotian Yan, Chen Shen, kaiyuan liu, Sinan Fan, Ximing Li, Rui Miao, Xiaosong Yuan, Zhanming Shen, Jieping Ye,
• Abstract要約: 本稿では,MOTABにおけるモニタリングトラジェクトリとバックトラッキングを提案する。 MOTABは、適応的な安全境界に対して学生の政治世代を監視する。 LIMO-v2とAceReasonデータセットの実験により、MOTABは二重露光バイアスを効果的に緩和することが示された。
• 参考スコア（独自算出の注目度）: 43.020181623750865
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have achieved remarkable success in complex reasoning tasks via long chain-of-thought (CoT), yet their immense computational overhead hinders real-world deployment. LLM reasoning distillation addresses this by transferring reasoning capabilities from formidable teacher models to compact student models. However, existing distillation paradigms face a fundamental dilemma. Typical off-policy distillation strictly utilizes teacher-generated golden trajectories, suffering from an exposure bias due to the mismatch between training distributions and student-generated inference contexts, which leads to error cascades in long CoT reasoning. To address this, on-policy distillation allows students to explore their own trajectories, but we demonstrate that it inherently introduces a reciprocal reversed exposure bias: the teacher model also struggles to provide positive guidance when conditioned on student-generated sub-optimal contexts. To resolve this dual exposure biases problem, we propose Monitoring Trajectories and Backtracking when it strays (MOTAB), a new LLM reasoning distillation pipeline. Specifically, MOTAB dynamically monitors the student's on-policy generation against an adaptive safety boundary. When the generation strays and exceeds this threshold, MOTAB backtracks to the last safe state and leverages teacher intervention to correct the course. This approach inherently tolerates minor student errors to mitigate exposure bias, while preventing sub-optimal contexts to circumvent reversed exposure bias. Extensive experiments on the LIMO-v2 and AceReason datasets demonstrate that MOTAB effectively alleviates the dual exposure biases, yielding a roughly 3% average performance improvement in reasoning tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、長いチェーン・オブ・シント(CoT)を通して複雑な推論タスクを成功させたが、その膨大な計算オーバーヘッドは現実世界の展開を妨げる。 LLM推論蒸留は、強い教師モデルからコンパクトな学生モデルへの推論能力を移行することでこの問題に対処する。 しかし、既存の蒸留パラダイムは基本的なジレンマに直面している。 典型的なオフポリス蒸留は、教師が生成した黄金の軌跡を厳密に利用し、訓練分布と学生が生成する推論コンテキストのミスマッチによる露出バイアスに悩まされ、長いCoT推論におけるエラーカスケードにつながる。 これを解決するために, オンライン蒸留は, 学生が自身の軌跡を探索することを可能にするが, 相互逆露光バイアスが本質的に導入されることを実証する。 この二重露光バイアス問題を解決するために,新しいLCM蒸留パイプラインであるMOTAB(MOTAB)におけるモニタリングトラジェクトリとバックトラックを提案する。 特に、MOTABは、適応的な安全境界に対して、学生の政策生成を動的に監視する。 世代がこの閾値を超えると、MOTABは最後の安全な状態にバックトラックし、教師の介入を利用してコースを修正します。 このアプローチは本質的に、小さな学生の誤りを許容し、露光バイアスを軽減すると同時に、副最適コンテキストを回避し、逆露出バイアスを回避します。 LIMO-v2とAceReasonデータセットの大規模な実験は、MOTABが二重露光バイアスを効果的に軽減し、推論タスクにおける平均的なパフォーマンス改善が約3%となることを示した。

関連論文リスト

• Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
  オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。 我々は、この原則を軌跡固有のリリースルールで運用する。 強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-05-13T15:05:30Z)
• Multi-Rollout On-Policy Distillation via Peer Successes and Failures [31.731266689209914]
  大規模な言語モデルは、しばしばスパース検証器の報酬で訓練後、サンプルの軌道が成功するかどうかを示すが、推論が成功するか失敗するかについての限られたガイダンスを提供する。 オンライン蒸留(OPD)は、学生が生み出す軌跡の訓練により、より密集したトークンレベルの監督を提供する。 我々は,学生のローカルロールアウトグループを用いて,より情報のある教師信号を構築する,ピアコンディショニング蒸留フレームワークであるMulti-Rollout On-Policy Distillation (MOPD)を紹介した。
  論文  参考訳（メタデータ） (2026-05-12T18:57:44Z)
• Adaptive Teacher Exposure for Self-Distillation in LLM Reasoning [2.9029480541171107]
  そこで我々は, 自己蒸留を推論するための効果的な新しい軸として, 適応型教師曝露を提案する。 適応型自己蒸留(ATESD)は, 競争力のある自己蒸留とRLベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-05-12T03:15:58Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)
• A Survey of On-Policy Distillation for Large Language Models [19.95776080082138]
  この調査は、大規模言語モデル(LLM)のオン・ポリシィ蒸留に関する最初の包括的概要を提供する。 オンラインのサンプルに対して$f$-divergenceフレームワークを導入し,emphfeedbackシグナル(ログベース,結果ベース,自己プレイ),emphteacherアクセス(ホワイトボックス,ブラックボックス,教師フリー),emphloss最小化(トケンレベル,シーケンスレベル,ハイブリッド)の3つの次元に沿ってランドスケープを整理する。
  論文  参考訳（メタデータ） (2026-04-01T08:32:34Z)
• Reinforcement-aware Knowledge Distillation for LLM Reasoning [63.53679456364683]
  強化学習(Reinforcement Learning, RL)ポストトレーニングは、最近、大型言語モデル(LLM)の長いチェーン・オブ・プリーティングにおいて、進歩をもたらした。 既存の知識蒸留法の多くは、教師による微調整(SFT)のために設計されており、固定された教師のトレースや教師の学生であるKulback-Leibler(KL)の発散に基づく正規化に依存している。 本稿では,RLにおける選択的な模倣を行うRL-aware distillation (RLAD)を提案する。
  論文  参考訳（メタデータ） (2026-02-26T00:20:39Z)
• Distill Not Only Data but Also Rewards: Can Smaller Language Models Surpass Larger Ones? [58.80794196076336]
  大型言語モデル(LLM)の蒸留は、教師による微調整(SFT)を通して教師モデルの応答を伝達するのが一般的である。 本稿では, 応答と報酬の両方を伝達する新しい蒸留パイプラインを提案する。 本手法は,教師と生徒の両方の反応の固有構造を利用した自己教師機構によって擬似回帰を生成する。
  論文  参考訳（メタデータ） (2025-02-26T20:50:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。