論文の概要: TeachBack: Learning to Teach via Bidirectional Preference Optimization for On-Policy Self-Distillation
- arxiv url: http://arxiv.org/abs/2610.29167v1
- Date: Wed, 21 Oct 2026 03:59:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:06.196383
- Title: TeachBack: Learning to Teach via Bidirectional Preference Optimization for On-Policy Self-Distillation
- Title（参考訳）: TeachBack: オンライン自己蒸留のための双方向選好最適化によるTeachの学習
- Abstract要約: On-policy self-distillation (OPSD)は、同じモデルからインスタンス化された教師から学習できる言語モデルである。
政治自己蒸留のための双方向の嗜好学習フレームワークであるTeachBackを紹介した。
- 参考スコア（独自算出の注目度）: 30.678402742490373
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: On-policy self-distillation (OPSD) enables a language model to learn from a Teacher instantiated from the same model but given access to privileged information, such as a reference solution. We find that access to sufficient privileged information allows the Teacher to generate highly accurate trajectories; however, accuracy alone does not guarantee that these trajectories are suitable for Student learning. Direct access to a complete solution may encourage shortened, reference-conditioned derivations that omit the exploration, verification, and self-correction required to solve problems without privileged information. We introduce TeachBack, a bidirectional preference-learning framework for on-policy self-distillation that learns not only from the Teacher but also how the Teacher should teach. TeachBack shapes the Teacher's generation behavior by controlling the length of the reference-reasoning suffix injected into the prompt and by varying the prompt style. While maintaining comparable Teacher accuracy, it encourages the Teacher to explore and re-solve problems, thereby reducing its reliance on the reference solution. At each rollout refresh, the shared policy generates both a privileged Teacher trajectory and a problem-only Student trajectory. A pairwise preference objective uses privileged Teacher trajectories to improve Student learning, while the reversed preference uses the Student's behavior to shape future Teacher supervision under the privileged condition. Experiments on mathematical and logical reasoning tasks show that TeachBack consistently improves Student performance over existing OPSD methods and related baselines.
- Abstract（参考訳）: On-policy self-distillation (OPSD)では、同じモデルからインスタンス化された教師から学習できるが、参照ソリューションのような特権情報へのアクセスが与えられる。
十分な特権情報へのアクセスにより,教師は高精度なトラジェクトリを作成できるが,精度だけではこれらのトラジェクトリが学生の学習に適していることを保証できない。
完全なソリューションへの直接アクセスは、特権情報なしで問題を解決するために必要な探索、検証、自己補正を省略する、短縮された参照条件の導出を促進する可能性がある。
TeachBackは、教師からだけでなく、教師がどのように教えるべきかを学習する、オンラインの自己蒸留のための双方向の選好学習フレームワークである。
TeachBackは、プロンプトに注入された参照推論接尾辞の長さを制御し、プロンプトスタイルを変更することで、教師の世代行動を形成する。
同等の精度を維持しながら、教師は問題の探索と解決を奨励し、参照ソリューションへの依存を減らす。
各ロールアウト更新時に、共有ポリシーは特権を持つ教師の軌跡と問題のみの生徒の軌跡の両方を生成する。
相互選好目的は、特権教師の軌跡を用いて生徒の学習を改善する一方で、逆選好は学生の行動を用いて、特権条件下で将来の教師の監督を形作る。
数学的および論理的推論タスクの実験は、TeachBackが既存のOPSDメソッドや関連するベースラインよりも学生のパフォーマンスを一貫して改善していることを示している。
関連論文リスト
- OPDArena: Understanding Learning and Forgetting in On-Policy Distillation [55.0530106449001]
教師付き微調整(SFT)、強化学習(RLVR)、オンライン蒸留(OPD)を5つの事前訓練モデルと多様な教師源で比較した。
RLVR教育を受けた教師の生徒は、事前能力を維持しながら目標課題を改善する一方、SFT訓練を受けた教師の生徒は能力損失が大きい。
制御された教師比較は、教師がポストトレーニングを通じて取得するタスク固有の嗜好が、生徒のアップデートをドメイン内でより集中させることを示している。
論文 参考訳（メタデータ） (2026-10-19T01:51:24Z) - RegulaTutor: A Theory-Informed Framework for Long-Term Personalized Learning [12.119452460249418]
RegulaTutorは、長期パーソナライズされた家庭教師のための理論インフォームドフレームワークである。
歴史的証拠、学習者解釈、学習者向け指導を結びつける。
歴史的証拠の正確さ、学習者の診断、そして教育の質を判断する。
論文 参考訳（メタデータ） (2026-10-09T11:11:44Z) - A Good Self-Teacher Meets the Student Where They Are: Joint On-Policy Learning and Teaching [15.425398466450646]
On-Policy Distillation (OPD)は、学生の世代に沿って、より強い教師から密集したトークンレベルの監督を提供する。
しかし、特権条件付けだけでは、結果の蒸留更新によって生徒が改善されることは保証されない。
本稿では,2つの役割で1つの政策を共同訓練するJOLT(Joint On-Policy Learning and Teaching)を提案する。
論文 参考訳（メタデータ） (2026-10-07T17:19:19Z) - TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
強力な教師モデルから小さな学生への蒸留はギャップカースに面している。
教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。
本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
論文 参考訳（メタデータ） (2026-09-27T10:13:54Z) - Synchronizing Beliefs with Second-Order Theory-of-Mind in Human-Autonomy Teams (Extended Version) [3.248039323542496]
嗜好に基づく報奨学習は、学習者が生成したクエリに応答する受動的オラクルとして、人間の教師を形容する。
ターゲットを知っている教師は、学習者主導の獲得戦略よりも効率的にトレーニング例を構築することができる。
選好学習は、人間と自律のチームが2つの行動モデルを結合する問題であると再認識する。
論文 参考訳（メタデータ） (2026-07-29T18:44:01Z) - H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。
既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。
本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
論文 参考訳（メタデータ） (2026-07-21T10:47:27Z) - SocraticPO: Policy Optimization via Interactive Guidance [64.7524628699057]
大規模言語モデルのための強化学習(RL)は通常、二項正当性のようなスカラー結果の報酬を伴う推論を監督する。
我々は、ソクラティックスタイルの自然言語ガイダンスでRLロールアウトを強化する政策最適化フレームワークであるtextbf SocraticPO(Socratic Policy Optimization)を提案する。
論文 参考訳（メタデータ） (2026-06-03T09:08:29Z) - From Problem-Solving to Teaching Problem-Solving: Aligning LLMs with Pedagogy using Reinforcement Learning [82.50157695987558]
大規模言語モデル(LLM)は教育を変換することができるが、直接質問応答のための最適化はしばしば効果的な教育を損なう。
オンライン強化学習(RL)に基づくアライメントフレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-21T15:00:07Z) - Distilling Realizable Students from Unrealizable Teachers [9.968083244726941]
特権情報に基づく政策蒸留について検討し, 一部観察のみの学生政策は, フルステートアクセスの教師から学ぶ必要がある。
既存のアプローチでは、教師が実現可能ではあるが準最適のデモを作成するように変更するか、または学生に頼って、欠落した情報を独立して調査する。
i) 学生が教師に補正を問い合わせるべき時期を適応的に決定する模倣学習手法と, (ii) 効率的な探索のためにトレーニングを初期化する場所を選択する強化学習手法を導入する。
論文 参考訳（メタデータ） (2025-05-14T16:45:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。