論文の概要: A Good Self-Teacher Meets the Student Where They Are: Joint On-Policy Learning and Teaching

• arxiv url: http://arxiv.org/abs/2610.10447v1
• Date: Wed, 07 Oct 2026 17:19:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:23.072489
• Title: A Good Self-Teacher Meets the Student Where They Are: Joint On-Policy Learning and Teaching
• Title（参考訳）: 良い自己学習者が学生に会い, オンライン学習と教育を共同で行う
• Abstract要約: On-Policy Distillation (OPD)は、学生の世代に沿って、より強い教師から密集したトークンレベルの監督を提供する。 しかし、特権条件付けだけでは、結果の蒸留更新によって生徒が改善されることは保証されない。 本稿では,2つの役割で1つの政策を共同訓練するJOLT(Joint On-Policy Learning and Teaching)を提案する。
• 参考スコア（独自算出の注目度）: 15.425398466450646
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement Learning (RL) from outcome rewards suffers from sparse supervision, particularly on difficult, long-horizon tasks where successful trajectories are rare and costly to generate. On-Policy Distillation (OPD) offers an attractive alternative by providing dense token-level supervision from a stronger teacher along the student's own generations. Self-distillation methods further remove the need for a separate teacher model by conditioning the same policy on privileged information to serve as its own teacher. However, privileged conditioning alone does not guarantee that the resulting distillation update improves the student. Indeed, privileged information can lead the teacher to solve tasks through shortcuts unavailable to the student, producing supervision poorly matched to the student's current behavior. Consequently, even a higher-performing teacher can provide guidance that degrades student performance. To address this, we analyze how the choice of privileged teacher affects the student's update. We derive a necessary and sufficient condition for the teacher's local distillation update to be a positive multiple of the student's reward gradient. Our analysis suggests that the teacher should not only perform well on the task, but also provide guidance suited to the student's current capabilities. This characterization motivates a practical teacher-training surrogate that combines outcome rewards with token-level Kullback-Leibler (KL) regularization toward the student. Based on this result, we propose Joint On-Policy Learning and Teaching (JOLT), which jointly trains a single policy in two roles: a privileged teacher using a KL-regularized objective, and an unprivileged student using dense on-policy distillation. Across mathematical reasoning, coding, tool use, and terminal use, JOLT improves training efficiency and performance, with further gains from student rewards.
• Abstract（参考訳）: 結果報酬からの強化学習(Reinforcement Learning, RL)は、特に、軌道を成功させるのが稀でコストがかかる、困難な長期作業において、疎い監督に悩まされる。 On-Policy Distillation (OPD) は、学生の世代に沿って強力な教師から密集したトークンレベルの監督を提供することによって、魅力的な代替手段を提供する。 自己蒸留法は、独自の教師として機能する特権情報に同じ方針を定め、個別の教師モデルの必要性をさらに排除する。 しかし、特権条件付けだけでは、結果の蒸留更新によって生徒が改善されることは保証されない。 実際、特権情報によって、教師は生徒が利用できないショートカットを通じてタスクを解決し、生徒の現在の行動に不適合な監督を生み出すことができる。 これにより、ハイパフォーマンスな教師でさえ、生徒のパフォーマンスを低下させるガイダンスを提供することができる。 これを解決するために、特権教師の選択が生徒の更新にどのように影響するかを分析する。 我々は,教師のローカル蒸留更新が,学生の報酬勾配の正の倍である必要十分条件を導出した。 分析の結果,教師は課題をうまくこなすだけでなく,生徒の現在の能力に合った指導を行うことが示唆された。 この特徴は、成果報酬とトークンレベルのKL(Kulback-Leibler)正規化を組み合わせた実践的な教師訓練サロゲートを動機付けている。 そこで本研究では,KL正規化目標を用いた特権教師と高密度オンライン蒸留を用いた特権学生の2つの役割で,単一政策を共同訓練するジョイント・オン・ポリティィ・ラーニング・インストラクション(JOLT)を提案する。 数学的な推論、コーディング、ツールの使用、ターミナル使用などを通じて、JOLTは訓練効率と性能を改善し、学生の報酬からさらに利益を得ている。

関連論文リスト

• Teacher-Student Gaps Are Not Enough: Outcome-Guided On-Policy Distillation for Multi-Turn Autonomous Agents [18.008085411758177]
  オンライン蒸留は、教師の監督が密集した独自の軌道で学生を訓練する。 大きなギャップは無視できるが、小さなギャップは結果クリティカルである。 教師の指導に軌道相対重み付けを適用したOG-OPD(Outcome-Guided On-Policy Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-09-28T14:49:13Z)
• TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
  強力な教師モデルから小さな学生への蒸留はギャップカースに面している。 教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。 本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
  論文  参考訳（メタデータ） (2026-09-27T10:13:54Z)
• The Strongest Teacher Is Not Always the Best Teacher: Student-Centric Answer Selection [46.38575272632866]
  SCAS(Student-Centric Answer Sampling)は、学生中心の学習コストの推定に基づいて、教師が作成した回答から選択するフレームワークである。 30の教師モデル、6人の生徒ベースモデル、8つのタスクにわたる実験は、SCASが生徒のパフォーマンスを継続的に改善していることを示している。
  論文  参考訳（メタデータ） (2026-05-26T11:30:17Z)
• Student-Informed Teacher Training [19.895253502371588]
  特権教師による模倣学習は,画像などの高次元入力から複雑な制御行動を学ぶのに有効であることが証明されている。 この枠組みでは、教師は特権的なタスク情報で訓練され、生徒はより限られた観察で教師の行動を予測しようとする。 本研究では,教師と生徒の政策を共同で学習する枠組みを提案し,学生が模倣できる行動を学ぶことを指導する。
  論文  参考訳（メタデータ） (2024-12-12T10:34:26Z)
• Guarded Policy Optimization with Imperfect Online Demonstrations [32.22880650876471]
  Teacher-Student Frameworkは、教師エージェントが学生エージェントのトレーニングをガードする強化学習環境である。 成績の良い教師の政策を得るのは費用がかかるか、あるいは不可能である。 そこで我々は,任意の教師ポリシーを質素あるいは劣悪な性能で組み込む新しい手法を開発した。
  論文  参考訳（メタデータ） (2023-03-03T06:24:04Z)
• Better Teacher Better Student: Dynamic Prior Knowledge for Knowledge Distillation [70.92135839545314]
  本研究では,教師の持つ特徴の一部を,特徴蒸留前の先行知識として統合した動的事前知識(DPK)を提案する。 DPKは,教員モデルと生徒モデルのパフォーマンスを正に相関させ,より大きな教員を適用することで生徒の精度をさらに高めることができる。
  論文  参考訳（メタデータ） (2022-06-13T11:52:13Z)
• Faculty Distillation with Optimal Transport [53.69235109551099]
  本稿では,教師の課題と生徒の課題を最適な輸送手段で結びつけることを提案する。 ラベル空間間の意味的関係に基づき、出力分布間の支持ギャップを埋めることができる。 各種条件下での実験は,提案手法の簡潔さと汎用性を示すものである。
  論文  参考訳（メタデータ） (2022-04-25T09:34:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。