論文の概要: The Assistance Dilemma: Learning to Teach via Multi-Turn Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.06446v1
• Date: Mon, 05 Oct 2026 14:50:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-09 08:20:13.254232
• Title: The Assistance Dilemma: Learning to Teach via Multi-Turn Reinforcement Learning
• Title（参考訳）: 援助ジレンマ:多段階強化学習による授業の学習
• Abstract要約: シミュレーション学生に対する強化学習(RL)は、教育を改善するための有望なアプローチである。 既存のRL学習教師は、教師の言葉をまだ文脈に残して、教師問題で生徒の成功に報いる。 学生は、教師の発話をマスクした教師問題の見当たらない変種でテストする。 これにより、生徒の認知障害を回避し、連続的なペナルティを2つの二分報酬ゲートに置き換えることができる。
• 参考スコア（独自算出の注目度）: 49.94760727418966
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) trained to answer questions are natively poor at teaching. Reinforcement Learning (RL) against a simulated student is a promising approach to improve their pedagogy, but existing RL-trained tutors reward the student's success on the tutored problem with the tutor's words still in context. The reward is then easiest to raise by telling the student the answer, and a tuned penalty is needed to reduce telling. Drawing on learning sciences, we introduce a masked near-transfer post-test: the student is tested on an unseen variant of the tutored problem with the tutor's utterances masked, so the reward can rise only through what the student wrote in its own turns. This discourages cognitive offloading by the student and allows the continuous penalty to be replaced by two binary reward gates (factual correctness of tutor response, no solution handover). A leave-one-out ablation shows that the learning-gain reward on its own does not separate teaching from telling: the gates reduce solution handover while the near-transfer post-test improves out-of-domain transfer. Using these reward designs we develop Eduardo, a multi-turn RL recipe for training LLM tutors, and use it to train 4B, 9B, 14B and 27B models from two distinct LLM architectures. Our post-trained Eduardo-27B model matches Gemini-3.1-Pro on MathTutorBench and Claude Opus 4.8 on TutorMoments at 2.4-6.2x fewer thinking tokens than frontier models, which matters for interactive tutoring. Without being named in the reward, the model more than doubles its use of the push-for-justification teacher move while support fading (e.g., assigning independent work), whose payoff lies beyond a single-problem dialog episode, is trained out. We open-source our training environment, an 8,671-problem near-transfer dataset, and trained models for further development.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、質問に答えるために訓練されている。 模擬学生に対する強化学習(RL)は、教育力を向上させるための有望なアプローチであるが、既存のRL訓練教師は、教師の言葉がまだ文脈にあるという教師問題に対して、生徒の成功に報いる。 報酬は、生徒に答えを伝えて得られるのが一番簡単で、発言を減らすためには調整されたペナルティが必要である。 学習科学を基礎として,学生は教師の発話を隠蔽して,教師の問題の見当たらない変種をテストし,生徒が自分のターンで書いたものを通してのみ報酬を得られるようにした。 これにより、生徒の認知的オフロードを回避し、連続的なペナルティを2つの二分報酬ゲートに置き換える(実際のチューター反応の正しさ、解決のハンドオーバがない)。 門は解のハンドオーバを減らし、ニア・トランスファーのポストテストはドメイン外転送を改善します。 これらの報酬設計を用いて,LLMチュータを訓練するためのマルチターンRLレシピであるEduardoを開発し,異なるLLMアーキテクチャから4B,9B,14B,27Bモデルをトレーニングする。 ポストトレーニング後のEduardo-27Bモデルは、MathTutorBenchのGemini-3.1-ProとTutorMomentsのClaude Opus 4.8にマッチする。 このモデルでは、報酬に名前を付けることなく、プッシュ・フォー・コーディフィケーションの教師の動きを2倍以上に増やし、単発のダイアログのエピソードを超えて給与が支払われるフェード(例えば、独立作業の割り当て)をサポートする。 8,671-problemのニアトランスファーデータセットと、さらなる開発のためのトレーニングモデルであるトレーニング環境をオープンソースとして公開しています。

関連論文リスト

• From Problem-Solving to Teaching Problem-Solving: Aligning LLMs with Pedagogy using Reinforcement Learning [82.50157695987558]
  大規模言語モデル(LLM)は教育を変換することができるが、直接質問応答のための最適化はしばしば効果的な教育を損なう。 オンライン強化学習(RL)に基づくアライメントフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-21T15:00:07Z)
• SuperCorrect: Advancing Small LLM Reasoning with Thought Template Distillation and Self-Correction [89.56181323849512]
  SuperCorrectは、大きな教師モデルを使用して、より小さな学生モデルの推論と反映の両方を監督し、修正する新しい2段階のフレームワークである。 第1段階では、教師モデルから階層的な高レベルかつ詳細な思考テンプレートを抽出し、よりきめ細かい推論思考を導き出す学生モデルを指導する。 第2段階では、学生モデルの自己補正能力を高めるために、クロスモデル協調直接選好最適化(DPO)を導入する。
  論文  参考訳（メタデータ） (2024-10-11T17:25:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。