論文の概要: ReTeach: Building a Self-Teacher through Multi-Round Reflection and Retry
- arxiv url: http://arxiv.org/abs/2610.11529v1
- Date: Thu, 08 Oct 2026 08:58:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 11:59:33.74524
- Title: ReTeach: Building a Self-Teacher through Multi-Round Reflection and Retry
- Title（参考訳）: ReTeach: マルチラウンドリフレクションとリトライによるセルフテラーの構築
- Abstract要約: 自己蒸留は、個別に訓練された、より有能な教師なしで推論を改善することができる。
リフレクションは、自己生成の試みから明示的なエラー診断と修正ガイダンスを引き出す方法を提供する。
リフレクティブな自己蒸留フレームワークであるReTeachを紹介する。
- 参考スコア（独自算出の注目度）: 7.440703574961596
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Self-distillation can improve reasoning without a separately trained, more capable teacher, but its effectiveness depends on how the self-teacher gains an advantage over the student. Conditioning the teacher on reference answers or solutions can provide such an advantage, but this information may be unavailable. Reflection offers a way to derive explicit error diagnoses and revision guidance from self-generated attempts, yet existing reflection-based methods often combine it with reference information, rich task feedback, or persistent memory. We introduce ReTeach, a Reflective self-distillation framework that constructs its self-Teacher through multi-round reflection and retry using only self-generated attempts and outcome-level verification. Starting from an unsuccessful student rollout, the teacher alternates explicit reflection with renewed attempts until success or the retry budget is exhausted, without reference answers or solutions, external diagnostic feedback, or cross-example memory. Each failed retry informs subsequent reflection, while successful correction provides outcome-level evidence for the potential utility of the resulting teacher context. An outcome-aware selection and weighting strategy distinguishes initially correct, reflection-corrected, and unresolved examples, assigning separate weights to their category-normalized distillation losses. Through on-policy distillation, the student matches the teacher's context-conditioned token-level predictive distributions at prefixes of its own rollouts, transferring the benefits of iterative correction while retaining single-pass inference. Across six benchmarks spanning mathematical reasoning, science question answering, and tool use, ReTeach improves average accuracy over GRPO by 1.39 percentage points.
- Abstract（参考訳）: 自己蒸留は、個別に訓練された、より有能な教師がいなくても推論を改善することができるが、その効果は、学生に対して自己学習者が有利になる方法に依存する。
教師に参考回答やソリューションを条件付けすることは、そのような利点をもたらすことができるが、この情報は利用できないかもしれない。
リフレクションは、自己生成の試みから明示的なエラー診断とリビジョンガイダンスを導き出す手段を提供するが、既存のリフレクションベースのメソッドは、参照情報、豊富なタスクフィードバック、永続メモリと組み合わせることが多い。
ReTeachは,自己生成試行と結果レベルの検証のみを用いて,多ラウンドのリフレクションと再試行を通じて自己Teacherを構築する,反射型自己蒸留フレームワークである。
失敗に終わった学生のロールアウトから始まり、教師は再試行や再試行予算が枯渇するまで、明示的なリフレクションを交互に行う。
失敗に終わった各リトライは、その後のリフレクションを知らせる一方で、成功した修正は、結果の教師コンテキストの潜在的有用性に関する結果レベルの証拠を提供する。
結果認識の選択と重み付け戦略は、当初正しい、反射補正された、未解決の例を区別し、それぞれのカテゴリー正規化蒸留損失に異なる重みを割り当てる。
オンライン蒸留を通じて、学生は教師の文脈条件付きトークンレベルの予測分布を自身のロールアウトのプレフィックスで一致させ、単一パス推論を維持しながら反復的修正の利点を伝達する。
数学的推論、科学質問応答、ツール使用を含む6つのベンチマークで、ReTeachはGRPOの平均精度を1.39ポイント改善している。
関連論文リスト
- On-Policy Visual Evidence Distillation [29.145226066460193]
本稿では,視覚エージェントのオンライン蒸留法であるRe Reflection on Visual Evidence (ReVuE)を紹介する。
ReVuEは、同じクエリに対して複数の学生生成軌跡を比較し、観察された視覚的証拠を要約し、最初の失敗を診断する。
我々は,これらの反射が教師の予測にどの程度強く影響するかに応じて,トークンレベルの蒸留損失をグループ化し,再重み付けする。
論文 参考訳（メタデータ） (2026-09-29T06:47:11Z) - Inductive Feedback for Mixed-Policy Distillation [15.997296479947785]
言語フィードバックはエラーを特定し、修正を処方する。
オンライン蒸留は、学生が生み出したロールアウトに関する教師の予測に合致するように学生を訓練する。
このアプローチは、フィードバックのほとんどを未使用のままにしながら、フィードバックが動機のない教師の好みを伝達することができる。
論文 参考訳（メタデータ） (2026-09-28T15:20:35Z) - What Does Privileged Information Add to On-Policy Self-Distillation? [57.872246350931306]
オンラインの自己蒸留(On-policy self-distillation)により、言語モデルは、答や解決方法を見る、自分自身の凍結したコピーから学ぶことができる。
AMPLE-Mathは、5,319の数学的問題からなる再利用可能なスイートで、同じ答えを6つの推論ビューで共有する。
直接応答型ロールアウトを監督する思考能力のある教師によって、Qwen3-1.7Bの改良の大部分は参照レス蒸留によるものである。
論文 参考訳（メタデータ） (2026-09-17T15:57:10Z) - LoongReflect: Boosting Long-Horizon Reflection in Search Agents via Global Perspective Distillation [25.555783105371574]
本稿では,リフレクションをメモリ制御ポリシとして定式化するトレーニングフレームワークを提案する。
LoongReflectは、ルックアヘッドとイントラグラディエントスタイルの調整機構を通じて、2つの補完的な信号を結合する。
マルチホップ検索強化生成および数学的推論ベンチマークの実験は、一貫した改善を示す。
論文 参考訳（メタデータ） (2026-08-12T11:56:03Z) - Reflective Recovery: A Self-Supervised Method for Reasoning by Learning from Mistakes [70.64622557376505]
リフレクティブリカバリは、推論中のミスを認識し、修正するようにモデルに教える。
AIME 2025では30.0%から37.5%、Minervaでは37.6%から47.8%に精度が向上している。
論文 参考訳（メタデータ） (2026-07-24T02:51:42Z) - H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。
既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。
本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
論文 参考訳（メタデータ） (2026-07-21T10:47:27Z) - Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。
その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
論文 参考訳（メタデータ） (2026-06-17T17:54:04Z) - First Try Matters: Revisiting the Role of Reflection in Reasoning Models [66.39546876232512]
我々は、モデルがすでに答を生み出しているが、その出力を確定する前に反射し続ける反射行動に焦点を当てる。
分析の結果,反射はおおむね肯定的であり,モデルの初期回答を変えることは滅多にないことがわかった。
本稿では,いくつかの候補解が生成されると推論プロセスが停止し,推論時間のトークン効率を向上させる質問認識早期検索手法を提案する。
論文 参考訳（メタデータ） (2025-10-09T14:57:10Z) - Instruct-of-Reflection: Enhancing Large Language Models Iterative Reflection Capabilities via Dynamic-Meta Instruction [11.838351314880736]
インストラクション・オブ・リフレクション(英: Instruct-of-Reflection、IoRT)は、大規模言語モデル(LLM)の反復的リフレクション能力を高めるために動的メタ命令を活用する、新しく一般的なリフレクションフレームワークである。
実験の結果、IoRTは数学的および常識的推論タスクにおいて、確立されたベースラインよりも平均10.1%向上していることがわかった。
論文 参考訳（メタデータ） (2025-03-02T14:02:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。