論文の概要: Solving Without Stopping: On-Policy Distillation at Small Scale

• arxiv url: http://arxiv.org/abs/2609.37326v1
• Date: Tue, 29 Sep 2026 12:01:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.456167
• Title: Solving Without Stopping: On-Policy Distillation at Small Scale
• Title（参考訳）: 立ち止まることなく解決する:小規模のオン・ポリシィ蒸留
• Abstract要約: 学生がより強い教師のフィードバックから自分自身のアウトプットから学び、小さなスケールで伝達するオンライン蒸留の分析を行う。 蒸留は第1に転送されるが、思考モードでは第2に転送されない。 解決は、最大2つの天井まで、あらゆるサイズで改善されます。
• 参考スコア（独自算出の注目度）: 16.57439856818623
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy distillation, where a student learns from a stronger teacher's feedback on its own outputs, is a common way to pass reasoning to smaller models. We analyze what it transfers at small scale, distilling Qwen3-8B into Qwen3 4B, 1.7B and 0.6B students, in thinking mode (reason at length, then end the reasoning and answer) and, for comparison, in non-thinking mode (no separate reasoning phase). Long reasoning needs two abilities, solving a problem and knowing when it is solved, and we find that distillation transfers the first, but in thinking mode not the second. Solving improves at every size, up to two ceilings, which we measure comprehensively across both modes and all student sizes: a student's single attempt never exceeds what it could already reach in many attempts before training, and the smaller the student, the further it stays below the teacher. Stopping is where the modes part. In non-thinking mode every student keeps stopping; in thinking mode students stop ending their reasoning early in training, and the smaller the student, the less of this ability survives: the teacher signals a stop almost only where a student already ends its reasoning, so distillation teaches no new stops; it only keeps the student's existing stops that land on a right answer, and a weak student has few such stops. The smallest students often reach the right value but do not commit to it: they either rarely mark it or mark it and write past it. Together, these results describe how small students behave under on-policy distillation, and a diagnostic that separates answer marking, correctness and stopping.
• Abstract（参考訳）: オンライン蒸留(On-policy distillation)は、学生がより強い教師のフィードバックから自分自身のアウトプットから学び、より小さなモデルに推論を渡す一般的な方法である。 Qwen3-8BをQwen3 4B, 1.7B, 0.6Bの学生に蒸留し, 思考モード(長さ, 推論, 解答)と非思考モード(別相)で分析した。 長い推論には2つの能力が必要であり、問題の解決と、それがいつ解決されたかを知る。 生徒の1回の試みは、訓練前の多くの試みで既に到達できるものを超えず、生徒が小さいほど、教師の下にとどまる。 停止はモードの一部です。 思考モードでは、すべての生徒が停止し続け、思考モードでは、学生が早期に推論を終了し、学生が小さいほど、この能力は存続する。教師は、既に推論が終了している場所のみに停止を通知するので、蒸留は、生徒の既存の停止を正しい答えに着陸させるだけで、弱い生徒にはそのような停止がほとんどない。 最小の学生は、しばしば正しい価値に達するが、それをコミットしない。 これらの結果は、小学生がオンライン蒸留の下でどのように振る舞うか、そして回答のマーキング、正当性、停止を区別する診断について記述している。

関連論文リスト

• What Should a Self-Teacher See? Privileged Context Design for On-Policy Self-Distillation [31.665758312770212]
  本研究では,自己学習者が特権的文脈下で生徒自身のロールアウトをスコアする,政治自己蒸留(OPSD)の緊張度について検討する。 オフラインでコンパイルされた3つの抽象化、名前付き戦略、メソッドに依存しないフレーミング、問題カテゴリを比較します。
  論文  参考訳（メタデータ） (2026-09-22T03:29:40Z)
• One Symptom, Three Levers: A Critical Review of On-Policy Self-Distillation [3.0867286767516937]
  オンライン蒸留は、教師がトークンでトークンをスコアする間、自身の世代で言語モデルを訓練する。 教師はモデル自身であり、テスト時に生徒が持たない特権情報に基づいている。 初期の結果は有望であり、生成したトークンのごく一部で強化学習に匹敵する精度であった。 しかし、信号を生成するのと同じ非対称性もそれをバイアスする。
  論文  参考訳（メタデータ） (2026-08-26T15:52:19Z)
• Geometric Self-Distillation for Reasoning Generalization [12.38444431260744]
  オンライン蒸留は、大規模言語モデルの訓練後の実践的なレシピである。 特権的内容の自己蒸留では、教師と学生は同じプレフィックスで条件付けられた同じモデルである。 我々は,このドリフトを学生の予測行動の運動として扱う幾何学的自己蒸留の目的であるGeoSDを紹介する。
  論文  参考訳（メタデータ） (2026-07-07T23:16:19Z)
• Zone of Proximal Policy Optimization: Teacher in Prompts, Not Gradients [89.89504265663057]
  近親政策最適化ゾーン(ZPPO)は、ヴィゴツキーの近親開発ゾーンに触発されたものである。 ZPPOは1つの正しい教師の反応と1つの間違った学生の反応を、生徒が識別しなければならない匿名候補としてペアリングする。 プロンプト再生バッファは、生徒の平均ロールアウト精度が半分に達するか、FIFOが削除されるまで、各難問を再循環する。
  論文  参考訳（メタデータ） (2026-06-16T17:46:02Z)
• ThinkTuning: Instilling Cognitive Reflections without Distillation [35.55825732534013]
  テストタイムスケーリングの最近の進歩は、自己回帰行動と多段階推論を示すLLMの出現につながっている。 そもそもそのような思考行動を示しないモデルを、どうやってトレーニングすればいいのか? 本研究では,GRPOに基づく対話型学習手法であるThinkTuningを提案する。
  論文  参考訳（メタデータ） (2025-08-11T04:51:43Z)
• Symbolic Chain-of-Thought Distillation: Small Models Can Also "Think" Step-by-Step [133.60124577507727]
  思考の連鎖は、素数大言語モデルに彼らの予測の合理化を口頭で示すよう促す。 オーダーオブマグニチュードの小さなモデルでも、チェーンオブ思想のプロンプトの恩恵を受けられることを示す。 そこで我々は,より大規模な教師モデルから抽出した合理化に基づいて,より小さな学生モデルを訓練する方法であるChain-of-Thought Distillation (SCoTD)を紹介した。
  論文  参考訳（メタデータ） (2023-06-24T20:15:07Z)
• Triplet Knowledge Distillation [73.39109022280878]
  知識蒸留(Knowledge Distillation)では、教師は一般的に生徒よりもはるかに大きく、教師の解法は生徒が学ぶのが難しくなる。 模擬困難を緩和するため,TriKDという三重項知識蒸留機構を導入する。
  論文  参考訳（メタデータ） (2023-05-25T12:12:31Z)
• Less is More: Task-aware Layer-wise Distillation for Language Model Compression [68.30497162547766]
  層ワイド蒸留は、大きなモデル(すなわち教師モデル)を小さなモデルに圧縮する強力なツールである。 我々は,新しいタスク対応ライEr-wise Distillation (TED)を提案する。 TEDは、各レイヤで生徒と教師の隠された表現を調整するためにタスク認識フィルタを設計する。
  論文  参考訳（メタデータ） (2022-10-04T03:36:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。