論文の概要: Weaken to Strengthen: Weakening-Induced On-Policy Self-Distillation for Large Reasoning Models

• arxiv url: http://arxiv.org/abs/2610.38681v1
• Date: Wed, 28 Oct 2026 18:55:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.39917
• Title: Weaken to Strengthen: Weakening-Induced On-Policy Self-Distillation for Large Reasoning Models
• Title（参考訳）: Weaken to Strengthen:Weakening-induced On-Policy Self-Distillation for Large Reasoning Models
• Abstract要約: 自己蒸留は、適切な外部教師が利用できない場合に推論モデルを改善する手段を提供する。 一般的なアプローチは、より強力な自己教育者を構築するために特権情報に依存しており、ラベルなしのプロンプトが利用可能である場合にのみ使用を制限する。 Weakening-induced On-Policy Self-Distillation (WISD)を導入する。
• 参考スコア（独自算出の注目度）: 23.269235615604245
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-distillation offers a way to improve reasoning models when a suitable external teacher is unavailable. However, common approaches rely on privileged information to construct a stronger self-teacher, limiting their use when only unlabeled prompts are available. In this paper, we introduce Weakening-Induced On-Policy Self-Distillation (WISD), which instead constructs a weaker counterpart of the original model and uses the contrast between the two as a training signal without requiring privileged information. We explore two ways to construct the weaker model: low-bit quantization and magnitude pruning. We evaluate WISD across diverse architectures and scales on mathematical and coding reasoning tasks. Across these benchmarks, quantization and pruning improve average accuracy over the original models by 4.0 and 5.5 percentage points, respectively, achieving state-of-the-art performance even without privileged information. Notably, pruning raises Qwen3.5-4B's accuracy from 57.7% to 70.5% on HMMT 2025 and from 39.1% to 56.7% on LiveCodeBench v6. Quantization raises Qwen3.6-35B-A3B's accuracy from 68.5% to 74.6% and from 61.8% to 69.5% on the same benchmarks, respectively. These results establish WISD as a novel and effective self-distillation framework for large reasoning models.
• Abstract（参考訳）: 自己蒸留は、適切な外部教師が利用できない場合に推論モデルを改善する手段を提供する。 しかし、一般的なアプローチは、より強力な自己教育者を構築するために特権情報に依存しており、ラベルなしのプロンプトが利用可能である場合にのみ使用を制限する。 本稿では,Weakening-induced On-Policy Self-Distillation (WISD)について述べる。 より弱いモデルを構築するには、低ビット量子化と等級プルーニングの2つの方法を検討する。 WISDは様々なアーキテクチャにまたがって評価され、数学的およびコーディング推論タスクのスケールが評価される。 これらのベンチマークでは、量子化とプルーニングにより、それぞれオリジナルのモデルの平均精度が4.0ポイントと5.5ポイント向上し、特権情報がなくても最先端のパフォーマンスが達成された。 特に、pruningは、Qwen3.5-4Bの精度を、HMMT 2025では57.7%から70.5%に、LiveCodeBench v6では39.1%から56.7%に引き上げている。 量子化はQwen3.6-35B-A3Bの精度を68.5%から74.6%、同じベンチマークで61.8%から69.5%に上げる。 これらの結果はWISDを大規模推論モデルのための新規かつ効果的な自己蒸留フレームワークとして確立する。

関連論文リスト

• Knowing When Thinking Is Not Enough: Teaching Small Reasoning Models to Reason Beyond Their Parametric Knowledge [63.752287291668786]
  テスト時間計算のスケールは、言語モデル推論を改善する強力な方法である。 自己閉じ込めは、既に現在の状態から到達可能な解に確率質量を大半を凝縮することを示す。 選択的なクエリフレームワークであるFlyByを導入し、まず4Bと8Bの変種をトレーニングする。
  論文  参考訳（メタデータ） (2026-09-28T05:07:24Z)
• Lightning Weave: Improving the Accuracy-Efficiency Frontier of Reasoning Models through Capability Composition [23.269235615604245]
  私たちは、1人の学生で独立して学習した能力を抽出し構成するポストトレーニングフレームワークであるLightning Weaveを紹介します。 Qwen3.5-4Bでは、HMMT 2025の精度を59.2%から64.0%に引き上げ、10.7%のレスポンストークンを減らし、LiveCodeBench v5の精度を41.7%から54.2%に、9.6%のレスポンストークンを減らした。
  論文  参考訳（メタデータ） (2026-09-13T18:05:58Z)
• State of Thought Enables Endogenous Reasoning [48.902117018115256]
  大規模言語モデル(LLM)の能力向上のための主要なアプローチとして、テスト時推論が登場した。 LLMにおける内在的推論を可能にする新しい推論パラダイムであるState of Thoughtを提案する。 SoTは平均ベースライン精度を一貫して改善し,生成トークンを62.6%,エンドツーエンドのレイテンシを44.6%削減した。
  論文  参考訳（メタデータ） (2026-09-13T05:55:03Z)
• Knowledge Distillation from Large Reasoning Models to Compact Student Models: A Case Study on the John O Bryan Mathematics Competition [0.0]
  We build a Chain-of-Thought training corpus through a dual-agent framework。 このデータセットは、Apple Siliconハードウェア上でLow-Rank Adaptation (LoRA)を使用して、学生モデルを微調整するために使用される。
  論文  参考訳（メタデータ） (2026-06-30T02:34:45Z)
• Automated Proving of Shannon-Type Entropy Inequalities via Fine-Tuned Language Models and Guided Tree Search [50.16356451328644]
  シャノン型エントロピーの不等式を証明することは情報理論の基本的な課題である。 我々は,原子実証のステップを微調整した小規模大規模言語モデルがこのプロセスを自動化することができるか検討する。 GPT-5.5は0ショットプロンプトで1.7%のサンプルを解き、Psitipは33.3%のサンプルを解いた。
  論文  参考訳（メタデータ） (2026-06-04T05:43:12Z)
• Structured Synthetic Reasoning Data for Arithmetic Fine-Tuning of Small Language Models [0.0]
  構造化された合成推論データが、小言語モデルにおける算術的推論を改善することができるかどうかを検討する。 我々は,GPT-5-miniを用いて,21,250例の算術語-プロブレム変種のコーパスを生成する。 微調整されたモデルは、より短い推論トレースを生成し、算術的および散逸した使用ミスを少なくし、より一貫性のあるサンプリングの恩恵を受ける。
  論文  参考訳（メタデータ） (2026-05-21T15:50:29Z)
• Speculative Thinking: Enhancing Small-Model Reasoning with Large Model Guidance at Inference Time [14.963731580129892]
  推論レベルでの推論において,大規模推論モデルによるより小さな推論のガイドを可能にする,トレーニング不要なフレームワークであるSpeculative Thinkingを紹介した。 より有能なモデルに回帰ステップを戦略的に委譲することにより,提案手法は推論モデルの推論精度を向上し,出力を短縮する。
  論文  参考訳（メタデータ） (2025-04-12T21:25:32Z)
• Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
  新規データや不完全データでは,性能が著しく低下することがわかった。 これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。 本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-03-06T15:36:06Z)
• SmolTulu: Higher Learning Rate to Batch Size Ratios Can Lead to Better Reasoning in SLMs [0.0]
  本稿では,Hugingface の SmolLM2-1.7B ベースモデルを強化するために,AllenAI の Tulu 3 ポストトレーニングパイプラインを適応した命令チューニング言語モデル SmolTulu を提案する。 ARCやGSM8Kのような推論タスクは高い学習率からバッチサイズ比の恩恵を受ける一方、HellaSwagやIFEvalのようなパターン認識タスクは低い比率で最適な性能を示す。
  論文  参考訳（メタデータ） (2024-12-11T12:41:36Z)
• The Surprising Effectiveness of Test-Time Training for Few-Shot Learning [59.309477460893916]
  言語モデル(LM)は、トレーニングディストリビューション内のタスクにおいて印象的なパフォーマンスを示しているが、しばしば構造的に新しいタスクで苦労している。 LMの推論と少数ショット学習能力を改善するメカニズムとして,テストタイムトレーニング(TTT)の有効性を検討する。 本研究は,新しいタスクにおける文脈内学習の限界を強調し,言語モデルの適応性を高めるためのテストタイムトレーニングの可能性を示した。
  論文  参考訳（メタデータ） (2024-11-11T18:59:45Z)
• Alexa Teacher Model: Pretraining and Distilling Multi-Billion-Parameter Encoders for Natural Language Understanding Systems [63.713297451300086]
  本研究では,700Mから9.3Bまでの非埋め込みパラメータ数を持つ事前学習エンコーダの大規模実験結果について述べる。 その後、17M-170Mパラメータからより小さなモデルに蒸留し、仮想アシスタントシステムの自然言語理解(NLU)コンポーネントに応用した。
  論文  参考訳（メタデータ） (2022-06-15T20:44:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。