論文の概要: ReCal: Calibrating Structured Pruning for On-Policy Distillation Recovery

• arxiv url: http://arxiv.org/abs/2610.11332v1
• Date: Thu, 08 Oct 2026 06:28:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.836554
• Title: ReCal: Calibrating Structured Pruning for On-Policy Distillation Recovery
• Title（参考訳）: ReCal: オンライン蒸留回収のための構造化プルーニングの校正
• Abstract要約: 構造化プルーニングは、推論言語モデルの展開コストを低減させるが、結果として生じる能力低下は、オンライン蒸留(OPD)の回復を妨げる。 本稿では,プレニング前のキャリブレーションを調整することでOPDリカバリを改善するシンプルなプラグアンドプレイアプローチであるRECAL,Recovery-Awareを提案する。 複数のモデルとプルーニング手法を通じて、RECALは、OPD後の数学的推論を一貫して改善し、AIMEで最大16.7%の利得を達成している。
• 参考スコア（独自算出の注目度）: 30.537372311784775
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Structured pruning reduces the deployment cost of reasoning language models, but the resulting capability degradation can hinder subsequent on-policy distillation (OPD) recovery. Because OPD relies on student-generated trajectories, pruning damage that persists after offline distillation can limit its effectiveness. We propose RECAL, Recovery-Aware Calibration, a simple plug-and-play approach that improves OPD recovery by adjusting calibration before pruning. RECAL uses forward KL between an unpruned teacher and a pruned probe to identify teacher-supported predictions disrupted by pruning, then reweights calibration statistics to guide existing pruning criteria toward preserving these predictions. Across multiple models and pruning methods, RECAL consistently improves mathematical reasoning after OPD, achieving gains of up to 16.7 percentage points on AIME, alongside improvements in most code-generation comparisons. Further analysis shows that RECAL reduces residual damage at heavily affected tokens and establishes performance advantages that persist through recovery. These results demonstrate the value of recovery-aware calibration for improving on-policy distillation recovery of pruned reasoning models.
• Abstract（参考訳）: 構造化プルーニングは、推論言語モデルの展開コストを低減させるが、結果として生じる能力劣化は、後続のオンライン蒸留(OPD)の回復を妨げる。 OPDは学生が生成する軌道に依存しているため、オフライン蒸留後に持続するプルーニング損傷は、その有効性を制限できる。 本稿では,プレニング前のキャリブレーションを調整することでOPDリカバリを改善するシンプルなプラグアンドプレイ手法であるRECAL,Recovery-Aware Calibrationを提案する。 RECALは、未習得の教師とプルーニングプローブの間の前方KLを使用して、プルーニングによって中断された教師支援の予測を識別し、キャリブレーション統計を再重み付けし、既存のプルーニング基準をこれらの予測の保存に向けて導く。 複数のモデルとプルーニング手法を通じて、RECALは、OPD後の数学的推論を一貫して改善し、ほとんどのコード生成比較の改善とともに、AIMEで最大16.7%のポイントを獲得した。 さらに分析したところ、RECALは大きな影響を受けるトークンの残留損傷を低減し、回復を通じて持続するパフォーマンス上の優位性を確立している。 以上の結果から, プレナード推論モデルのオンライン蒸留回収を改善するためのリカバリ対応キャリブレーションの価値が示された。

関連論文リスト

• Hard, Yet Reducible: Controlled Forward Transfer for Synthetic Degradation Curation [57.17927491453242]
  クリーンで劣化した双子は、コンテンツとラベルを共有し、短いトレーニングが劣化に起因する過度なエラーをどれだけ減らすかに基づくスコアを示唆する。 劣化タイプと重大度によって定義される領域に対して,textbf 制御による還元性劣化ギャップ (cRDG) を提案する。 cRDGは、劣化のトレーニングが利用可能な予算の下で高い制御利得をもたらす、修正可能な重大帯域を明らかにする。
  論文  参考訳（メタデータ） (2026-10-07T11:07:36Z)
• Reflective Recovery: A Self-Supervised Method for Reasoning by Learning from Mistakes [70.64622557376505]
  リフレクティブリカバリは、推論中のミスを認識し、修正するようにモデルに教える。 AIME 2025では30.0%から37.5%、Minervaでは37.6%から47.8%に精度が向上している。
  論文  参考訳（メタデータ） (2026-07-24T02:51:42Z)
• RationalRewards: Reasoning Rewards Scale Visual Generation Both Training and Test Time [51.256131853751754]
  本研究では,多次元的批判を明示的に生成するために報酬モデルを教えることで,受動的評価器から能動的最適化ツールへ変換することを示す。 提案手法では, 嗜好データから高品質な論理を復元する原理的フレームワークであるpreference-Anchored Rationalization (PARROT) を導入する。 その結果、RationalRewards (8B) は、オープンソース報酬モデル間の最先端の好み予測を実現する。
  論文  参考訳（メタデータ） (2026-04-13T15:38:09Z)
• A Training-Free Regeneration Paradigm: Contrastive Reflection Memory Guided Self-Verification and Self-Improvement [8.401193963526236]
  オフライン処理型コントラストリフレクションメモリ(RM)を利用したトレーニングフリー再生パラダイムを提案する。 推論時に、RM誘導の自己検証を行い、続いて単一のRM誘導の再生を行い、反復補正とマルチサンプル選択の両方を避ける。 実験の結果,提案手法は計算コストを低く抑えつつ,先行手法よりも優れていた。
  論文  参考訳（メタデータ） (2026-03-20T19:12:36Z)
• LLMs can Compress LLMs: Adaptive Pruning by Agents [0.0]
  ポストトレーニングプルーニングは、性能を保ちながら計算コストを削減するための有望なアプローチとして現れている。 我々はエージェント誘導プルーニングを導入し、ファンデーションモデルが適応プルーニングエージェントとして機能する。 我々はQ3モデル(4Bおよび8Bパラメータ)の約45%の間隔で評価を行い、構造化プルーニングベースラインよりも大幅に改善されたことを示す。
  論文  参考訳（メタデータ） (2026-01-14T18:45:36Z)
• Think Before You Prune: Selective Self-Generated Calibration for Pruning Large Reasoning Models [48.973207827896]
  キャリブレーションのための自己生成推論データを使用することで,プルーニング性能を大幅に向上できることを示す。 分析の結果,困難かつ適度に長い自己生成推論データが理想的なキャリブレーションデータであることがわかった。
  論文  参考訳（メタデータ） (2025-11-24T08:08:19Z)
• Calibration Strategies for Robust Causal Estimation: Theoretical and Empirical Insights on Propensity Score-Based Estimators [0.6562256987706128]
  推定と校正のためのデータの分割は、確率スコアに基づく推定器の性能に重大な影響を及ぼす。 提案手法は,確率スコア推定のためのキャリブレーション手法の最近の進歩を延長し,挑戦的な設定における確率スコアの堅牢性を向上させる。
  論文  参考訳（メタデータ） (2025-03-21T16:41:10Z)
• Relationship Quantification of Image Degradations [72.98190570967937]
  劣化関係指数(DRI)は,2モデル間の検証損失の平均ドロップレート差として定義される。 DRIは常に、特定の劣化を列車モデルの補助として利用することで、性能改善を予測します。 得られた劣化組合せがアンカー劣化性能を向上させることができるかどうかを簡易かつ効果的に推定する手法を提案する。
  論文  参考訳（メタデータ） (2022-12-08T09:05:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。