論文の概要: Beyond Imitation: Auditing the Recoverability of Reasoning in Distilled Models

• arxiv url: http://arxiv.org/abs/2609.26216v1
• Date: Tue, 11 Aug 2026 10:21:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.925319
• Title: Beyond Imitation: Auditing the Recoverability of Reasoning in Distilled Models
• Title（参考訳）: 想像を超えて:蒸留モデルにおける推論の回復可能性の検討
• Abstract要約: 受講生が推論を継続できる場合には、正しい教師ソリューションが有用な監督となる。 確認されたソリューションの25%,50%,あるいは75%を明らかにした後,プレフィックスリカバリとこの適合度を測定した。 完全語彙上の交叉エントロピーと逆KL勾配の間のコサイン衝突を回復させる。
• 参考スコア（独自算出の注目度）: 12.095189927690988
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A correct teacher solution becomes useful supervision when the receiving student can continue its reasoning. We measure this compatibility with prefix recovery: after revealing 25%, 50%, or 75% of a verified solution, we test whether the student completes it correctly. We connect recovery to the cosine conflict between cross-entropy and reverse-KL gradients over the full vocabulary. Across adjacent Qwen3 teacher-student pairs from 0.6B to 8B parameters, reverse-KL distillation delivers its most consistent mathematical and code improvements for the two students below 2B parameters. On a fixed cohort of 1,000 trajectories, average prefix recovery rises from 71.0% to 91.9% as student size increases from 0.6B to 4B, and the robust-fragile recovery gap contracts from 46.0 to 14.4 percentage points. With the teacher fixed at 8B, conflict separation falls from 0.993 to 0.233. An independent objective intervention finds the largest reverse-KL rescue on fragile trajectories. The three measurements locate the same capacity-dependent transfer regime: distribution matching has the greatest headroom when correct traces remain unevenly recoverable. Prefix recovery provides a practical diagnostic for selecting costly distribution-level distillation.
• Abstract（参考訳）: 受講生が推論を継続できる場合には、正しい教師ソリューションが有用な監督となる。 この適合度をプレフィックス・リカバリ(プレフィックス・リカバリ)で測定し、検証された解の25%、50%、75%を明らかにした後、学生が正しく解を完了するかどうかを検証した。 完全語彙上の交叉エントロピーと逆KL勾配の間のコサイン衝突を回復させる。 隣接するQwen3教師と学生のペアは0.6Bから8Bパラメータにまたがって、逆KL蒸留は2Bパラメータ以下の2人の生徒に最も一貫した数学的およびコード改善をもたらす。 1000の軌道で固定されたコホートでは、学生数が0.6Bから4Bに増加するにつれて、平均的なプレフィックスリカバリは71.0%から91.9%に上昇し、頑丈でフレジブルなリカバリギャップは46.0から14.4ポイントに減少する。 教師が8Bに固定すると、紛争分離は0.993から0.233に減少する。 独立した客観的介入は、脆弱な軌道上の最大の逆KL救助を見つける。 分布マッチングは、正しいトレースが不均一に回復可能なときに最大のヘッドルームを持つ。 プレフィックスリカバリは、コストの高い分配レベルの蒸留を選択するための実用的な診断を提供する。

関連論文リスト

• WDL-OPD: Weak-Driven On-Policy Distillation via Mixture-Constrained Co-Training [48.290951447286744]
  WDL-OPDは2つの訓練可能なポリシーを持つ混合制約付き協調訓練法である。 アンカーポリシはロールアウト毎に生成し、補助ポリシは同じ訪問状態を評価し、それらのトークン分布の幾何学的混合を逆KLで凍結教師にマッチングする。 凍結はPD$2とW2S-OPDと密接に関連するアンカープラスコントラストのプロキシターゲットを回復させるが,ジョイントトレーニングは静的デルタが表現できない分岐レベル自由度を生成する。
  論文  参考訳（メタデータ） (2026-08-10T11:22:53Z)
• Iterate or Widen? When Test-Time Refinement Helps LiDAR Scene Completion: A Controlled Study of Evidence Geometry, Training Coverage, and Compute [4.730664917323328]
  我々は,同じ凍結予測器から1ショットの予測器,パラメータマッチングされたより広い予測器,および重み付き乗算器を比較した。 このプロトコルは、コヒーレント領域の除去、独立した薄型化、範囲依存性の減衰、および添加性クラッタを分離する。 5つの訓練種子と815個のセマンティックKITTI-08フレームにまたがって、完全な反復システムはmIoUを0.911ポイントの範囲で改善する。
  論文  参考訳（メタデータ） (2026-08-06T13:19:14Z)
• Not Every Divergence Should Be Suppressed: Counterfactual Recoverability in On-Policy Distillation [2.038560872025072]
  我々は,この決定を反実的回復性として定式化し,予算に整合した教師継続とロールバックのブランチを通じて各エラー状態を再現する。 凍結評価全体では、リカバリ性を考慮した制御が最強の記録性能を達成し、ホールドアウトのAIME2025で0.578の成功を収めた。 以上の結果から,OPDの選択的監督のための結果ベース決定変数としての回復可能性が確認された。
  論文  参考訳（メタデータ） (2026-08-05T03:32:08Z)
• Outcome-Confounded Local Supervision in On-Policy Distillation [0.5937989874256571]
  オンライン蒸留は生徒を自身の軌道で訓練し、教師は生徒が訪問する接頭辞に密集したトークンレベルを供給している。 いずれの読解も、完成した軌跡の結果によって構築されていることを示す。 最終回答の正しさを両立させた結果解決診断法を提案する。
  論文  参考訳（メタデータ） (2026-07-26T16:03:33Z)
• CADENCE: Closing the Reasoning Gap via Coverage-Adaptive On-Policy Distillation [2.587194279527956]
  CADENCEは統合されたフレームワークで、各障害モードに対してターゲットとなる修正を行う。 DRIFTは、学生サンプル軌道上の前方KLと逆KLのサロゲートを混合したトーケンの凸をスケジュールする。 A)COVA、(B)FTB、(B)大域正規化エントロピー参照による高エントロピー位置での勾配集中、(D)LAP、可視性優先正しいロールアウト強化、(E)エントロピー非依存キャリブレーション
  論文  参考訳（メタデータ） (2026-07-18T20:16:26Z)
• TASR: Training-Free Adaptive Stopping for Iterative Retrieval [12.177557521540082]
  反復的検索拡張生成エージェントは、モデルが解答に収束した後も検索を続けることで、一般的にオーバースペンドされる。 TASR(Training-Free Adaptive Stopping Rule)は,モデルが前ラウンドの正規化を繰り返すと発火する一行述語である。
  論文  参考訳（メタデータ） (2026-06-11T18:35:14Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
  オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。 生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。 SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
  論文  参考訳（メタデータ） (2026-05-29T04:39:20Z)
• BadCLIP++: Stealthy and Persistent Backdoors in Multimodal Contrastive Learning [73.46118996284888]
  マルチモーダル・コントラスト学習モデルに対するバックドア攻撃の研究は、ステルスネスと永続性という2つの大きな課題に直面している。 両課題に対処する統合フレームワークであるBadCLIP++を提案する。 ステルスネスのために,タスク関連領域付近に知覚不可能なパターンを埋め込むセマンティックフュージョンQRマイクロトリガーを導入する。 持続性については、半径縮小とセントロイドアライメントによるトリガ埋め込みを安定化する。
  論文  参考訳（メタデータ） (2026-02-19T08:31:16Z)
• Semantic Latent Space Regression of Diffusion Autoencoders for Vertebral Fracture Grading [72.45699658852304]
  本稿では,教師なし特徴抽出器として生成拡散オートエンコーダモデルを訓練するための新しい手法を提案する。 フラクチャーグレーディングを連続回帰としてモデル化し, フラクチャーのスムーズな進行を反映した。 重要なことに,本手法の創成特性は,与えられた脊椎の様々な段階を可視化し,自動グルーピングに寄与する特徴を解釈し,洞察することを可能にする。
  論文  参考訳（メタデータ） (2023-03-21T17:16:01Z)
• Tactile Grasp Refinement using Deep Reinforcement Learning and Analytic Grasp Stability Metrics [70.65363356763598]
  解析的把握安定性指標が強化学習アルゴリズムの強力な最適化目標であることを示す。 幾何的および力量に依存しないグリップ安定性の指標を組み合わせることで、カブイドの平均成功率は95.4%となることを示す。 第2の実験では,触覚情報を持たないベースラインよりも,接触フィードバックで訓練したグリップリファインメントアルゴリズムが最大6.6%向上することを示した。
  論文  参考訳（メタデータ） (2021-09-23T09:20:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。