論文の概要: Dense Supervision, Sparse Updates: On the Sparsity and Geometry of On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2606.13657v2
• Date: Fri, 12 Jun 2026 11:39:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 13:53:03.783876
• Title: Dense Supervision, Sparse Updates: On the Sparsity and Geometry of On-Policy Distillation
• Title（参考訳）: Dense Supervision, Sparse Updates: the Sparsity and Geometry of On-Policy Distillation
• Abstract要約: 教師の高密度監督は、textscOPDを通常の高密度パラメータ書き換えに変換しない。 代わりにtextscOPD は、オンラインのポストトレーニングの重要な幾何学的シグネチャを保持する。
• 参考スコア（独自算出の注目度）: 39.39389868936592
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy distillation (\textsc{OPD}) has recently become a prominent post-training recipe by combining two desirable ingredients: on-policy student trajectories and dense teacher supervision. However, how this hybrid changes a model's parameters remains unclear. Across several language and vision-language model pairs and \textsc{OPD} use cases, our analysis yields two main findings. On sparsity, \textsc{OPD} updates are small and coordinate-sparse. They are distributed across layers, with the largest relative movement usually appearing in FFN modules. This sparse structure is operationally useful: training only the discovered subnetwork nearly recovers full-training performance. The sparse support does not remove the need for adaptive optimization: SGD, previously reported to be competitive in \textsc{RLVR}, underperforms AdamW in our \textsc{OPD} optimizer ablation, suggesting that dense teacher supervision preserves useful momentum structure and heterogeneous second-moment scales. On geometry, the updates are numerically full-rank but spectrally concentrated; they lie mostly away from the principal singular subspaces of the source weights and fall disproportionately on coordinates where the source weights are close to zero. These findings suggest that dense teacher supervision does not turn \textsc{OPD} into ordinary dense parameter rewriting; instead, \textsc{OPD} retains important geometric signatures of on-policy post-training.
• Abstract（参考訳）: オンライン蒸留(英語版) (\textsc{OPD}) は、最近、オンライン学生軌跡と高密度教師監督という2つの望ましい材料を組み合わせることで、訓練後の顕著なレシピとなった。 しかし、このハイブリッドがモデルのパラメータをどのように変えるかは、まだ不明である。 いくつかの言語および視覚言語モデルペアと, textsc{OPD} の使用例を比較検討した結果, 主に2つの結果が得られた。 スパース性では、 \textsc{OPD} 更新は小さく、座標スパースである。 それらは層に分散しており、最も大きな相対運動は通常FFNモジュールに現れる。 このスパース構造は運用上有用であり、検出されたサブネットワークのみのトレーニングは、ほぼ完全にトレーニングされた性能を回復する。 SGDは以前 \textsc{RLVR} で競合していると報告されており、我々の \textsc{OPD} オプティマイザアブレーションにおいてAdamWを過小評価している。 幾何では、更新は数値的にはフルランクであるがスペクトルに集中しており、主に源重の主特異部分空間から離れ、原重がゼロに近い座標に不均等に落ちる。 以上の結果から,高密度教師監督は,通常の高密度パラメータ書き換えを行なわないことが示唆された。

関連論文リスト

• GCPO: Diagnosing and Constraining Subspace Geometry in Rollout RL for LLMs [40.53507207838462]
  プリミティブ・サブスペース・オーバーラップ(Principal-Subspace Overlap)は、事前訓練された重みの支配的な特異部分空間に対する個々のロールアウト更新の次元補正尺度である。 本稿では,補完部分空間の更新を厳密に規制するためにハードバイダプロジェクションを適用したGCPOを提案する。 本研究は,新しい診断レンズと安定な強化学習のための設計視点を提供する。
  論文  参考訳（メタデータ） (2026-08-12T05:32:22Z)
• On the Geometry of On-Policy Distillation [22.873898953554605]
  我々は,大規模言語モデル推論を改善するために,政治蒸留(OPD)について検討する。 教師付き微調整(SFT)と強化学習(RLVR)を比較した。 我々は、PDが単にSFTとRLVRの中間点であるだけでなく、パラメータ空間における独自の更新幾何を誘導することを発見した。
  論文  参考訳（メタデータ） (2026-06-05T09:20:15Z)
• GRASP: Geometry-aware Residual Alignment for Scalable Pretraining Data Attribution [5.770893169582546]
  この研究は、属性をサブセットレベルの反事実的ユーティリティ予測として再定義する。 相互作用を意識したサロゲートであるGRASPを紹介する。 それは、既存のスケーラブルなベースラインを決定的に上回る。
  論文  参考訳（メタデータ） (2026-06-05T04:17:50Z)
• Rethinking the Role of Tensor Decompositions in Post-Training LLM Compression [68.1291440835878]
  分解は有望な方向として現れ、トランスフォーマーの重み構造に適したコンパクトなパラメータ化を提供する。 既存の研究では、これらの手法を狭い環境で評価しており、大規模展開においてテンソル化が有効かどうかは不明である。 我々は高密度およびMoEのテンソル圧縮を体系的に評価し、経験的解析と理論的解析の両方に基礎を置いた性能トレードオフを確立する。
  論文  参考訳（メタデータ） (2026-06-02T10:45:21Z)
• Extra-Merge: Tracing the Rank-1 Subspace of Model Merging in Language Model Pre-Training [56.323119575322146]
  Extra-Mergeは、GPT-2およびLLaMAファミリーにわたる実験において、標準のマージベースラインを一貫して上回っている。 Pythia-12B下流のタスクに対して一貫したゼロショット精度のゲインを与え、Muon citepjordan2024muonに効果的に一般化する。
  論文  参考訳（メタデータ） (2026-05-26T02:48:34Z)
• Learning to Foresee: Unveiling the Unlocking Efficiency of On-Policy Distillation [51.210887267509854]
  OPDの効率は、トレーニングの初期段階において最終モデルに向けた安定的な更新軌道を確立する、フォレスト・オブ・ザ・イヤーズ(foresight')の形式に起因している、と我々は主張する。 我々は、外挿ステップのサイズを適応的に選択し、現在の更新方向に沿って移動することにより、OPDを高速化するプラグイン・アンド・プレイ・アクセラレーション手法である textbfEffOPD を提案する。
  論文  参考訳（メタデータ） (2026-05-12T08:19:15Z)
• Pretraining Induces a Reusable Spectral Basis for Downstream Task Adaptation [10.547646302449682]
  微調整事前訓練されたモデルは、全パラメータ空間の低次元部分空間で発生する。 ダウンストリームタスクとは無関係な安定方向か、それとも、追加調整を必要としないタスク関連構造をすでにエンコードしているか? 事前学習した重み行列の先頭特異ベクトルは、微調整の下で非常に安定であり、無関係な下流タスク間で共有されることを示す。
  論文  参考訳（メタデータ） (2026-05-08T06:12:43Z)
• LEADER: Learning Reliable Local-to-Global Correspondences for LiDAR Relocalization [44.37632368250295]
  我々は,単純かつ効果的な幾何エンコーダによって強化されたロバストなLiDARベースの再ローカライズフレームワークであるLEADERを提案する。 オックスフォード・ロボットカーとNCLTデータセットの実験は、LEADERが最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2026-04-13T11:52:29Z)
• Exploring 3D Dataset Pruning [42.345465506597044]
  本研究では,3次元データに対するデータセットのプルーニングについて検討する。 重み付けされたサブセットで全データ予測リスクを近似すると、表現力の不足によるカバレッジエラーと、サブセットによるクラス重みとターゲットメトリクスの不整合による事前ミスマッチバイアスの2つの重要なエラーが明らかになる。
  論文  参考訳（メタデータ） (2026-02-28T13:42:11Z)
• Rethinking Weight Decay for Robust Fine-Tuning of Foundation Models [27.847140934456288]
  本稿では,新しい重み劣化手法Selective Projection Decay (SPD)を提案する。 SPDは特定の層に強いペナルティを課し、他の層は自由に変更できる。 SPDを搭載した場合、Adamはベンチマーク上でより優れた分散ロバスト性とアウト・オブ・ディストリビュート性能を提供する。
  論文  参考訳（メタデータ） (2024-11-03T23:36:53Z)
• Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud Semantic Segmentation via Decoupling Optimization [64.36097398869774]
  半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。 既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。 本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-13T04:16:40Z)
• Gradient-based Weight Density Balancing for Robust Dynamic Sparse Training [59.48691524227352]
  スパースニューラルネットワークをゼロからトレーニングするには、接続自体と同時にコネクションを最適化する必要がある。 トレーニング中に各レイヤ間の接続は複数回最適化されるが、各レイヤの密度は通常一定である。 我々は、すべての層に重みを分散するテクニックであるGlobal Gradient-based Redistributionを提案する。
  論文  参考訳（メタデータ） (2022-10-25T13:32:09Z)
• DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language Models [152.29364079385635]
  事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。 本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。 提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
  論文  参考訳（メタデータ） (2021-10-30T03:29:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。