論文の概要: Train What You Deploy: Closing the MLP Reachability Gap in Low-Rank Clone Distillation

• arxiv url: http://arxiv.org/abs/2609.02006v1
• Date: Wed, 02 Sep 2026 02:32:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-03 17:53:18.031474
• Title: Train What You Deploy: Closing the MLP Reachability Gap in Low-Rank Clone Distillation
• Title（参考訳）: 展開する列車:低ランククローン蒸留におけるMLP到達性ギャップの閉鎖
• Abstract要約: 最先端の減量蒸留機であるローランク・クローンがフル幅の学生を配置するが、教師が引き起こしたスライスに関係があることが示される。 トレーニングオブジェクトを、デプロイされた形状、デプロイされたパラメータ数、あるいは推論FLOPの変更なしに、デプロイされたマトリックス全体とする。
• 参考スコア（独自算出の注目度）: 13.001392041351009
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A compressed student has two shapes that need not agree: the weight it deploys at inference and the weight family its training can reach. We show that a state-of-the-art weight-inheritance distiller, Low-Rank Clone (LRC), deploys a full-width student MLP but ties training to a teacher-induced slice, leaving 62.5-81.4% of each deployed matrix's independent linear degrees of freedom unreachable-paid for at inference, never trainable. Our principle is one line: train what you deploy. From the identical LRC warm start, we make the training object the entire deployed matrix, with no change in deployed shape, deployed parameter count, or inference FLOPs, via two mergeable realizations (Dense-LRC and CORE-LRC) that both collapse to one deployed weight. This recovers stranded capacity: taking the stronger realization per teacher, +2.36/+2.71/+10.45 Avg9 over matched-budget plain-LRC baselines across three teachers (Llama3.2-3B, Llama3.1-8B, Qwen2.5-3B), with the largest gain on the widest teacher (Qwen), where it reaches the original recipe's approx. 20B-token accuracy at 10B tokens (2x token efficiency); there the strictly same-lineage arm still recovers +6.39, the fully controlled figure. Controls strongly support attributing the gain to the enlarged reachable set, rather than to added parameters or the recipe. From approx. 10B distillation tokens plus a short SFT, a half-parameter 1.5B student matches its approx. 9T-token teacher's 9-task macro-average, within evaluation noise and with a residual MMLU deficit, and a 2.7B student beats Meta's own official compression of Llama3.1-8B at ~900x fewer compression tokens (a token count under unmatched recipes, not a compute claim). All results are from single-seed runs on the LRC backbone.
• Abstract（参考訳）: 圧縮された学生は、推論時に展開される重量と、そのトレーニングが到達できる重量家族の2つの形に一致しない。 現状の重量継承蒸留機であるLow-Rank Clone (LRC) がフル幅の学生用MLPを配備するが、教師が引き起こしたスライスに訓練を結び、各マトリクスの独立線形次数 62.5-81.4% は推論で未払いであり、決して訓練できない。 私たちの原則は1行で、デプロイするものをトレーニングすることです。 同一のLRCウォームスタートから、トレーニング対象を、デプロイされた形状、展開されたパラメータ数、または推測FLOPの変化のない、デプロイされたマトリックス全体とする。 2.36/+2.71/+10.45 Avg9を3つの教師(Llama3.2-3B、Llama3.1-8B、Qwen2.5-3B)の整合した平板のLRCベースライン(Llama3.2-3B、Llama3.1-8B、Qwen2.5-3B)に換算すると、最も広い教師(Qwen)に最大の利益をもたらす。 20Bトークンの精度は10Bトークン(2倍のトークン効率)で、厳密な同線アームは、完全に制御された図形である+6.39を回復する。 コントロールはパラメータやレシピを追加するのではなく、拡張されたリーチ可能なセットへのゲインを強く支持する。 approx (複数形 approxs) 10Bの蒸留トークンと短いSFT, 半パラメータ1.5Bの学生は近似に一致した。 9T-Tokenの教師の9タスクのマクロ平均は、評価ノイズとMMLUの残差があり、2.7Bの学生がMeta自身の公式圧縮であるLlama3.1-8Bを900倍の圧縮トークンで打ち負かしている。 すべての結果は、RCバックボーン上のシングルシード実行から得られる。

関連論文リスト

• WDL-OPD: Weak-Driven On-Policy Distillation via Mixture-Constrained Co-Training [48.290951447286744]
  WDL-OPDは2つの訓練可能なポリシーを持つ混合制約付き協調訓練法である。 アンカーポリシはロールアウト毎に生成し、補助ポリシは同じ訪問状態を評価し、それらのトークン分布の幾何学的混合を逆KLで凍結教師にマッチングする。 凍結はPD$2とW2S-OPDと密接に関連するアンカープラスコントラストのプロキシターゲットを回復させるが,ジョイントトレーニングは静的デルタが表現できない分岐レベル自由度を生成する。
  論文  参考訳（メタデータ） (2026-08-10T11:22:53Z)
• Tevatron Meets Megatron: Expert-Parallel LLM Reranker Training on an Academic Budget [72.7352550413971]
  私たちはMegatron-CoreトレーニングバックエンドをTevatronに統合したTevatron 3.0を紹介します。 MegatronはFSDPのリランカ品質とトレーニング効率を同等のデータ並列設定で比較した。 その結果,MoEリランカは高密度の8B品質と一致し,パラメータの半数以下を活性化し,推論スループットを著しく向上することがわかった。
  論文  参考訳（メタデータ） (2026-08-02T00:55:47Z)
• Weak-to-Strong On-Policy Distillation [21.651421588571296]
  Weak-to-Strong On-Policy Distillation (W2S-OPD)を導入した。 4つの数学と3つのコードベンチマークで、W2S-OPDはOPDを上回り、学生がドメイン教師を超越し、監督源が弱くなっても改善を続けることができる。
  論文  参考訳（メタデータ） (2026-07-28T20:31:48Z)
• DLR: Zero-Inference-Cost Latent Residuals for Low-Rank Pre-Training [9.427725087581463]
  DLR(Duplicated Latent Residual)は、低ランク事前トレーニングのためのトレーニング専用、パラメータフリーで折り畳み可能なプラグインである。 60Mから7BパラメータのLLaMAモデル全体で、ほとんどの設定において、DLRはC4検証の難易度に対する低ランク事前トレーニングを強化する。
  論文  参考訳（メタデータ） (2026-06-27T14:07:45Z)
• Beyond GRPO and On-Policy Distillation: An Empirical Sparse-to-Dense Reward Principle for Language-Model Post-Training [20.04756350098974]
  ラベル付き検証可能なトレーニングデータがバインディング制約である場合、各チェックされた例は、最も情報のあるモデルと報酬密度に割り当てるべきである。 スパース・シークエンス・レベルの報酬は、より良い振る舞いを探索し発見できるモデルにおいて最も有用であるが、より密集したトークンレベルの教師監督は、その振る舞いをより小さなデプロイメントモデルに圧縮するのにより適している。
  論文  参考訳（メタデータ） (2026-05-12T17:57:48Z)
• KnowRL: Boosting LLM Reasoning via Reinforcement Learning with Minimal-Sufficient Knowledge Guidance [50.70511573232489]
  我々は、ヒントデザインを最小限のガイダンス問題として扱うRLトレーニングフレームワークであるtextbfKnowRL(Knowledge-Guided Reinforcement Learning)を提案する。 KnowRLは、ガイダンスを原子知識ポイント(KP)に分解し、制約付きサブセットサーチ(CSS)を使用して、訓練用にコンパクトで対話対応のサブセットを構築する。 1.5Bスケールの8つの推論ベンチマークで、KnowRL-Nemotron-1.5Bは強いRLを一貫して上回り、ベースラインを示唆している。
  論文  参考訳（メタデータ） (2026-04-14T11:53:23Z)
• Squeeze the Soaked Sponge: Efficient Off-policy Reinforcement Finetuning for Large Language Model [56.92219181993453]
  本稿では,PPOやGRPOなどのオンラインRFT手法をオフ・ポリティクスデータに活用するために,Reincarnating Mix-policy Proximal Policy Gradient (ReMix)を提案する。 ReMix は,(1) 効率的なトレーニングのための更新データ(UTD)比が増大した混成政策勾配,(2) 安定性と柔軟性のトレードオフのバランスをとるためのKL-Convex 政策制約,(3) 効率的な早期学習から安定した改善へのシームレスな移行を実現するための政策再編成の3つの主要な構成要素から構成される。
  論文  参考訳（メタデータ） (2025-07-09T14:29:45Z)
• A Token is Worth over 1,000 Tokens: Efficient Knowledge Distillation through Low-Rank Clone [41.9829555690118]
  低ランククローン(Lol-Rank Clone、LRC)は、強力な教師モデルによる行動等価性を目指すSLMを構築するための効率的な事前学習手法である。 LRCは、20Bトークンしか使用せず、1000倍以上のトレーニング効率を達成しながら、何十兆ものトークンでトレーニングされた最先端のモデルと一致または超えている。
  論文  参考訳（メタデータ） (2025-05-19T07:10:42Z)
• Lillama: Large Language Models Compression via Low-Rank Feature Distillation [8.090496457850852]
  ライラマ(英: Lillama)は、低ランク重量で活性化を蒸留する圧縮法である。 1つのA100 GPUでMixtral-8x7Bを数分で圧縮し、100億のパラメータを削除し、元のパフォーマンスの95%以上を保持した。 非トランスフォーマーアーキテクチャを一般化し、99%のパフォーマンスを維持しながら、Mamba-3Bを20%圧縮する。
  論文  参考訳（メタデータ） (2024-12-21T18:04:01Z)
• TinyCLIP: CLIP Distillation via Affinity Mimicking and Weight Inheritance [97.01406871579525]
  大規模言語画像事前学習モデルのための新しいクロスモーダル蒸留法TinyCLIPを提案する。 また、TinyCLIPは、トレーニング済みのCLIP ViT-B/32のサイズを50%削減し、ゼロショット性能を同等に維持できることを示した。 YFCC-15MでトレーニングしたTinyCLIP ViT-8M/16は、ImageNetで41.1%という印象的なゼロショットトップ1の精度を達成した。
  論文  参考訳（メタデータ） (2023-09-21T17:59:53Z)
• Long-Tailed Recognition via Weight Balancing [66.03068252811993]
  ナイーブトレーニングは、より高い精度で一般的なクラスに偏ったモデルを生成する。 重みのバランス、L2-正規化、重みの崩壊、MaxNormの3つの手法について検討する。 提案手法は,5つの標準ベンチマークにおける最先端の精度を実現する。
  論文  参考訳（メタデータ） (2022-03-27T03:26:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。