論文の概要: Folding Language Models into Themselves
- arxiv url: http://arxiv.org/abs/2611.18113v1
- Date: Fri, 13 Nov 2026 12:36:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.344776
- Title: Folding Language Models into Themselves
- Title(参考訳): Folding Language Models into Themselves
- Abstract要約: 隣り合う教師階層のすべてのグループを1つの共有ブロックに折り畳み、N回実行するコンチェルティナを提案する。
Qwen3-4Bでは、22Bトークンで蒸留された2.27Bのコンチェルティナが、教師の約90%を常識と数学的推論で保持している。
同規模の密度と層共有ベースライン、および1000倍以上のデータで訓練されたQwen3-1.7Bを上回っている。
- 参考スコア(独自算出の注目度): 23.883430675461838
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Knowledge distillation usually trains a compact student from scratch, which needs a large amount of data even though the teacher's weights already encode most of what the student has to learn. In this work, we explore building the student directly from the teacher's weights. We propose Concertina, which folds every group of N adjacent teacher layers into one shared block that is executed N times. Each loop step carries a low-rank correction initialized from the layer it replaces, and a per-token gate mixes these corrections, to let every token recover the behavior of the original layers from a single shared block. We further design a distillation data recipe that balances general, mathematical, academic and targeted multiple-choice data, to recover all capabilities of the teacher together rather than one at the expense of another. On Qwen3-4B, a 2.27B Concertina model distilled on 22B tokens retains about 90% of the teacher on commonsense and mathematical reasoning and 84% on average across eight benchmarks. It outperforms same-size dense and layer-sharing baselines, as well as Qwen3-1.7B, which is trained on over a thousand times more data. These results suggest that a compact model need not be retrained at scale, since folding the teacher into itself and distilling it on the right data recovers most of its capabilities. Code is available at https://github.com/myboker/concertina.
- Abstract(参考訳): 知識蒸留は通常、コンパクトな学生をゼロから訓練するが、教師の重みは生徒が学ばなければならないことのほとんどをコード化しているにもかかわらず、大量のデータを必要とする。
本研究では,教師の体重から直接学生を構築することを検討する。
隣り合う教師階層のすべてのグループを1つの共有ブロックに折り畳み、N回実行するコンチェルティナを提案する。
各ループステップは、置換した層から初期化された低ランクの補正を運び、各トークンゲートはこれらの補正を混合し、各トークンが1つの共有ブロックから元の層の振る舞いを回復させる。
さらに, 一般, 数学的, 学術的, 対象とする複数選択データのバランスをとる蒸留データレシピを設計し, 他を犠牲にすることなく, 教師のすべての能力を同時に回復する。
Qwen3-4Bでは、2.27Bのコンチェルティナが22Bのトークンで蒸留され、教師の90%が常識と数学的推論を、8つのベンチマークで平均84%が保持している。
同規模の密度と層共有ベースライン、および1000倍以上のデータで訓練されたQwen3-1.7Bを上回っている。
これらの結果から,教師を自分自身に折り畳み,適切なデータに蒸留することにより,コンパクトなモデルを大規模に再訓練する必要はないことが示唆された。
コードはhttps://github.com/myboker/concertina.comで入手できる。
関連論文リスト
- Bridged Self-Distillation for On-Policy Learning [49.988786243314564]
ブリッジド・セルフ蒸留(Bridged Self-Distillation、BSD)は、推論トレースを提供する教師から蒸留するためのフレームワークである。
BSDは、結果として生じるトークンレベルのガイダンスを使用して、失敗したロールアウトの更新を調整する。
論文 参考訳(メタデータ) (2026-10-19T13:40:50Z) - LoOPSD: On-Policy Self-Distillation with Looped Teachers [74.28216878502211]
モデルの層実行順序を探索して,より強力な教師を構築し,その利点を学生に浸透させるLoOPSDを提案する。
具体的には, モデルの重みを重み付けしながら繰り返し探索し, 生徒が生成した接頭辞に対する教師の予測を用いて学習を指導する。
論文 参考訳(メタデータ) (2026-10-13T11:07:04Z) - What Visual Generators Need from Teachers: Rethinking Representation Alignment [9.286732771749703]
本研究は, 生徒が教師の特徴をリニアに回復できない場所において, 生徒がすでに類似している場所にアライメントを組み込むことが, 有効であることを示す。
深層教師層は下層からほぼ予測可能であるため、各層が追加するものと増分を分離し、不整合の生徒がどれだけ回復するかを測定する。
論文 参考訳(メタデータ) (2026-09-28T09:30:50Z) - GOD: Enhancing Generalization via Deep Grafting for Sequential Recommendation [12.722528861651059]
逐次推薦者はスパースでノイズの多い歴史に苦しむことが多く、一般化は目に見えない相互作用に制限される。
そこで我々は, グラフト指向蒸留(GOD)を提案する。
GODは3つの実世界のデータセットで、最先端のベースラインを最大13.92%上回っている。
論文 参考訳(メタデータ) (2026-08-17T04:11:49Z) - The Bridge-Garden Dilemma in LLM Distillation: Why Mixing Hard and Soft Labels Works [84.74671323132492]
硬質ラベルと軟質ラベルの混在が常により良い結果をもたらすことを示す。
これは露光バイアスの低減、トレーニングと推論の分布のミスマッチに起因する。
我々はブリッジ-ガーデンハイブリッド監視手法のファミリーを開発する。
論文 参考訳(メタデータ) (2026-05-25T18:12:54Z) - Distilling Double Descent [65.85258126760502]
蒸留とは、別の「教師」モデルでラベル付けされた例に基づいた「学生」モデルを訓練する技法である。
教師モデルが非常にパラメータ化されすぎている場合であっても、非常に大きな保持されていないラベル付きデータセットを使用することで、より"伝統的な"アプローチを上回るモデルが生まれます。
論文 参考訳(メタデータ) (2021-02-13T02:26:48Z) - Progressive Network Grafting for Few-Shot Knowledge Distillation [60.38608462158474]
本稿では, 数ショットデータに適した二段蒸留方式を提案する。
最初のステップでは、生徒のブロックを1つずつ教師に移植し、移植されたブロックのパラメータと他の教師ブロックのパラメータを学習します。
CIFAR10, CIFAR100, ILSVRC-2012で, わずか数サンプルで, 満足のいく結果が得られることを実証した。
論文 参考訳(メタデータ) (2020-12-09T08:34:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。