Fugu-MT 論文翻訳(概要): GUIDE: Guided Initialization and Distillation of Embeddings

論文の概要: GUIDE: Guided Initialization and Distillation of Embeddings

arxiv url: http://arxiv.org/abs/2510.06502v1
Date: Tue, 07 Oct 2025 22:37:24 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-09 16:41:20.219828
Title: GUIDE: Guided Initialization and Distillation of Embeddings
Title（参考訳）: GUIDE: 埋め込みの初期化と蒸留
Authors: Khoa Trinh, Gaurav Menghani, Erik Vee,
Abstract要約: ガイド(インプラントの初期化・蒸留)について紹介するガイドは、学生がパラメータ空間の教師にマッチするように強制する蒸留技術と考えることができる。本研究は, ガイドのみを適用すれば, 知識蒸留よりも, モデル品質が著しく向上することを示す。
参考スコア（独自算出の注目度）: 5.42040523407098
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Algorithmic efficiency techniques such as distillation (\cite{hinton2015distillation}) are useful in improving model quality without increasing serving costs, provided a larger teacher model is available for a smaller student model to learn from during training. Standard distillation methods are limited to only forcing the student to match the teacher's outputs. Given the costs associated with training a large model, we believe we should be extracting more useful information from a teacher model than by just making the student match the teacher's outputs. In this paper, we introduce \guide (Guided Initialization and Distillation of Embeddings). \guide can be considered a distillation technique that forces the student to match the teacher in the parameter space. Using \guide we show 25-26\% reduction in the teacher-student quality gap when using large student models (400M - 1B parameters) trained on $\approx$ 20B tokens. We also present a thorough analysis demonstrating that \guide can be combined with knowledge distillation with near additive improvements. Furthermore, we show that applying \guide alone leads to substantially better model quality than applying knowledge distillation by itself. Most importantly, \guide introduces no training or inference overhead and hence any model quality gains from our method are virtually free.
Abstract（参考訳）: 蒸留 (\cite{hinton2015distillation}) のようなアルゴリズムの効率性は, 給油コストを増大させることなく, モデル品質を向上させるのに有用である。標準的な蒸留法は、生徒に教師の出力に合わせることだけを強制することに限定されている。大規模モデルの学習にかかわるコストを考えると、学生が教師の出力にマッチさせるよりも、教師モデルから有用な情報を抽出すべきであると信じている。本稿では,埋め込みの誘導初期化と蒸留について紹介する。 \guideは、学生がパラメータ空間の教師と一致するように強制する蒸留技術と見なすことができる。大学生モデル(400M～1Bパラメータ)を$\approx$20Bトークンでトレーニングした場合,教師と学生の質格差を25～26パーセント削減する。また,<guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</ さらに,<guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</guide</ 最も重要なことは、Shaguideはトレーニングや推論のオーバーヘッドを伴わず、したがって私たちのメソッドから得られるモデル品質は事実上無料です。

論文の概要: GUIDE: Guided Initialization and Distillation of Embeddings

関連論文リスト