論文の概要: Logit Distillation on Manifolds: Mapping by Learning

• arxiv url: http://arxiv.org/abs/2606.00771v1
• Date: Sat, 30 May 2026 15:22:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.76812
• Title: Logit Distillation on Manifolds: Mapping by Learning
• Title（参考訳）: マニフォールドのロジット蒸留--学習によるマッピング
• Abstract要約: 学習過程において,生徒と教師の表現を高次元の埋め込み空間にマッピングするレイヤとポイントワイズ・プロジェクション・マッピングを導入する。 提案手法をLoRAインジェクションと組み合わせることで,教師モデルのトレーニング可能なパラメータを1%未満に削減すると同時に,他の蒸留法と比較して単語誤り率(WER)を大幅に改善する。
• 参考スコア（独自算出の注目度）: 2.2965611981841993
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A simple way to improve the performance of almost any machine learning model is not to train a single but several models with diverse algorithms which will make slightly distinct kinds of predictions and errors on the same data, and thus improve the average predictions and robustness. However, making predictions using a whole ensemble of models is cumbersome and computationally too expensive to allow deployment to a large number of users, especially if the models are large neural nets. In response to this, we introduce a layer and point wise projection mapping, which maps student and teacher representations into an aligned high-dimensional embedding space during training process. The proposed approach combined with LoRA injection reduces the student model trainable parameters to less than 1% of the teacher model, while significantly improving word error rate (WER) compared to other distillation methods, as demonstrated in ablation studies. Unlike a mixture of experts, our method can be trained rapidly and in parallel.
• Abstract（参考訳）: ほぼすべての機械学習モデルのパフォーマンスを改善する簡単な方法は、同一データ上でわずかに異なる種類の予測とエラーを発生させ、平均的な予測と堅牢性を改善するような、多様なアルゴリズムを持つ単一のモデルではなく、複数のモデルをトレーニングすることである。 しかし、モデル全体のアンサンブルを使用して予測を行うことは、特にモデルが大きなニューラルネットである場合、多数のユーザへのデプロイを可能にするために、複雑で計算コストがかかりすぎる。 これに対応して,学生と教師の表現を学習過程における高次元埋め込み空間にマッピングするレイヤとポイントワイズ・プロジェクション・マッピングを導入する。 提案手法をLoRAインジェクションと組み合わせることで,教師モデルのトレーニング可能なパラメータを1%未満に削減すると同時に,他の蒸留法と比較して単語誤り率(WER)を大幅に改善する。 専門家の混在とは違って,我々の手法は迅速かつ並列に訓練することができる。

関連論文リスト

• Transfer Learning of Linear Regression with Multiple Pretrained Models: Benefiting from More Pretrained Models via Overparameterization Debiasing [0.5371337604556311]
  複数の最小二乗事前学習モデルを用いて線形回帰タスクの伝達学習について検討する。 我々は,学習対象モデルの試験誤差を解析的に定式化し,対応する経験的評価を提供する。
  論文  参考訳（メタデータ） (2026-02-18T15:19:02Z)
• Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
  教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。 UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-04-19T14:08:56Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• No One Representation to Rule Them All: Overlapping Features of Training Methods [12.58238785151714]
  ハイパフォーマンスモデルは、トレーニング方法論に関係なく、同様の予測をする傾向があります。 近年の研究では、大規模なコントラスト学習など、非常に異なるトレーニングテクニックが、競争的に高い精度で実現されている。 これらのモデルはデータの一般化に特化しており、より高いアンサンブル性能をもたらす。
  論文  参考訳（メタデータ） (2021-10-20T21:29:49Z)
• Churn Reduction via Distillation [54.5952282395487]
  本研究は, 基礎モデルを教師として用いた蒸留によるトレーニングと, 予測的チャーンに対する明示的な制約によるトレーニングとの等価性を示す。 次に, 蒸留が近年の多くのベースラインに対する低チャーン訓練に有効であることを示す。
  論文  参考訳（メタデータ） (2021-06-04T18:03:31Z)
• Reinforced Multi-Teacher Selection for Knowledge Distillation [54.72886763796232]
  知識蒸留はモデル圧縮の一般的な方法です。 現在の方法は、蒸留全体の教師モデルに固定重量を割り当てます。 既存のメソッドのほとんどは、すべての教師モデルに等しい重みを割り当てます。 本論文では,学習例の複雑性や生徒モデル能力の違いから,教師モデルとの違いを学習することで,生徒モデルの蒸留性能の向上が期待できることを考察する。
  論文  参考訳（メタデータ） (2020-12-11T08:56:39Z)
• Reciprocal Supervised Learning Improves Neural Machine Translation [42.056956549339766]
  Reciprocal-Supervised Learning (RSL)は、Reciprocal-Supervised Learning (RSL)という名前の単純かつ効果的なアプローチである。 従来の知識蒸留法とは異なり、RSLは、他の同等またはより弱いモデルを導入することで、1つのモデルの精度を高めることができる。
  論文  参考訳（メタデータ） (2020-12-05T08:23:13Z)
• MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
  データに依存しない蒸留フレームワークであるMixKDを提案する。 妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。 限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
  論文  参考訳（メタデータ） (2020-11-01T18:47:51Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。