論文の概要: RAPID: Increasing Efficiency of Internal Distillation via Randomized Methods

• arxiv url: http://arxiv.org/abs/2611.04081v1
• Date: Mon, 02 Nov 2026 23:44:37 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:33:30.105383
• Title: RAPID: Increasing Efficiency of Internal Distillation via Randomized Methods
• Title（参考訳）: RAPID:ランダム化法による内部蒸留効率の向上
• Abstract要約: 内部蒸留は、大規模な教師モデルの専門知識を、小型で効率的な学生モデルに伝達する技術である。 最近の進歩は、内部活性化の蒸留を統合し、より直接的に生徒に教師と同様の表現を学ぶように訓練している。 既存の方法は学習可能な行列を追加し、より大きな教師のアクティベーションを学生のより小さな表現空間に投影する。 プロジェクタの追加パラメータを学習することでトレーニングコストが増加し、トレーニング直後に破棄されるため、これは注目すべき非効率な点である。
• 参考スコア（独自算出の注目度）: 2.4851388650413866
• License:
• Abstract: Knowledge distillation is a technique used to transfer the expertise of large teacher models into small, efficient student models. Recent advances have integrated the distillation of internal activations, more directly training students to learn similar representations as the teacher. One of the core challenges of internal distillation is the dimensional incompatibility between the student and teacher internal representations. Existing methods add learnable matrices to project the larger teacher activations into the smaller representation space of the student. This is a notable point of inefficiency, as learning additional parameters for the projectors increases training costs, only for them to be discarded immediately after training. We introduce RAPID (RAndomized Projection for Internal Distillation) a novel distillation methodology which eliminates the wasteful projection learning by leveraging randomized methods. RAPID utilizes an efficient transform construction based on the Johnson-Lindenstrauss lemma to compress the teacher representations into the student embedding space with strong theoretical guarantees of structural preservation. RAPID also employs a combination of exponential moving average (EMA) and homoscedastic uncertainty weighting in a novel multi-objective function designed for internal distillation. Our experiments in post-training for reasoning demonstrate that RAPID increases training efficiency by as much as 21.1% while maintaining performance comparable to existing methods.
• Abstract（参考訳）: 知識蒸留は、大規模な教師モデルの専門知識を、小規模で効率的な学生モデルに伝達する技術である。 最近の進歩は、内部活性化の蒸留を統合し、より直接的に生徒に教師と同様の表現を学ぶように訓練している。 内部蒸留における中核的な課題の1つは、学生と教師の内部表現の次元的不整合性である。 既存の方法は学習可能な行列を追加し、より大きな教師のアクティベーションを学生のより小さな表現空間に投影する。 プロジェクタの追加パラメータを学習することでトレーニングコストが増加し、トレーニング直後に破棄されるため、これは注目すべき非効率な点である。 RAPID (RAndomized Projection for Internal Distillation) は, ランダム化法を利用して, 無駄な投射学習を除去する蒸留法である。 RAPIDは、ジョンソン-リンデンシュトラウス補題に基づく効率的な変換構造を利用して、教師表現を、構造保存の強い理論的保証で生徒の埋め込み空間に圧縮する。 RAPIDはまた、内部蒸留用に設計された新しい多目的関数において指数移動平均(英語版)(EMA)と相補的不確実性重み付けの組み合わせも採用している。 推論のためのポストトレーニング実験では、既存の手法に匹敵する性能を維持しながら、RAPIDがトレーニング効率を最大21.1%向上することを示した。

関連論文リスト

• Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
  教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。 UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-04-19T14:08:56Z)
• UNDO: Understanding Distillation as Optimization [9.100811514331498]
  UNDO: Understanding Distillation as Optimization frameworkを紹介します。 各イテレーションは、生徒の学習不足を直接対象とし、教師に調整された強化された合理性を提供する動機を与える。 様々な数学的・常識的推論タスクに関する実証的な評価は、我々の反復蒸留法UNDOが標準の1段階蒸留法を大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2025-04-03T12:18:51Z)
• Gap Preserving Distillation by Building Bidirectional Mappings with A Dynamic Teacher [43.678380057638016]
  Gap Preserving Distillation (GPD) 法は、生徒にこのギャップを埋めるように訓練すると共に、スクラッチから追加の動的教師モデルを訓練する。 実験では、GPDはCNNとトランスフォーマーアーキテクチャの両方で既存の蒸留法よりも大幅に優れている。 GPDはまた、スクラッチからのトレーニングや微調整を含む事前訓練を受けた教師なしでシナリオを一般化し、ResNet18では1.80%と0.89%の大幅な改善を実現している。
  論文  参考訳（メタデータ） (2024-10-05T12:29:51Z)
• Multi-Granularity Semantic Revision for Large Language Model Distillation [66.03746866578274]
  LLM蒸留における多粒性セマンティックリビジョン法を提案する。 シーケンスレベルでは、シーケンス修正と再生戦略を提案する。 トークンレベルでは、蒸留目的関数として、Kulback-Leibler損失を補正する分布適応クリッピングを設計する。 スパンレベルでは、シーケンスのスパン前処理を利用して、スパン内の確率相関を計算し、教師と学生の確率相関を一貫性に制約する。
  論文  参考訳（メタデータ） (2024-07-14T03:51:49Z)
• DisWOT: Student Architecture Search for Distillation WithOut Training [0.0]
  我々は,教師にとって最高の学生アーキテクチャを探すための,新しい学習自由フレームワークを探究する。 我々の研究は、バニラトレーニングにおける最適モデルが蒸留の勝者にはならないことを実証的に示している。 CIFAR, ImageNet, NAS-Bench-201 を用いた実験により, 異なる検索空間における最先端の結果が得られた。
  論文  参考訳（メタデータ） (2023-03-28T01:58:45Z)
• HomoDistil: Homotopic Task-Agnostic Distillation of Pre-trained Transformers [49.79405257763856]
  本稿では,タスク非依存蒸留に焦点をあてる。 これは、計算コストとメモリフットプリントを小さくして、様々なタスクで簡単に微調整できるコンパクトな事前訓練モデルを生成する。 本稿では, 反復刈り込みによる新規なタスク非依存蒸留法であるHomotopic Distillation (HomoDistil)を提案する。
  論文  参考訳（メタデータ） (2023-02-19T17:37:24Z)
• EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
  大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する 本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。 提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
  論文  参考訳（メタデータ） (2023-01-27T22:04:37Z)
• Differentiable Feature Aggregation Search for Knowledge Distillation [47.94874193183427]
  単教師蒸留フレームワークにおける多教師蒸留を模倣する特徴集約について紹介する。 DFAは、ニューラルネットワーク探索においてDARTSによって動機付けられた2段階の微分可能特徴集合探索法である。 実験の結果,DFAはCIFAR-100およびCINIC-10データセットの既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-08-02T15:42:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。