論文の概要: SLAD : Shared LoRA Adapters for Task Specific Distillation

• arxiv url: http://arxiv.org/abs/2605.29726v1
• Date: Thu, 28 May 2026 10:20:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:56.180369
• Title: SLAD : Shared LoRA Adapters for Task Specific Distillation
• Title（参考訳）: SLAD : タスク特定蒸留用共有LoRAアダプタ
• Authors: Reda Bensaid, Yassir Bendou, Vincent Gripon, François Leduc-Primeau,
• Abstract要約: 組込みシステムのような資源制約のある環境では、ダウンストリームタスクに小型の基盤モデルを適用することがますます人気が高まっている。 最近の研究は、同じ基礎モデルのより大きなバージョンを使用して、より小さなモデルへの適応を支援する利点を実証している。 提案手法であるSLADでは,教師と生徒の機能的整合性が向上し,性能が向上した。
• 参考スコア（独自算出の注目度）: 5.605625746831634
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the context of resource-constrained environments such as embedded systems, adapting reduced-size foundation models to downstream tasks has become increasingly popular. This has recently motivated the emerging setting of task-specific distillation, where a larger and a smaller version of the same foundation model are both adapted to the same downstream task, with the goal of transferring knowledge from the former to the latter. Recent work has demonstrated the benefits of using a larger version of the same foundation model to assist the adaptation of a smaller one. Typically, the larger model (teacher) is first adapted via fine-tuning or linear probing before its knowledge is distilled into the smaller model (student). While fine-tuning the teacher often increases its performance, recent work showed that probing it leads to better knowledge distillation to the student. Our findings show that this is mainly due to a mis-alignment in feature representation between the teacher and the student which occurs during the teacher's fine-tuning. Inspired by existing efforts to preserve previously learned knowledge, we first propose leveraging low-rank adaptation, resulting in better feature alignment and therefore better knowledge transfer. Drawing from this insight, we further enhance the feature alignment through a parameter-sharing strategy of the adapters between the two encoders during joint training. Our proposed method, SLAD, shows better feature alignment between the teacher and student, which results in increased performance for not only the student but also the teacher model, while being 2x faster to train than fine-tuning. Through extensive experiments on multiple classification and segmentation datasets, we demonstrate the improved accuracy and transfer efficiency of our method, achieving state-of-the-art performance in the task-specific distillation framework.
• Abstract（参考訳）: 組込みシステムなどの資源制約環境の文脈では、ダウンストリームタスクへの小型基盤モデルの適用がますます人気が高まっている。 これは近年、同じ基礎モデルのより大きく、より小さなバージョンが同じ下流のタスクに適合し、前者から後者への知識の移転を目標とするタスク特化蒸留の進展を動機付けている。 最近の研究は、同じ基礎モデルのより大きなバージョンを使用して、より小さなモデルへの適応を支援する利点を実証している。 典型的には、より大きなモデル(教師)は、その知識がより小さなモデル(学生)に蒸留される前に、まず微調整または線形探索によって適応される。 近年の研究では、教師の微調整によって性能が向上する一方で、学習者への知識の蒸留が促進されることが示されている。 本研究の結果は,教師の微調整中に発生する教師と生徒の特徴表現の誤りが原因であることが示唆された。 従来の学習知識の保存に着想を得て,まず低ランク適応の活用を提案し,特徴整合性の向上と知識伝達性の向上を図った。 この知見から,共同訓練中の2つのエンコーダ間のアダプタのパラメータ共有戦略により,機能アライメントをさらに強化する。 提案手法であるSLADでは,教師と生徒間の機能的整合性が向上し,生徒だけでなく教師モデルにも性能が向上し,微調整よりも2倍速く訓練できることがわかった。 複数の分類とセグメンテーションデータセットに関する広範な実験を通じて,本手法の精度向上と伝達効率を実証し,タスク固有蒸留フレームワークにおける最先端性能を実現した。

関連論文リスト

• Learning beyond Teacher: Generalized On-Policy Distillation with Reward Extrapolation [57.524909883706556]
  オンライン蒸留(OPD)は、学生のパフォーマンス向上に強い経験的利益をもたらしている。 この研究は、フレキシブルな参照モデルと報酬項の相対重みをKL正規化に対して制御する報酬スケーリング係数を導入している。 特に、同じ学生モデルにドメイン固有RLを適用して得られた異なるドメインエキスパートの知識をマージする環境では、ExOPDは生徒が教師のパフォーマンス境界を越えられるようにします。
  論文  参考訳（メタデータ） (2026-02-12T16:14:29Z)
• Intra-class Patch Swap for Self-Distillation [3.282914142012984]
  単一学生ネットワークに基づく無教師蒸留フレームワークを提案する。 我々のアプローチは、クラス内パッチスワップスワップスワップスワップスワップスワップスワップスワップスワップスワップスワップスワップスワップスワップスワップスワップスワップスワップスワップスワップスワップスワップスワップスワップスワ 提案手法は,既存の自己蒸留ベースラインと従来の教師ベースのKDアプローチを一貫して上回る。
  論文  参考訳（メタデータ） (2025-05-20T09:30:19Z)
• Preserving Angles Improves Feature Distillation of Foundation Models [8.572967695281054]
  圧縮空間ネットワークと学生画像モデルとの類似性を保存する。 様々なCossNetデータセットが、検出ベンチマークでより堅牢な精度で精度良く生成されることが示されている。 これにより、一般的な検出ベンチマークでのトレーニングの競合パスが提供される。
  論文  参考訳（メタデータ） (2024-11-22T01:48:44Z)
• Gap Preserving Distillation by Building Bidirectional Mappings with A Dynamic Teacher [43.678380057638016]
  Gap Preserving Distillation (GPD) 法は、生徒にこのギャップを埋めるように訓練すると共に、スクラッチから追加の動的教師モデルを訓練する。 実験では、GPDはCNNとトランスフォーマーアーキテクチャの両方で既存の蒸留法よりも大幅に優れている。 GPDはまた、スクラッチからのトレーニングや微調整を含む事前訓練を受けた教師なしでシナリオを一般化し、ResNet18では1.80%と0.89%の大幅な改善を実現している。
  論文  参考訳（メタデータ） (2024-10-05T12:29:51Z)
• Improving Knowledge Distillation via Regularizing Feature Norm and Direction [16.98806338782858]
  知識蒸留(KD)は、大きな訓練されたモデル(例えば教師)を利用して、同じタスクのために同じデータセット上で小さな学生モデルを訓練する。 教師の特徴を知識として扱うこと、知識蒸留訓練の学生は、その特徴を教師の特徴と整合させることによって、例えば、ロジット間のKL偏差を最小化し、中間特徴間のL2距離を最小化する。 教師に対する生徒の特徴の整合性の向上は教師の知識をよりよく蒸留すると考えるのは自然なことだが、単にこの整合性を強制することは生徒のパフォーマンスに直接寄与しない。
  論文  参考訳（メタデータ） (2023-05-26T15:05:19Z)
• Better Teacher Better Student: Dynamic Prior Knowledge for Knowledge Distillation [70.92135839545314]
  本研究では,教師の持つ特徴の一部を,特徴蒸留前の先行知識として統合した動的事前知識(DPK)を提案する。 DPKは,教員モデルと生徒モデルのパフォーマンスを正に相関させ,より大きな教員を適用することで生徒の精度をさらに高めることができる。
  論文  参考訳（メタデータ） (2022-06-13T11:52:13Z)
• Knowledge Distillation with the Reused Teacher Classifier [31.22117343316628]
  簡単な知識蒸留技術では,教師と学生のパフォーマンスギャップを大幅に狭めるのに十分であることを示す。 提案手法は, プロジェクタの追加による圧縮率の最小コストで, 最先端の結果を得る。
  論文  参考訳（メタデータ） (2022-03-26T06:28:46Z)
• Wasserstein Contrastive Representation Distillation [114.24609306495456]
  We propose Wasserstein Contrastive Representation Distillation (WCoRD) which leverages both primal and dual form of Wasserstein distance for knowledge distillation。 二重形式はグローバルな知識伝達に使用され、教師と学生のネットワーク間の相互情報の低い境界を最大化する対照的な学習目標をもたらします。 実験では、提案されたWCoRD法が特権情報蒸留、モデル圧縮およびクロスモーダル転送における最先端のアプローチを上回ることを実証した。
  論文  参考訳（メタデータ） (2020-12-15T23:43:28Z)
• Knowledge Distillation Meets Self-Supervision [109.6400639148393]
  知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。 一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。 これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
  論文  参考訳（メタデータ） (2020-06-12T12:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。