論文の概要: Efficiently Aligning Draft Models via Parameter- and Data-Efficient Adaptation

• arxiv url: http://arxiv.org/abs/2603.09527v1
• Date: Tue, 10 Mar 2026 11:35:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-11 15:25:24.253125
• Title: Efficiently Aligning Draft Models via Parameter- and Data-Efficient Adaptation
• Title（参考訳）: パラメータおよびデータ効率適応によるドラフトモデルの効率的な調整
• Authors: Luxi Lin, Zhihang Lin, Zhanpeng Zeng, Yuhao Chen, Qingyu Zhang, Jixiang Luo, Xuelong Li, Rongrong Ji,
• Abstract要約: 投機的復号化は、特定のドメインに対してターゲットモデルを微調整する場合、性能劣化に悩まされる。 単純な解決策は、コストがかかり非効率な、すべてのターゲットモデルのドラフトモデルをトレーニングすることです。 EDA(Efficient Draft Adaptation)と呼ばれるパラメータとデータ効率のフレームワークを導入する。
• 参考スコア（独自算出の注目度）: 82.04574413609187
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speculative decoding accelerates LLM inference but suffers from performance degradation when target models are fine-tuned for specific domains. A naive solution is to retrain draft models for every target model, which is costly and inefficient. To address this, we introduce a parameter- and data-efficient framework named Efficient Draft Adaptation, abbreviated as EDA, for efficiently adapting draft models. EDA introduces three innovations: (1) a decoupled architecture that utilizes shared and private components to model the shared and target-specific output distributions separately, enabling parameter-efficient adaptation by updating only the lightweight private component;(2) a data regeneration strategy that utilizes the fine-tuned target model to regenerate training data, thereby improving the alignment between training and speculative decoding, leading to higher average acceptance length;(3) a sample selection mechanism that prioritizes high-value data for efficient adaptation. Our experiments show that EDA effectively restores speculative performance on fine-tuned models, achieving superior average acceptance lengths with significantly reduced training costs compared to full retraining. Code is available at https://github.com/Lyn-Lucy/Efficient-Draft-Adaptation.
• Abstract（参考訳）: 投機的復号化はLLM推論を加速させるが、特定のドメインに対してターゲットモデルを微調整すると性能劣化に悩まされる。 単純な解決策は、コストがかかり非効率な、すべてのターゲットモデルのドラフトモデルをトレーニングすることです。 これを解決するために,EDA(Efficient Draft Adaptation)というパラメータとデータ効率のフレームワークを導入する。 EDAは,(1)共有コンポーネントとプライベートコンポーネントを別々にモデル化し,軽量なプライベートコンポーネントのみを更新することでパラメータ効率の高い適応を可能にする疎結合アーキテクチャ,(2)微調整されたターゲットモデルを用いてトレーニングデータを再生するデータ再生戦略を導入し,トレーニングと投機的復号の整合性を向上し,平均受入期間を長くするサンプル選択機構を導入する。 実験の結果,EDAは微調整モデル上での投機的性能を効果的に回復し,完全再訓練に比べてトレーニングコストが大幅に低減された平均受入長を達成できることがわかった。 コードはhttps://github.com/Lyn-Lucy/Efficient-Draft-Adaptationで入手できる。

関連論文リスト

• Unsupervised Parameter Efficient Source-free Post-pretraining [52.27955794126508]
  教師なしのUpStepを紹介します。 ソースドメインからターゲットドメインへのベースモデルを適応するための、ソースフリーのポストプレトレーニングアプローチ。 私たちは、Imagenetをベースモデルとして、教師付きおよび教師なしの両方でトレーニングされた、さまざまな一般的なバックボーンアーキテクチャを使用します。
  論文  参考訳（メタデータ） (2025-02-28T18:54:51Z)
• Efficient Source-Free Time-Series Adaptation via Parameter Subspace Disentanglement [0.7558576228782637]
  我々は、効率的なソースフリードメイン適応(SFDA)のためのフレームワークを提案する。 提案手法は,ソースモデル作成およびターゲット側適応のための改良されたパラダイムを導入する。 我々は,本フレームワークが様々なSFDA法と互換性があり,計算効率が高いことを実証した。
  論文  参考訳（メタデータ） (2024-10-03T02:12:03Z)
• Parameter-Efficient Fine-Tuning With Adapters [5.948206235442328]
  本研究では,UniPELTフレームワークをベースとした新しい適応手法を提案する。 提案手法では, ベースモデルパラメータの最小限の再学習を行うことなく, 事前学習したモデルを新しいタスクに効率的に転送できるアダプタを用いる。
  論文  参考訳（メタデータ） (2024-05-09T01:40:38Z)
• Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
  フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。 本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T16:37:59Z)
• Efficient Adaptation of Large Vision Transformer via Adapter Re-Composing [8.88477151877883]
  高容量事前学習モデルはコンピュータビジョンにおける問題解決に革命をもたらした。 本稿では,効率的な事前学習モデル適応に対処する新しい適応型再コンパイル(ARC)戦略を提案する。 提案手法は適応パラメータの再利用可能性について考察し,パラメータ共有方式を提案する。
  論文  参考訳（メタデータ） (2023-10-10T01:04:15Z)
• LegoNet: A Fast and Exact Unlearning Architecture [59.49058450583149]
  機械学習は、トレーニングされたモデルから削除された要求に対する特定のトレーニングサンプルの影響を削除することを目的としている。 固定エンコーダ+複数アダプタのフレームワークを採用した新しいネットワークである textitLegoNet を提案する。 我々は、LegoNetが許容できる性能を維持しつつ、高速かつ正確な未学習を実現し、未学習のベースラインを総合的に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-10-28T09:53:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。