論文の概要: HydraOpt: Navigating the Efficiency-Performance Trade-off of Adapter Merging

• arxiv url: http://arxiv.org/abs/2507.17706v1
• Date: Wed, 23 Jul 2025 17:12:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-24 22:33:15.104156
• Title: HydraOpt: Navigating the Efficiency-Performance Trade-off of Adapter Merging
• Title（参考訳）: HydraOpt:Adapter Mergingの効率パフォーマンストレードオフをナビゲートする
• Authors: Taha Ceritli, Ondrej Bohdal, Mete Ozay, Jijoong Moon, Kyeng-Hun Lee, Hyeonmok Ko, Umberto Michieli,
• Abstract要約: 大規模言語モデル(LLM)は、低ランクベースのアダプタのようなアダプタを活用して、下流タスクで高いパフォーマンスを達成する。 各タスクに個別のアダプタを格納すると、メモリ要求が大幅に増加する。 低ランクアダプタの行列に固有の類似性を生かした新しいモデルマージ技術であるHydraOptを紹介する。
• 参考スコア（独自算出の注目度）: 19.310797948749972
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) often leverage adapters, such as low-rank-based adapters, to achieve strong performance on downstream tasks. However, storing a separate adapter for each task significantly increases memory requirements, posing a challenge for resource-constrained environments such as mobile devices. Although model merging techniques can reduce storage costs, they typically result in substantial performance degradation. In this work, we introduce HydraOpt, a new model merging technique that capitalizes on the inherent similarities between the matrices of low-rank adapters. Unlike existing methods that produce a fixed trade-off between storage size and performance, HydraOpt allows us to navigate this spectrum of efficiency and performance. Our experiments show that HydraOpt significantly reduces storage size (48% reduction) compared to storing all adapters, while achieving competitive performance (0.2-1.8% drop). Furthermore, it outperforms existing merging techniques in terms of performance at the same or slightly worse storage efficiency.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、低ランクベースのアダプタのようなアダプタを活用して、下流タスクで高いパフォーマンスを達成する。 しかし、各タスクに個別のアダプタを格納すると、メモリの要求が大幅に増加し、モバイルデバイスのようなリソースに制約のある環境では困難が生じる。 モデルマージ技術はストレージコストを削減できるが、通常は性能が大幅に低下する。 本稿では,低ランクアダプタの行列間の類似性を生かした新しいモデルマージ技術であるHydraOptを紹介する。 ストレージサイズとパフォーマンスの間に一定のトレードオフをもたらす既存の方法とは異なり、HydraOptは、この効率とパフォーマンスのスペクトルをナビゲートすることができます。 実験の結果,HydraOptはすべてのアダプタを格納するよりもストレージサイズ(48%削減)を著しく削減し,競合性能(0.2-1.8%減少)を実現していることがわかった。 さらに、同じまたはわずかにストレージ効率が悪いという点で、既存のマージ技術よりも優れています。

関連論文リスト

• Memory Efficient Transformer Adapter for Dense Predictions [42.413108132475855]
  本稿では,メモリ効率を向上し,メモリ消費を低減できるメモリ効率の良いViTアダプタMETAを提案する。 提案するブロック内では、モデルの頻繁な再形成操作を減らすために、断面形状の自己注意が使用される。 METAは予測される品質を大幅に向上し、新しい最先端の精度効率トレードオフを実現している。
  論文  参考訳（メタデータ） (2025-02-04T03:19:33Z)
• Not All Adapters Matter: Selective Adapter Freezing for Memory-Efficient Fine-Tuning of Language Models [10.593991842751631]
  アダプタチューニングは、軽量なトレーニング可能なモジュールを導入することで、パラメータ効率の良い微調整を提供する。 各アダプタはタスク性能とリソース使用量の両方に不平等に寄与することを示す。 Selective Adapter FrEezing (SAFE, Selective Adapter FrEezing) を提案する。
  論文  参考訳（メタデータ） (2024-11-26T08:41:45Z)
• Towards Optimal Adapter Placement for Efficient Transfer Learning [73.1149084352343]
  PETLは、トレーニング済みモデルを新しい下流タスクに適用し、微調整されたパラメータの数を最小化することを目的としている。 PETLの一般的なアプローチであるアダプタは、低ランクのプロジェクションを組み込むことで、既存のネットワークにさらなる容量を注入する。 本稿では,アダプタの配置と性能の関係について検討する。
  論文  参考訳（メタデータ） (2024-10-21T10:37:17Z)
• Consolidator: Mergeable Adapter with Grouped Connections for Visual Adaptation [53.835365470800916]
  視覚変換器の知識を効率よく効果的に伝達する方法を示す。 調整可能なパラメータの小さなセットを追加して,事前学習モデルを変更するコンソリケータを提案する。 我々のコンソリエータは、0.35%のパラメータで完全な微調整よりも最大7.56の精度で到達できる。
  論文  参考訳（メタデータ） (2023-04-30T23:59:02Z)
• HEAT: Hardware-Efficient Automatic Tensor Decomposition for Transformer Compression [69.36555801766762]
  本稿では,分解可能な指数空間を効率的に探索できるハードウェア対応テンソル分解フレームワークHEATを提案する。 ハードウェア対応のBERT変異体は, エネルギー遅延を5.7倍に低減し, 精度が1.1%以下であることを示す。
  論文  参考訳（メタデータ） (2022-11-30T05:31:45Z)
• SparseAdapter: An Easy Approach for Improving the Parameter-Efficiency of Adapters [96.52807311742198]
  我々は、ネットワークプルーニングのレンズを通して、アダプタのパラメータ効率を再検討する。 スパース比が最大80%に達すると、SparseAdapterは標準のAdapterよりも同等あるいは優れたパフォーマンスを達成できることがわかった。
  論文  参考訳（メタデータ） (2022-10-09T15:28:48Z)
• AdaMix: Mixture-of-Adapter for Parameter-efficient Tuning of Large Language Models [119.7093605087114]
  大規模なトレーニング済み言語モデルをダウンストリームタスクに微調整するには、数億のパラメータを更新する必要がある。 これにより、各タスクのモデルの重みの大量コピーを格納するためのサービスコストが増大するだけでなく、数発のタスク適応中に不安定を示す。 パラメータや計算コストを2つの重要な手法で増大させることなく、アダプタ容量を改善するための新しいメカニズムを導入する。
  論文  参考訳（メタデータ） (2022-05-24T23:41:22Z)
• AdapterBias: Parameter-efficient Token-dependent Representation Shift for Adapters in NLP Tasks [55.705355299065474]
  数百万のパラメータを持つトランスフォーマーベースの事前学習モデルは、大きなストレージを必要とする。 近年のアプローチでは、アダプタをトレーニングすることでこの欠点に対処しているが、それでも比較的多くのパラメータを必要とする。 本研究では,驚くほどシンプルで効果的なアダプタアーキテクチャであるAdapterBiasを提案する。
  論文  参考訳（メタデータ） (2022-04-30T16:49:41Z)
• AdapterDrop: On the Efficiency of Adapters in Transformers [53.845909603631945]
  大規模に事前訓練されたトランスフォーマーモデルは、微調整に計算コストがかかり、推論に時間がかかり、大きなストレージ要求がある。 最近のアプローチでは、より小さなモデルをトレーニングし、モデルサイズを動的に削減し、軽量アダプタをトレーニングすることで、これらの欠点に対処している。
  論文  参考訳（メタデータ） (2020-10-22T17:49:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。