論文の概要: Data-driven Clustering and Merging of Adapters for On-device Large Language Models

• arxiv url: http://arxiv.org/abs/2601.17441v1
• Date: Sat, 24 Jan 2026 12:25:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-27 15:23:07.734683
• Title: Data-driven Clustering and Merging of Adapters for On-device Large Language Models
• Title（参考訳）: オンデバイス大規模言語モデルのためのデータ駆動クラスタリングとアダプタの統合
• Authors: Ondrej Bohdal, Taha Ceritli, Mete Ozay, Jijoong Moon, Kyeng-Hun Lee, Hyeonmok Ko, Umberto Michieli,
• Abstract要約: デバイス上の大規模言語モデルは一般的に、ダウンストリームタスクで強力なパフォーマンスを提供するためにタスク固有のアダプタ(例えばLoRA)を使用する。 これは、複数のタスクにまたがってうまく一般化する代表アダプタをどのように選択するかという、重要な課題を提起する。 本稿では、最小限のタスク固有の例を活用し、反復最適化プロセスを用いてクラスタ割り当てを洗練するアダプタクラスタリングのための新しい手法D2Cを提案する。
• 参考スコア（独自算出の注目度）: 34.58968471192321
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-device large language models commonly employ task-specific adapters (e.g., LoRAs) to deliver strong performance on downstream tasks. While storing all available adapters is impractical due to memory constraints, mobile devices typically have sufficient capacity to store a limited number of these parameters. This raises a critical challenge: how to select representative adapters that generalize well across multiple tasks - a problem that remains unexplored in existing literature. We propose a novel method D2C for adapter clustering that leverages minimal task-specific examples (e.g., 10 per task) and employs an iterative optimization process to refine cluster assignments. The adapters within each cluster are merged, creating multi-task adapters deployable on resource-constrained devices. Experimental results demonstrate that our method effectively boosts performance for considered storage budgets.
• Abstract（参考訳）: デバイス上の大規模言語モデルでは、ダウンストリームタスクで強力なパフォーマンスを実現するために、一般的にタスク固有のアダプタ(例えばLoRA)が使用される。 すべての利用可能なアダプタを格納することはメモリの制約のため現実的ではないが、モバイルデバイスは通常、これらのパラメータの限られた数を保存するのに十分な能力を持っている。 これは、複数のタスクにまたがってうまく一般化する代表アダプタをどのように選択するかという、重大な課題を提起する。 本稿では、最小限のタスク固有の例(例えば、タスクあたり10)を活用し、クラスタ割り当てを洗練させるために反復最適化プロセスを利用する、アダプタクラスタリングのための新しい手法D2Cを提案する。 各クラスタ内のアダプタはマージされ、リソース制約されたデバイスにデプロイ可能なマルチタスクアダプタを生成する。 実験結果から,本手法はストレージ予算を考慮した性能を効果的に向上することが示された。

関連論文リスト

• On-device System of Compositional Multi-tasking in Large Language Models [29.561801948704822]
  本稿では,要約と翻訳を含む構成的マルチタスクシナリオに特化して設計された新しいアプローチを提案する。 本手法では,要約と翻訳の併用により学習可能なプロジェクション層を付加する。 構成タスクをシームレスに実行可能なAndroidアプリを開発することにより,デバイス上の環境下での本手法の実用性を示す。
  論文  参考訳（メタデータ） (2025-10-11T19:49:22Z)
• MergeRepair: An Exploratory Study on Merging Task-Specific Adapters in Code LLMs for Automated Program Repair [5.006064616335817]
  大規模言語モデル(LLM)は、いくつかのソフトウェア開発関連のタスクで高い能力を示している。 アダプタは特定のニーズに合わせてLSMをカスタマイズするより効率的な方法を提供する。 モデル(およびアダプタ)のマージは、複数のタスクが可能な1つのモデルを開発する技術として登場した。
  論文  参考訳（メタデータ） (2024-08-18T18:45:48Z)
• Towards Modular LLMs by Building and Reusing a Library of LoRAs [64.43376695346538]
  マルチタスクデータに対して最適なアダプタライブラリを構築する方法について検討する。 モデルベースクラスタリング(MBC)を導入し,パラメータの類似性に基づいてタスクをグループ化する手法を提案する。 ライブラリを再使用するために,最も関連性の高いアダプタの動的選択を可能にする新しいゼロショットルーティング機構であるArrowを提案する。
  論文  参考訳（メタデータ） (2024-05-18T03:02:23Z)
• Hierarchical Recurrent Adapters for Efficient Multi-Task Adaptation of Large Speech Models [12.230087530720652]
  本稿では,大規模マルチタスク適応シナリオにおいて,より効率的なアダプタモジュールを提案する。 アダプタは単一の共有コントローラネットワークと複数のタスクレベルのアダプタヘッドで構成されている。
  論文  参考訳（メタデータ） (2024-03-25T17:21:56Z)
• Vision Transformer Adapters for Generalizable Multitask Learning [61.79647180647685]
  一般化可能なタスク親和性を学習する最初のマルチタスク・ビジョン・トランスフォーマー・アダプタを提案する。 我々のアダプタはパラメータ効率の良い方法で複数の高密度視覚タスクを同時に解くことができる。 並行メソッドとは対照的に、新しいタスクやドメインが追加されるたびに、再トレーニングや微調整は不要です。
  論文  参考訳（メタデータ） (2023-08-23T18:40:48Z)
• Multi-Head Adapter Routing for Cross-Task Generalization [56.75667096355806]
  ポリトロポンは、事前訓練と少数ショット適応の両方の間、各タスクのアダプタのサブセットを選択するルーティング関数とアダプタのインベントリを学習する。 複数タスクの事前学習において、数ショットの適応よりもルーティングの方が有益であることがわかった。
  論文  参考訳（メタデータ） (2022-11-07T19:35:55Z)
• AdaMix: Mixture-of-Adapter for Parameter-efficient Tuning of Large Language Models [119.7093605087114]
  大規模なトレーニング済み言語モデルをダウンストリームタスクに微調整するには、数億のパラメータを更新する必要がある。 これにより、各タスクのモデルの重みの大量コピーを格納するためのサービスコストが増大するだけでなく、数発のタスク適応中に不安定を示す。 パラメータや計算コストを2つの重要な手法で増大させることなく、アダプタ容量を改善するための新しいメカニズムを導入する。
  論文  参考訳（メタデータ） (2022-05-24T23:41:22Z)
• AdapterBias: Parameter-efficient Token-dependent Representation Shift for Adapters in NLP Tasks [55.705355299065474]
  数百万のパラメータを持つトランスフォーマーベースの事前学習モデルは、大きなストレージを必要とする。 近年のアプローチでは、アダプタをトレーニングすることでこの欠点に対処しているが、それでも比較的多くのパラメータを必要とする。 本研究では,驚くほどシンプルで効果的なアダプタアーキテクチャであるAdapterBiasを提案する。
  論文  参考訳（メタデータ） (2022-04-30T16:49:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。