論文の概要: Effective LoRA Adapter Routing using Task Representations

• arxiv url: http://arxiv.org/abs/2601.21795v1
• Date: Thu, 29 Jan 2026 14:41:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:49.899064
• Title: Effective LoRA Adapter Routing using Task Representations
• Title（参考訳）: タスク表現を用いた効果的なLoRAアダプタルーティング
• Authors: Akash Dhasade, Anne-Marie Kermarrec, Igor Pavlovic, Diana Petrescu, Rafael Pires, Mathis Randl, Martijn de Vos,
• Abstract要約: ローランク適応 (LoRA) は、モジュール型アダプタによる大規模言語モデル (LLM) のパラメータ効率の良い特殊化を可能にする。 本稿では,新しいルーティングフレームワークであるLORAUTERを紹介し,適応特性ではなくタスク表現を用いてLoRAアダプタを選択し,構成する。
• 参考スコア（独自算出の注目度）: 3.0111172730438565
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-rank adaptation (LoRA) enables parameter efficient specialization of large language models (LLMs) through modular adapters, resulting in rapidly growing public adapter pools spanning diverse tasks. Effectively using these adapters requires routing: selecting and composing the appropriate adapters for a query. We introduce LORAUTER, a novel routing framework that selects and composes LoRA adapters using task representations rather than adapter characteristics. Unlike existing approaches that map queries directly to adapters, LORAUTER routes queries via task embeddings derived from small validation sets and does not require adapter training data. By operating at the task level, LORAUTER achieves efficient routing that scales with the number of tasks rather than the number of adapters. Experiments across multiple tasks show that LORAUTER consistently outperforms baseline routing approaches, matching Oracle performance (101.2%) when task-aligned adapters exist and achieving state-of-the-art results on unseen tasks (+5.2 points). We further demonstrate the robustness of LORAUTER to very large, noisy adapter pools by scaling it to over 1500 adapters.
• Abstract（参考訳）: ローランク適応 (LoRA) は、モジュラーアダプタによる大規模言語モデル (LLM) のパラメータ効率の良い特殊化を可能にし、様々なタスクにまたがる公共アダプタプールが急速に成長する。 これらのアダプタを効果的に使用するには、クエリの適切なアダプタを選択して構成する、ルーティングが必要である。 本稿では,新しいルーティングフレームワークであるLORAUTERを紹介し,適応特性ではなくタスク表現を用いてLoRAアダプタを選択し,構成する。 クエリをアダプタに直接マップする既存のアプローチとは異なり、LORAUTERは小さな検証セットから派生したタスク埋め込みを通じてクエリをルーティングし、アダプタのトレーニングデータを必要としない。 タスクレベルでの操作により、LORAUTERは、アダプタの数ではなくタスク数に合わせてスケールする効率的なルーティングを実現する。 複数のタスクにわたる実験により、LORAUTERはベースラインルーティングアプローチを一貫して上回り、タスクアラインアダプタが存在する場合のOracleのパフォーマンス(101.2%)と一致し、不明なタスク(+5.2ポイント)で最先端の結果を達成する。 さらに, 大規模でノイズの多いアダプタプールに対して, 1500以上のアダプタに拡張することで, LORAUTERのロバスト性を実証する。

関連論文リスト

• Data-driven Clustering and Merging of Adapters for On-device Large Language Models [34.58968471192321]
  デバイス上の大規模言語モデルは一般的に、ダウンストリームタスクで強力なパフォーマンスを提供するためにタスク固有のアダプタ(例えばLoRA)を使用する。 これは、複数のタスクにまたがってうまく一般化する代表アダプタをどのように選択するかという、重要な課題を提起する。 本稿では、最小限のタスク固有の例を活用し、反復最適化プロセスを用いてクラスタ割り当てを洗練するアダプタクラスタリングのための新しい手法D2Cを提案する。
  論文  参考訳（メタデータ） (2026-01-24T12:25:46Z)
• Towards Optimal Adapter Placement for Efficient Transfer Learning [73.1149084352343]
  PETLは、トレーニング済みモデルを新しい下流タスクに適用し、微調整されたパラメータの数を最小化することを目的としている。 PETLの一般的なアプローチであるアダプタは、低ランクのプロジェクションを組み込むことで、既存のネットワークにさらなる容量を注入する。 本稿では,アダプタの配置と性能の関係について検討する。
  論文  参考訳（メタデータ） (2024-10-21T10:37:17Z)
• MergeRepair: An Exploratory Study on Merging Task-Specific Adapters in Code LLMs for Automated Program Repair [5.006064616335817]
  大規模言語モデル(LLM)は、いくつかのソフトウェア開発関連のタスクで高い能力を示している。 アダプタは特定のニーズに合わせてLSMをカスタマイズするより効率的な方法を提供する。 モデル(およびアダプタ)のマージは、複数のタスクが可能な1つのモデルを開発する技術として登場した。
  論文  参考訳（メタデータ） (2024-08-18T18:45:48Z)
• Towards Modular LLMs by Building and Reusing a Library of LoRAs [64.43376695346538]
  マルチタスクデータに対して最適なアダプタライブラリを構築する方法について検討する。 モデルベースクラスタリング(MBC)を導入し,パラメータの類似性に基づいてタスクをグループ化する手法を提案する。 ライブラリを再使用するために,最も関連性の高いアダプタの動的選択を可能にする新しいゼロショットルーティング機構であるArrowを提案する。
  論文  参考訳（メタデータ） (2024-05-18T03:02:23Z)
• Stylus: Automatic Adapter Selection for Diffusion Models [81.90482700433822]
  本稿では,プロンプトのキーワードに基づいて,タスク固有のアダプタを効率的に選択し,自動生成するStylusを紹介する。 Stylus氏はまず、改善された記述と埋め込みでアダプタを要約し、関連するアダプタを検索し、さらにプロンプトのキーワードに基づいてアダプタを組み立てる3段階のアプローチを概説している。
  論文  参考訳（メタデータ） (2024-04-29T17:59:16Z)
• Hierarchical Recurrent Adapters for Efficient Multi-Task Adaptation of Large Speech Models [12.230087530720652]
  本稿では,大規模マルチタスク適応シナリオにおいて,より効率的なアダプタモジュールを提案する。 アダプタは単一の共有コントローラネットワークと複数のタスクレベルのアダプタヘッドで構成されている。
  論文  参考訳（メタデータ） (2024-03-25T17:21:56Z)
• Multi-Head Adapter Routing for Cross-Task Generalization [56.75667096355806]
  ポリトロポンは、事前訓練と少数ショット適応の両方の間、各タスクのアダプタのサブセットを選択するルーティング関数とアダプタのインベントリを学習する。 複数タスクの事前学習において、数ショットの適応よりもルーティングの方が有益であることがわかった。
  論文  参考訳（メタデータ） (2022-11-07T19:35:55Z)
• Adaptable Adapters [74.65986170056945]
  最先端のNLPモデルには1億から1兆のパラメータが含まれる。 適応アダプタは異なる層と異なる入力データに対して異なるアクティベーション関数を含む。 適応型アダプタは,標準アダプタアーキテクチャを用いてオンパー性能を実現する。
  論文  参考訳（メタデータ） (2022-05-03T14:59:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。