論文の概要: ARIADNE: Agnostic Routing for Inference-time Adapter DyNamic sElection
- arxiv url: http://arxiv.org/abs/2606.19079v1
- Date: Wed, 17 Jun 2026 13:50:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-18 17:16:51.186454
- Title: ARIADNE: Agnostic Routing for Inference-time Adapter DyNamic sElection
- Title（参考訳）: ARIADNE: 推論時適応型ダイナミズムのアグノスティックルーティング
- Authors: Enrico Cassano, Michał Brzozowski, Zuzanna Dubanowska, Paolo Mandica, Neo Christopher Chung,
- Abstract要約: ARIADNEは、推論時に動的アダプタの選択を行うための、トレーニング不要でアダプタに依存しないルーティングフレームワークである。
ARIADNEは、トレーニングセットの埋め込みから計算されたセントロイドのセットを通じて各アダプタを表現し、そのアダプタに関連するデータ分布をキャプチャする。
ラベルのない入力が与えられた場合、ラテント空間内のこれらのセントロイドに近接して測定することでアダプタを選択する。
- 参考スコア（独自算出の注目度）: 3.1146094767219967
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The increasing deployment of parameter-efficient fine-tuning (PEFT) has led to model ecosystems in which a single backbone is paired with many task-specialized adapters. In this setting, inference-time queries often arrive without task labels, requiring the system to automatically select the most appropriate adapter from a growing and heterogeneous adapter pool. Existing routing methods either depend on access to adapter internals, such as weight decompositions or gradient-based statistics, or require additional router training, which limits scalability and portability as new adapters are added. We introduce ARIADNE, a training-free, adapter-agnostic routing framework for dynamic adapter selection at inference time. ARIADNE represents each adapter through a set of centroids computed from embeddings of its training set, capturing the data distribution associated with that adapter. Given an unlabeled input, it selects an adapter by measuring proximity to these centroids in latent space. Because routing is performed entirely in the input embedding space, ARIADNE is compatible with arbitrary PEFT methods and requires no modification to the adapters or training procedures. Primarily evaluated with Llama 3.2 1B Instruct on 23 diverse NLP tasks, ARIADNE recovers 97.44% of the upper bound performance. Scaling to 44 tasks, it achieves 89.7% average selection accuracy, without additional training or access to adapter internals.
- Abstract（参考訳）: パラメータ効率細調整(PEFT)の展開が増加し、単一のバックボーンが多くのタスク特化アダプタとペアリングされるモデルエコシステムがもたらされた。
この設定では、推論時クエリはタスクラベルなしで到着することが多く、システムは成長し異質なアダプタプールから最も適切なアダプタを自動的に選択する必要がある。
既存のルーティング手法は、ウェイト分解やグラデーションベースの統計などのアダプタ内部へのアクセスに依存するか、あるいは新たなアダプタが追加されるにつれてスケーラビリティとポータビリティが制限される追加のルータトレーニングを必要とする。
ARIADNEは、推論時に動的アダプタの選択を行うための、トレーニング不要でアダプタに依存しないルーティングフレームワークである。
ARIADNEは、トレーニングセットの埋め込みから計算されたセントロイドのセットを通じて各アダプタを表現し、そのアダプタに関連するデータ分布をキャプチャする。
ラベルのない入力が与えられた場合、ラテント空間内のこれらのセントロイドに近接して測定することでアダプタを選択する。
ルーティングは完全に入力埋め込み空間で行われるため、ARIADNEは任意のPEFTメソッドと互換性があり、アダプタやトレーニング手順を変更する必要はない。
Llama 3.2 1Bで23種類のNLPタスクを指示し、ARIADNEは上限性能の97.44%を回復した。
44のタスクにスケールすると、89.7%の平均選択精度が達成され、追加のトレーニングやアダプタ内部へのアクセスは不要である。
関連論文リスト
- Non-Forgetting Knowledge Allocation with Bi-level Competition for Class-Incremental Learning [86.93181780690372]
事前学習モデル(PTM)を用いたクラスインクリメンタルラーニング(CIL)は、古い知識を忘れずに、PTMを新しいカテゴリに順次適応させることを目的としている。
既存のアダプタベースの手法は、主に異なるタスク固有のアダプタを介してモデルを訓練する。
両レベルコンペティション(NoFA-BC)を用いたノンフォッティングアロケーションを提案する。
論文 参考訳（メタデータ） (2026-05-28T08:34:14Z) - Stylus: Automatic Adapter Selection for Diffusion Models [81.90482700433822]
本稿では,プロンプトのキーワードに基づいて,タスク固有のアダプタを効率的に選択し,自動生成するStylusを紹介する。
Stylus氏はまず、改善された記述と埋め込みでアダプタを要約し、関連するアダプタを検索し、さらにプロンプトのキーワードに基づいてアダプタを組み立てる3段階のアプローチを概説している。
論文 参考訳（メタデータ） (2024-04-29T17:59:16Z) - Hierarchical Recurrent Adapters for Efficient Multi-Task Adaptation of Large Speech Models [12.230087530720652]
本稿では,大規模マルチタスク適応シナリオにおいて,より効率的なアダプタモジュールを提案する。
アダプタは単一の共有コントローラネットワークと複数のタスクレベルのアダプタヘッドで構成されている。
論文 参考訳（メタデータ） (2024-03-25T17:21:56Z) - MerA: Merging Pretrained Adapters For Few-Shot Learning [71.44422347502409]
モデル融合により,事前学習したアダプタを単一モデルに効率的に組み込むことができるtextbftextttMerging Pretrained Adapters (MerA)を提案する。
2つのPLMの実験では、MerAはシングルアダプタとAdapterFusionの両方と比較して大幅に改善されている。
論文 参考訳（メタデータ） (2023-08-30T12:10:17Z) - Multi-Head Adapter Routing for Cross-Task Generalization [56.75667096355806]
ポリトロポンは、事前訓練と少数ショット適応の両方の間、各タスクのアダプタのサブセットを選択するルーティング関数とアダプタのインベントリを学習する。
複数タスクの事前学習において、数ショットの適応よりもルーティングの方が有益であることがわかった。
論文 参考訳（メタデータ） (2022-11-07T19:35:55Z) - Adaptable Adapters [74.65986170056945]
最先端のNLPモデルには1億から1兆のパラメータが含まれる。
適応アダプタは異なる層と異なる入力データに対して異なるアクティベーション関数を含む。
適応型アダプタは,標準アダプタアーキテクチャを用いてオンパー性能を実現する。
論文 参考訳（メタデータ） (2022-05-03T14:59:27Z) - AdapterBias: Parameter-efficient Token-dependent Representation Shift
for Adapters in NLP Tasks [55.705355299065474]
数百万のパラメータを持つトランスフォーマーベースの事前学習モデルは、大きなストレージを必要とする。
近年のアプローチでは、アダプタをトレーニングすることでこの欠点に対処しているが、それでも比較的多くのパラメータを必要とする。
本研究では,驚くほどシンプルで効果的なアダプタアーキテクチャであるAdapterBiasを提案する。
論文 参考訳（メタデータ） (2022-04-30T16:49:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。