論文の概要: Task-Aware LoRA Adapter Composition via Similarity Retrieval in Vector Databases

• arxiv url: http://arxiv.org/abs/2602.21222v1
• Date: Sun, 01 Feb 2026 22:20:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-02 07:21:25.657443
• Title: Task-Aware LoRA Adapter Composition via Similarity Retrieval in Vector Databases
• Title（参考訳）: ベクトルデータベースにおける類似性検索によるタスク対応LORAアダプタ構成
• Authors: Riya Adsul, Balachandra Devarangadi Sunil, Isha Nalawade, Sudharshan Govindan,
• Abstract要約: 本稿では,ベクトルデータベースにおける類似性検索を利用した動的LoRAアダプタ合成のための新しいフレームワークを提案する。 提案手法は,22種類のコモンセンス推論,質問応答,自然言語推論,感情分析などの学習例を組み込んで,タスク認識ベクトルデータベースを構築する。 我々のフレームワークは、追加のレトリバートレーニングを必要とせず、凍結埋め込みで動作し、効率的で解釈可能なアダプタ構成を可能にする。
• 参考スコア（独自算出の注目度）: 3.4869850730657728
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter efficient fine tuning methods like LoRA have enabled task specific adaptation of large language models, but efficiently composing multiple specialized adapters for unseen tasks remains challenging. We present a novel framework for dynamic LoRA adapter composition that leverages similarity retrieval in vector databases to enable zero-shot generalization across diverse NLP tasks. Our approach constructs a task-aware vector database by embedding training examples from 22 datasets spanning commonsense reasoning, question answering, natural language inference, and sentiment analysis. At inference time, we retrieve the most similar training examples, compute task similarity distributions via nucleus sampling, and dynamically merge relevant LoRA adapters using retrieval weighted fusion strategies. We evaluated four merging methods Linear, Concatenation, TIES, and Magnitude Prune demonstrating that our dataset centric retrieval approach often matches or exceeds the performance of individually fine-tuned task-specific adapters. Notably, Linear merging achieves 70.95% on PIQA and 77.62% on RTE, substantially outperforming single-task baselines (46% and 52%, respectively). Our framework requires no additional retriever training, operates with frozen embeddings, and enables efficient, interpretable adapter composition. These results suggest that retrieval based dynamic merging offers a promising direction for scalable, parameter-efficient multitask learning without requiring full model retraining for each new task.
• Abstract（参考訳）: LoRAのようなパラメータ効率のよい微調整手法は大規模言語モデルのタスク特化を実現しているが、未確認タスクのための複数の特別なアダプタを効率的に構築することは困難である。 我々は,ベクトルデータベースにおける類似性検索を利用して,多様なNLPタスク間のゼロショット一般化を可能にする動的LoRAアダプタ構成のための新しいフレームワークを提案する。 提案手法は,コモンセンス推論,質問応答,自然言語推論,感情分析を対象とする22のデータセットから学習例を組み込んだタスク認識ベクトルデータベースを構築する。 推論時に最も類似したトレーニング例を検索し、核サンプリングによるタスク類似度分布を計算し、検索重み付け融合戦略を用いて関連するLoRAアダプタを動的にマージする。 リニア、連結、TIES、Magnitude Pruneの4つのマージ手法を評価し、データセット中心の検索手法が個別に調整されたタスク固有アダプタの性能とよく一致または上回っていることを示した。 特に、リニアマージングはPIQAで70.95%、RTEで77.62%、シングルタスクベースライン(それぞれ46%と52%)を大きく上回っている。 我々のフレームワークは、追加のレトリバートレーニングを必要とせず、凍結埋め込みで動作し、効率的で解釈可能なアダプタ構成を可能にする。 これらの結果から,検索に基づく動的マージは,新しいタスク毎に完全なモデル再学習を必要とせず,スケーラブルでパラメータ効率の良いマルチタスク学習に有望な方向を提供する可能性が示唆された。

関連論文リスト

• Collaborative and Efficient Fine-tuning: Leveraging Task Similarity [11.300986538076979]
  CoLoRA(Collaborative Low-Rank Adaptation)は、協調的かつ効率的に微調整されたファンデーションモデルに類似したタスクを利用する。 理論的には、CoLoRAを不均一線形回帰について研究し、真理回復のための証明可能な保証を提供する。
  論文  参考訳（メタデータ） (2026-02-06T21:59:40Z)
• COLLAGE: Adaptive Fusion-based Retrieval for Augmented Policy Learning [30.547410996111108]
  数発の模倣学習において,COLLAGEはCOLLective Data AGgrEgationの手法である。 Collageは適応的なレイトフュージョン機構を使用して、複数のキューのタスク固有の組み合わせに基づいて、関連するデモの選択をガイドする。 コラージュは最先端の検索とマルチタスク学習の手法を10タスクで5.1%、現実世界では6タスクで16.6%上回っている。
  論文  参考訳（メタデータ） (2025-08-02T01:23:09Z)
• ImpRAG: Retrieval-Augmented Generation with Implicit Queries [34.72864597562907]
  ImpRAGは、検索と生成を統一モデルに統合するクエリフリーなRAGシステムである。 我々は、ImpRAGが、多様な形式を持つ未確認タスクの正確なマッチスコアを3.6-11.5改善したことを示す。
  論文  参考訳（メタデータ） (2025-06-02T21:38:21Z)
• Reinforcing Compositional Retrieval: Retrieving Step-by-Step for Composing Informative Contexts [67.67746334493302]
  大規模言語モデル(LLM)は、多くのタスクにまたがる顕著な機能を示してきたが、複雑なタスクを扱うために外部のコンテキストに依存していることが多い。 我々は、このプロセスをマルコフ決定プロセス(MDP)としてモデル化するトリエンコーダシーケンシャルレトリバーを提案する。 提案手法は,サンプル間の依存関係を明示的にモデル化することの重要性を強調し,ベースラインを一貫して大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2025-04-15T17:35:56Z)
• In-Context Meta LoRA Generation [61.690065588534296]
  Low-rank Adaptation (LoRA) はタスク固有の微調整機能を示す。 In-Context Meta LoRA (ICM-LoRA) は,大規模言語モデルのタスク固有のカスタマイズを効率的に行う新しい手法である。 ICM-LoRAは、現在のパラメータ再構成法よりも正確なLoRAパラメータ再構成を可能にする。
  論文  参考訳（メタデータ） (2025-01-29T13:12:01Z)
• Pilot: Building the Federated Multimodal Instruction Tuning Framework [79.56362403673354]
  本フレームワークは、視覚エンコーダとLCMのコネクタに「アダプタのアダプタ」の2つの段階を統合する。 ステージ1では視覚情報からタスク固有の特徴とクライアント固有の特徴を抽出する。 ステージ2では、クロスタスクインタラクションを実行するために、クロスタスクMixture-of-Adapters(CT-MoA)モジュールを構築します。
  論文  参考訳（メタデータ） (2025-01-23T07:49:24Z)
• MBA-RAG: a Bandit Approach for Adaptive Retrieval-Augmented Generation through Question Complexity [30.346398341996476]
  本稿では,クエリの複雑性に基づいて最適な検索戦略を動的に選択する強化学習ベースのフレームワークを提案する。 提案手法は,検索コストを低減しつつ,複数のシングルホップおよびマルチホップデータセット上でのアート結果の新たな状態を実現する。
  論文  参考訳（メタデータ） (2024-12-02T14:55:02Z)
• Adapt-$\infty$: Scalable Continual Multimodal Instruction Tuning via Dynamic Data Selection [89.42023974249122]
  Adapt-$infty$は、生涯のインストラクションチューニングのための、新しいマルチウェイおよびアダプティブなデータ選択アプローチである。 勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。 セレクタエキスパートのプールから各スキルクラスタの最高のパフォーマンスデータセレクタを選択する。 このデータセレクタは、トレーニングのために各スキルクラスタから最も重要なサンプルのサブセットをサンプリングする。
  論文  参考訳（メタデータ） (2024-10-14T15:48:09Z)
• Beyond Adapter Retrieval: Latent Geometry-Preserving Composition via Sparse Task Projection [22.748835458594744]
  本稿では,検索を超越したアダプタ再利用のための新しいフレームワークを提案する。 我々は,各タスクを潜在プロトタイプベクトルで表現し,対象タスクのプロトタイプを,検索した参照プロトタイプの疎線形結合として近似することを目的とする。 結果として得られる組み合わせ重量は、対応するLoRAアダプタをブレンドするために使用され、ターゲットタスクに合わせて調整された複合アダプタが生成される。
  論文  参考訳（メタデータ） (2024-10-13T16:28:38Z)
• MergeRepair: An Exploratory Study on Merging Task-Specific Adapters in Code LLMs for Automated Program Repair [5.006064616335817]
  大規模言語モデル(LLM)は、いくつかのソフトウェア開発関連のタスクで高い能力を示している。 アダプタは特定のニーズに合わせてLSMをカスタマイズするより効率的な方法を提供する。 モデル(およびアダプタ)のマージは、複数のタスクが可能な1つのモデルを開発する技術として登場した。
  論文  参考訳（メタデータ） (2024-08-18T18:45:48Z)
• Towards Modular LLMs by Building and Reusing a Library of LoRAs [64.43376695346538]
  マルチタスクデータに対して最適なアダプタライブラリを構築する方法について検討する。 モデルベースクラスタリング(MBC)を導入し,パラメータの類似性に基づいてタスクをグループ化する手法を提案する。 ライブラリを再使用するために,最も関連性の高いアダプタの動的選択を可能にする新しいゼロショットルーティング機構であるArrowを提案する。
  論文  参考訳（メタデータ） (2024-05-18T03:02:23Z)
• I3: Intent-Introspective Retrieval Conditioned on Instructions [83.91776238599824]
  I3は,タスク固有の訓練を使わずに,インストラクションに条件付けられた様々なタスクに対して,インテント・イントロスペクティブ検索を行う統合検索システムである。 I3は、特定の検索意図を理解するために、パラメータ分離された方法でプラグ可能なイントロスペクタを組み込む。 LLM生成データを利用してI3フェーズ・バイ・フェイズを訓練し、プログレッシブ・ストラクチャー・プルーニングとドローバック・ベースのデータリファインメントという2つの重要な設計を具現化した。
  論文  参考訳（メタデータ） (2023-08-19T14:17:57Z)
• Using a thousand optimization tasks to learn hyperparameter search strategies [53.318615663332274]
  本稿では、ニューラルネットワークのトレーニングと評価に使用するニューラルネットワークのデータセットであるTaskSetを紹介する。 TaskSetはそのサイズと多様性に特有で、完全な接続または畳み込みネットワークによるイメージ分類から変分オートエンコーダ、さまざまなデータセット上の非ボリューム保存フローまで、数千以上のタスクを含んでいる。
  論文  参考訳（メタデータ） (2020-02-27T02:49:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。