論文の概要: qa-FLoRA: Data-free query-adaptive Fusion of LoRAs for LLMs

• arxiv url: http://arxiv.org/abs/2512.11366v1
• Date: Fri, 12 Dec 2025 08:27:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-15 15:48:11.701507
• Title: qa-FLoRA: Data-free query-adaptive Fusion of LoRAs for LLMs
• Title（参考訳）: qa-FLoRA: LLMのためのデータフリーなクエリ適応型融合
• Authors: Shreya Shukla, Aditya Sriram, Milinda Kuppur Narayanaswamy, Hiteshi Jain,
• Abstract要約: 我々は,新しいクエリ適応型データ・トレーニングフリーなLoRA融合法であるqa-FLoRAを提案する。 以上の結果から,qa-FLoRAはLLaMA-2では5%,LLaMA-3では6%,LLaMA-2では7%,LLaMA-3では10%,静的核融合では7%の成績を示した。
• 参考スコア（独自算出の注目度）: 1.4699455652461726
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The deployment of large language models for specialized tasks often requires domain-specific parameter-efficient finetuning through Low-Rank Adaptation (LoRA) modules. However, effectively fusing these adapters to handle complex, multi-domain composite queries remains a critical challenge. Existing LoRA fusion approaches either use static weights, which assign equal relevance to each participating LoRA, or require data-intensive supervised training for every possible LoRA combination to obtain respective optimal fusion weights. We propose qa-FLoRA, a novel query-adaptive data-and-training-free method for LoRA fusion that dynamically computes layer-level fusion weights by measuring distributional divergence between the base model and respective adapters. Our approach eliminates the need for composite training data or domain-representative samples, making it readily applicable to existing adapter collections. Extensive experiments across nine multilingual composite tasks spanning mathematics, coding, and medical domains, show that qa-FLoRA outperforms static fusion by ~5% with LLaMA-2 and ~6% with LLaMA-3, and the training-free baselines by ~7% with LLaMA-2 and ~10% with LLaMA-3, while significantly closing the gap with supervised baselines. Further, layer-level analysis of our fusion weights reveals interpretable fusion patterns, demonstrating the effectiveness of our approach for robust multi-domain adaptation.
• Abstract（参考訳）: 特殊タスクのための大規模言語モデルのデプロイには、ローランド適応(LoRA)モジュールによるドメイン固有のパラメータ効率の微調整が必要となることが多い。 しかし、複雑なマルチドメイン複合クエリを扱うためにこれらのアダプタを効果的に融合させることは、依然として重要な課題である。 既存のLoRA融合アプローチでは、各ロラに等しい関係を割り当てる静的重みを使用するか、可能な全てのロラ結合に対してデータ集約的な教師あり訓練を必要とする。 基本モデルと各アダプタ間の分散分散度を測定し,層レベルの融合重みを動的に計算する,新しいクエリ適応型データ・トレーニングフリーなLoRA融合法であるqa-FLoRAを提案する。 提案手法では,複合的なトレーニングデータやドメイン表現型サンプルの必要性を排除し,既存のアダプタコレクションに容易に適用できる。 数学、コーディング、医学領域にまたがる9つの多言語複合タスクに対する広範囲な実験により、qa-FLoRAはLLaMA-2で約5%、LLaMA-3で約6%、LLaMA-2で約7%、LLaMA-3で約10%、教師付きベースラインとのギャップを著しく埋めることが示された。 さらに,融合重みの層レベル解析により解釈可能な融合パターンが明らかとなり,堅牢な多ドメイン適応のためのアプローチの有効性が示された。

関連論文リスト

• FusionFactory: Fusing LLM Capabilities with Multi-LLM Log Data [60.09659670497899]
  大規模言語モデル(LLM)は、さまざまなモデルのランドスケープを持ち、それぞれが異なるタスクで優れています。 この多様性は、研究者に複数のLLMを実際に採用させ、貴重なマルチLLMログデータを残します。 1)実世界のサービスシナリオ(例えば、ローカルおよびAPIベースのサービス)との互換性と、(2)様々なユーザニーズを満たすためにLLMパイプラインの異なる段階での運用の柔軟性である。
  論文  参考訳（メタデータ） (2025-07-14T17:58:02Z)
• LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
  低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。 本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T22:57:12Z)
• DLP-LoRA: Efficient Task-Specific LoRA Fusion with a Dynamic, Lightweight Plugin for Large Language Models [10.179598253424103]
  大規模言語モデル(LLM)は様々なタスクで堅牢なパフォーマンスを実現していますが、これらのモデルを特定のドメイン向けに微調整することはリソース集約的です。 5Mパラメータしか持たないミニMLPモジュールを提案し、トップpサンプリング戦略を用いて文レベルで複数のLoRAを動的に融合する。 このアプローチは、並列計算を利用することで、単一のLoRA推論の2倍未満まで推論時間を短縮する。
  論文  参考訳（メタデータ） (2024-10-02T12:45:52Z)
• Retrieval-Augmented Mixture of LoRA Experts for Uploadable Machine Learning [57.36978335727009]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整する効率的な方法を提供する。 本稿では,入力プロンプトに基づいて複数のLoRAを適応的に検索・構成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-24T05:24:41Z)
• MeteoRA: Multiple-tasks Embedded LoRA for Large Language Models [4.978361907192563]
  MeteoRAはスケーラブルで効率的なフレームワークで、複数のタスク固有のLoRAアダプタをベースLLMに再利用する。 MeteoRAは複合タスクの処理において優れた性能を実現し、単一の推論パスで10のシーケンシャルな問題を効果的に解決する。
  論文  参考訳（メタデータ） (2024-05-19T20:46:07Z)
• Mixture of LoRA Experts [87.50120181861362]
  本稿では,階層的制御と未分散分岐選択を利用する LoRA Experts (MoLE) アプローチを提案する。 MoLEアプローチは直接算術マージよりも優れたLoRA融合性能を実現する。
  論文  参考訳（メタデータ） (2024-04-21T11:59:53Z)
• LoraRetriever: Input-Aware LoRA Retrieval and Composition for Mixed Tasks in the Wild [76.67343971195267]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整するための効率的なソリューションを提供する。 LoraRetrieverは、入力プロンプトに従って複数のLoRAを適応的に検索して構成する検索テーマ構成フレームワークである。 実験結果から、LoraRetrieverは一貫してベースラインを上回っていることが示唆された。
  論文  参考訳（メタデータ） (2024-02-15T15:02:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。