論文の概要: LoRA on the Go: Instance-level Dynamic LoRA Selection and Merging

• arxiv url: http://arxiv.org/abs/2511.07129v1
• Date: Mon, 10 Nov 2025 14:13:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 21:18:45.296776
• Title: LoRA on the Go: Instance-level Dynamic LoRA Selection and Merging
• Title（参考訳）: LoRA on the Go:インスタンスレベルの動的LoRA選択とマージ
• Authors: Seungeon Lee, Soumi Das, Manish Gupta, Krishna P. Gummadi,
• Abstract要約: Low-Rank Adaptation (LoRA) は、大規模言語モデルを微調整するためのパラメータ効率の高いアプローチとして登場した。 LoGoはトレーニング不要のフレームワークで、追加の要件なしにインスタンスレベルでアダプタを動的に選択し、マージする。 LoGoはトレーニングベースのベースラインを3.6%まで上回り、他のタスクでは競争力を維持している。
• 参考スコア（独自算出の注目度）: 9.68092924064735
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-Rank Adaptation (LoRA) has emerged as a parameter-efficient approach for fine-tuning large language models.However, conventional LoRA adapters are typically trained for a single task, limiting their applicability in real-world settings where inputs may span diverse and unpredictable domains. At inference time, existing approaches combine multiple LoRAs for improving performance on diverse tasks, while usually requiring labeled data or additional task-specific training, which is expensive at scale. In this work, we introduce LoRA on the Go (LoGo), a training-free framework that dynamically selects and merges adapters at the instance level without any additional requirements. LoGo leverages signals extracted from a single forward pass through LoRA adapters, to identify the most relevant adapters and determine their contributions on-the-fly. Across 5 NLP benchmarks, 27 datasets, and 3 model families, LoGo outperforms training-based baselines on some tasks upto a margin of 3.6% while remaining competitive on other tasks and maintaining inference throughput, highlighting its effectiveness and practicality.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA) は、大規模言語モデルを微調整するためのパラメータ効率のよいアプローチとして登場したが、従来のLoRAアダプタは通常、単一のタスクのために訓練され、入力が多様で予測不可能なドメインにまたがる現実世界環境での適用性を制限する。 推論時に既存のアプローチは、さまざまなタスクのパフォーマンスを改善するために複数のLoRAを組み合わせていますが、通常はラベル付きデータや、大規模で高価なタスク固有のトレーニングが必要です。 本研究では,インスタンスレベルで動的にアダプタを選択し,マージする,トレーニング不要のフレームワークであるLoRA on the Go(LoGo)を紹介する。 LoGoは、単一のフォワードパスからLoRAアダプタを介して抽出された信号を利用して、最も関連性の高いアダプタを特定し、そのコントリビューションをオンザフライで決定する。 5つのNLPベンチマーク、27のデータセット、3つのモデルファミリーで、LoGoはトレーニングベースのベースラインを3.6%のマージンまで上回り、他のタスクでは競争力を維持し、推論スループットを維持し、その有効性と実用性を強調している。

関連論文リスト

• In-Context Meta LoRA Generation [61.690065588534296]
  Low-rank Adaptation (LoRA) はタスク固有の微調整機能を示す。 In-Context Meta LoRA (ICM-LoRA) は,大規模言語モデルのタスク固有のカスタマイズを効率的に行う新しい手法である。 ICM-LoRAは、現在のパラメータ再構成法よりも正確なLoRAパラメータ再構成を可能にする。
  論文  参考訳（メタデータ） (2025-01-29T13:12:01Z)
• Retrieval-Augmented Mixture of LoRA Experts for Uploadable Machine Learning [57.36978335727009]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整する効率的な方法を提供する。 本稿では,入力プロンプトに基づいて複数のLoRAを適応的に検索・構成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-24T05:24:41Z)
• MeteoRA: Multiple-tasks Embedded LoRA for Large Language Models [4.978361907192563]
  MeteoRAはスケーラブルで効率的なフレームワークで、複数のタスク固有のLoRAアダプタをベースLLMに再利用する。 MeteoRAは複合タスクの処理において優れた性能を実現し、単一の推論パスで10のシーケンシャルな問題を効果的に解決する。
  論文  参考訳（メタデータ） (2024-05-19T20:46:07Z)
• LoraRetriever: Input-Aware LoRA Retrieval and Composition for Mixed Tasks in the Wild [76.67343971195267]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整するための効率的なソリューションを提供する。 LoraRetrieverは、入力プロンプトに従って複数のLoRAを適応的に検索して構成する検索テーマ構成フレームワークである。 実験結果から、LoraRetrieverは一貫してベースラインを上回っていることが示唆された。
  論文  参考訳（メタデータ） (2024-02-15T15:02:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。