論文の概要: LoRA on the Go: Instance-level Dynamic LoRA Selection and Merging

• arxiv url: http://arxiv.org/abs/2511.07129v1
• Date: Mon, 10 Nov 2025 14:13:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 21:18:45.296776
• Title: LoRA on the Go: Instance-level Dynamic LoRA Selection and Merging
• Title（参考訳）: LoRA on the Go:インスタンスレベルの動的LoRA選択とマージ
• Authors: Seungeon Lee, Soumi Das, Manish Gupta, Krishna P. Gummadi,
• Abstract要約: Low-Rank Adaptation (LoRA) は、大規模言語モデルを微調整するためのパラメータ効率の高いアプローチとして登場した。 LoGoはトレーニング不要のフレームワークで、追加の要件なしにインスタンスレベルでアダプタを動的に選択し、マージする。 LoGoはトレーニングベースのベースラインを3.6%まで上回り、他のタスクでは競争力を維持している。
• 参考スコア（独自算出の注目度）: 9.68092924064735
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-Rank Adaptation (LoRA) has emerged as a parameter-efficient approach for fine-tuning large language models.However, conventional LoRA adapters are typically trained for a single task, limiting their applicability in real-world settings where inputs may span diverse and unpredictable domains. At inference time, existing approaches combine multiple LoRAs for improving performance on diverse tasks, while usually requiring labeled data or additional task-specific training, which is expensive at scale. In this work, we introduce LoRA on the Go (LoGo), a training-free framework that dynamically selects and merges adapters at the instance level without any additional requirements. LoGo leverages signals extracted from a single forward pass through LoRA adapters, to identify the most relevant adapters and determine their contributions on-the-fly. Across 5 NLP benchmarks, 27 datasets, and 3 model families, LoGo outperforms training-based baselines on some tasks upto a margin of 3.6% while remaining competitive on other tasks and maintaining inference throughput, highlighting its effectiveness and practicality.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA) は、大規模言語モデルを微調整するためのパラメータ効率のよいアプローチとして登場したが、従来のLoRAアダプタは通常、単一のタスクのために訓練され、入力が多様で予測不可能なドメインにまたがる現実世界環境での適用性を制限する。 推論時に既存のアプローチは、さまざまなタスクのパフォーマンスを改善するために複数のLoRAを組み合わせていますが、通常はラベル付きデータや、大規模で高価なタスク固有のトレーニングが必要です。 本研究では,インスタンスレベルで動的にアダプタを選択し,マージする,トレーニング不要のフレームワークであるLoRA on the Go(LoGo)を紹介する。 LoGoは、単一のフォワードパスからLoRAアダプタを介して抽出された信号を利用して、最も関連性の高いアダプタを特定し、そのコントリビューションをオンザフライで決定する。 5つのNLPベンチマーク、27のデータセット、3つのモデルファミリーで、LoGoはトレーニングベースのベースラインを3.6%のマージンまで上回り、他のタスクでは競争力を維持し、推論スループットを維持し、その有効性と実用性を強調している。

関連論文リスト

• tLoRA: Efficient Multi-LoRA Training with Elastic Shared Super-Models [8.42285475305854]
  tLoRAは、複数のLoRAジョブの効率的なバッチトレーニングを可能にするフレームワークである。 実世界のクラスタトレースを用いた評価では、tLoRAはトレーニングを1.2-1.8x改善し、ジョブトレーニング完了時間を2.3--5.4x改善し、GPU利用率を37%改善している。
  論文  参考訳（メタデータ） (2026-02-06T23:26:02Z)
• SEQR: Secure and Efficient QR-based LoRA Routing [53.52716967527183]
  Low-Rank Adaptation (LoRA) は,大規模言語モデルのパラメータ効率向上のための標準手法となっている。 与えられた入力に対して適切なLoRAアダプタを効果的に選択することは依然として困難である。 厳密なルーティング保証を提供しながら効率を最大化するために設計された、教師なしのLoRAルーティングアルゴリズムであるSEQRを導入する。
  論文  参考訳（メタデータ） (2025-09-22T17:59:38Z)
• In-Context Meta LoRA Generation [61.690065588534296]
  Low-rank Adaptation (LoRA) はタスク固有の微調整機能を示す。 In-Context Meta LoRA (ICM-LoRA) は,大規模言語モデルのタスク固有のカスタマイズを効率的に行う新しい手法である。 ICM-LoRAは、現在のパラメータ再構成法よりも正確なLoRAパラメータ再構成を可能にする。
  論文  参考訳（メタデータ） (2025-01-29T13:12:01Z)
• Unlocking Tuning-Free Few-Shot Adaptability in Visual Foundation Models by Recycling Pre-Tuned LoRAs [76.40876036912537]
  大規模言語モデル(LLM)は、微調整を必要とせず、強力な少数ショット適応性を示す。 現在のVisual Foundation Models (VFM) は十分なチューニングデータを持つ明示的な微調整を必要とする。 そこで我々は, メタ学習目的の多様なLoRAからメタLoRAを蒸留するフレームワークであるLoRA Recycleを提案する。
  論文  参考訳（メタデータ） (2024-12-03T07:25:30Z)
• DLP-LoRA: Efficient Task-Specific LoRA Fusion with a Dynamic, Lightweight Plugin for Large Language Models [10.179598253424103]
  大規模言語モデル(LLM)は様々なタスクで堅牢なパフォーマンスを実現していますが、これらのモデルを特定のドメイン向けに微調整することはリソース集約的です。 5Mパラメータしか持たないミニMLPモジュールを提案し、トップpサンプリング戦略を用いて文レベルで複数のLoRAを動的に融合する。 このアプローチは、並列計算を利用することで、単一のLoRA推論の2倍未満まで推論時間を短縮する。
  論文  参考訳（メタデータ） (2024-10-02T12:45:52Z)
• Retrieval-Augmented Mixture of LoRA Experts for Uploadable Machine Learning [57.36978335727009]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整する効率的な方法を提供する。 本稿では,入力プロンプトに基づいて複数のLoRAを適応的に検索・構成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-24T05:24:41Z)
• MeteoRA: Multiple-tasks Embedded LoRA for Large Language Models [4.978361907192563]
  MeteoRAはスケーラブルで効率的なフレームワークで、複数のタスク固有のLoRAアダプタをベースLLMに再利用する。 MeteoRAは複合タスクの処理において優れた性能を実現し、単一の推論パスで10のシーケンシャルな問題を効果的に解決する。
  論文  参考訳（メタデータ） (2024-05-19T20:46:07Z)
• LoRA-Flow: Dynamic LoRA Fusion for Large Language Models in Generative Tasks [72.88244322513039]
  LoRAは、ダウンストリームタスクやドメイン毎に大きな言語モデル(LLM)をカスタマイズするために軽量モジュールを使用している。 動的重みを利用して異なるLoRAの影響を調整するLoRA-Flowを提案する。 6つの生成タスクに対する実験により、我々の手法はタスクレベルの融合重みでベースラインを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2024-02-18T04:41:25Z)
• LoraRetriever: Input-Aware LoRA Retrieval and Composition for Mixed Tasks in the Wild [76.67343971195267]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整するための効率的なソリューションを提供する。 LoraRetrieverは、入力プロンプトに従って複数のLoRAを適応的に検索して構成する検索テーマ構成フレームワークである。 実験結果から、LoraRetrieverは一貫してベースラインを上回っていることが示唆された。
  論文  参考訳（メタデータ） (2024-02-15T15:02:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。