論文の概要: Not All Ranks Are Equal: Budget-Aware LoRA Merging Across Tasks

• arxiv url: http://arxiv.org/abs/2609.22237v1
• Date: Thu, 03 Sep 2026 21:10:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.798944
• Title: Not All Ranks Are Equal: Budget-Aware LoRA Merging Across Tasks
• Title（参考訳）: すべてのランクが等しくはない - 予算に配慮したLoRA統合
• Abstract要約: ローランクアダプタ(LoRA)のマージは、推論時にタスク固有の重みを交換するオーバーヘッドをなくすことを約束する。 この一様予算の仮定が、統合されたLoRAとタスク毎のLoRAのパフォーマンスギャップの主な原因であることを示す。
• 参考スコア（独自算出の注目度）: 9.421050112988652
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Merging low-rank adapters (LoRAs) promises to eliminate the overhead of swapping task-specific weights at inference time. However, existing merging methods assume every layer needs the same rank budget. Further, some methods assume that rank budget needs to be split equally among the tasks too. We show this uniform-budget assumption is a major source of the performance gap between merged and per-task LoRAs. However, rank selection is an NP hard problem. To this end, we introduce Net Utility, a data free metric that first decomposes every task LoRA by its Singular Value Decomposition (SVD) and scores each of those singular directions by its task utility and its interference with other tasks directions. Next, we globally pool these scores to select singular directions with the highest values with a constraint on the total number of directions selected. The proposed Net Utility metric is applied on top of five different merging methods across three different merging spaces. The merging is done over two sets of tasks, vision and language tasks. Net utility based rank allocation outperforms its counterparts without that allocation. On average, over vision tasks it achieves +2.1% improvement in performance, and +2.2% improvement over the language tasks.
• Abstract（参考訳）: ローランクアダプタ(LoRA)のマージは、推論時にタスク固有の重みを交換するオーバーヘッドをなくすことを約束する。 しかし、既存のマージ方法は、すべてのレイヤが同じランクの予算を必要とすることを前提としている。 さらに、いくつかの手法は、ランクの予算もタスク間で等しく分割する必要があると仮定している。 この一様予算の仮定が、統合されたLoRAとタスク毎のLoRAのパフォーマンスギャップの主な原因であることを示す。 しかし、ランク選択はNP問題である。 この目的のために、まずSingular Value Decomposition (SVD) によって全てのタスクLoRAを分解し、そのタスクユーティリティと他のタスク方向との干渉によって各特定の方向をスコアするデータフリーメトリックであるNet Utilityを導入する。 次に、これらのスコアを、選択した方向の総数に制約を課した、最高値の特異な方向を選択するために、グローバルにプールする。 提案したNet Utilityメトリックは、3つの異なるマージ空間にまたがる5つの異なるマージ手法の上に適用される。 マージはビジョンと言語という2つのタスクで行われます。 ネットユーティリティベースのランクアロケーションは、そのアロケーションなしで、そのアロケーションよりも優れています。 視覚上のタスクでは、パフォーマンスが+2.1%向上し、言語タスクよりも+2.2%向上している。

関連論文リスト

• Low Rank for Rank: Uncertainty-Aware Task-Specific LLM Ranking under Sparse Pairwise Comparisons [16.73008463123115]
  低ランク共有は、独立したタスクワイドBradley-Terry推定よりもサンプリング効率を向上させる。 合成データとアリーナの実験により、低ランクの共有は独立したタスクワイドBradley-Terry推定よりもサンプリング効率を向上させることが示された。
  論文  参考訳（メタデータ） (2026-05-28T05:44:43Z)
• ThanoRA: Task Heterogeneity-Aware Multi-Task Low-Rank Adaptation [96.86211867758652]
  Low-Rank Adaptation (LoRA) は、基礎モデルの下流の微調整に広く採用されている。 タスク不均一性を考慮したマルチタスク低ランク適応フレームワークであるTanoRAを提案する。
  論文  参考訳（メタデータ） (2025-05-24T11:01:45Z)
• DMTG: One-Shot Differentiable Multi-Task Grouping [32.72240053032646]
  MTG(Multi-Task Grouping)による多タスク学習(Multi-Task Learning, MTL)の実現を目指す。 本稿では,2N候補から最高のタスク群を同時に同定し,高次タスク親和性をフル活用したモデル重みを1ショットで同時に訓練することを提案する。
  論文  参考訳（メタデータ） (2024-07-06T13:54:00Z)
• Localizing Task Information for Improved Model Merging and Compression [61.16012721460561]
  我々は,各タスクの重み付けが重なり合わないことが多いため,各タスクがマージされた後も,各タスクの解決に必要な情報が保存されていることを示す。 本稿では,そのような重みを排除し,既存のモデルマージ手法の一般的な性能を改善するアルゴリズムであるConsensus Mergingを提案する。
  論文  参考訳（メタデータ） (2024-05-13T14:54:37Z)
• Label Budget Allocation in Multi-Task Learning [61.12008399759143]
  マルチタスク学習では、関連するタスクが互いに情報を提供し、全体的なパフォーマンスを改善する。 最適なマルチタスクパフォーマンスを実現するために,ラベル予算をさまざまなタスクに割り当てるには,どうすればよいのか? 我々は,マルチタスク学習において,ラベル予算配分問題を初めて提案し,正式に定義する。
  論文  参考訳（メタデータ） (2023-08-24T17:38:14Z)
• Robust Subtask Learning for Compositional Generalization [20.54144051436337]
  我々は、どんなタスクでも実行できるように、サブタスクポリシーをトレーニングする問題に焦点を合わせます。 我々は、平均的なケースのパフォーマンスとは対照的に、すべてのタスクで最悪のケースのパフォーマンスを最大化することを目指している。
  論文  参考訳（メタデータ） (2023-02-06T18:19:25Z)
• Multi-task Bias-Variance Trade-off Through Functional Constraints [102.64082402388192]
  マルチタスク学習は、多様なタスクによく機能する関数の集合を取得することを目的としている。 本稿では,2つの極端な学習シナリオ,すなわちすべてのタスクに対する単一関数と,他のタスクを無視するタスク固有関数から直感を抽出する。 本稿では,集中関数に対するドメイン固有解を強制する制約付き学習定式化を導入する。
  論文  参考訳（メタデータ） (2022-10-27T16:06:47Z)
• LDSA: Learning Dynamic Subtask Assignment in Cooperative Multi-Agent Reinforcement Learning [122.47938710284784]
  協調型MARLにおける動的サブタスク代入(LDSA)を学習するための新しいフレームワークを提案する。 エージェントを異なるサブタスクに合理的に割り当てるために,能力に基づくサブタスク選択戦略を提案する。 LDSAは、より優れたコラボレーションのために、合理的で効果的なサブタスクの割り当てを学習していることを示す。
  論文  参考訳（メタデータ） (2022-05-05T10:46:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。