論文の概要: Disentangling Task Conflicts in Multi-Task LoRA via Orthogonal Gradient Projection

• arxiv url: http://arxiv.org/abs/2601.09684v1
• Date: Wed, 14 Jan 2026 18:36:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-15 18:59:20.499347
• Title: Disentangling Task Conflicts in Multi-Task LoRA via Orthogonal Gradient Projection
• Title（参考訳）: 直交勾配投影によるマルチタスクLORAにおけるタスク競合の解消
• Authors: Ziyu Yang, Guibin Chen, Yuxin Yang, Aoxiong Zeng, Xiangquan Yang,
• Abstract要約: Low-Rank Adaptation (LoRA)と組み合わせたマルチタスク学習(MTL)が,大規模言語モデル(LLM)のパラメータ効率向上のための有望な方向として登場した。 複数のタスクにまたがる単一のアダプタを共有することで、ストレージオーバーヘッドを大幅に削減できる。 このアプローチは、個別タスクからの差分更新がシングルタスクの微調整と比較して個々のタスクのパフォーマンスを低下させるという、負の転送に悩まされる。 そこで我々は,LoRAの2部構造に適した勾配投影法であるOrtho-LoRAを提案する。
• 参考スコア（独自算出の注目度）: 4.664605519215656
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-Task Learning (MTL) combined with Low-Rank Adaptation (LoRA) has emerged as a promising direction for parameter-efficient deployment of Large Language Models (LLMs). By sharing a single adapter across multiple tasks, one can significantly reduce storage overhead. However, this approach suffers from negative transfer, where conflicting gradient updates from distinct tasks degrade the performance of individual tasks compared to single-task fine-tuning. This problem is exacerbated in LoRA due to the low-rank constraint, which limits the optimization landscape's capacity to accommodate diverse task requirements. In this paper, we propose Ortho-LoRA, a gradient projection method specifically tailored for the bipartite structure of LoRA. Ortho-LoRA dynamically projects conflicting task gradients onto the orthogonal complement of each other within the intrinsic LoRA subspace. Extensive experiments on the GLUE benchmark demonstrate that Ortho-LoRA effectively mitigates task interference, outperforming standard joint training and recovering 95\% of the performance gap between multi-task and single-task baselines with negligible computational overhead.
• Abstract（参考訳）: MTL(Multi-Task Learning)とLoRA(Lo-Rank Adaptation)が組み合わさって,Large Language Models (LLMs) のパラメータ効率向上に期待できる方向として登場した。 複数のタスクにまたがる単一のアダプタを共有することで、ストレージオーバーヘッドを大幅に削減できる。 しかし、このアプローチは、個別タスクからの差分更新がシングルタスクの微調整と比較して個々のタスクのパフォーマンスを低下させる、負の転送に悩まされる。 この問題はLoRAの低ランク制約によって悪化し、多様なタスク要求に対応する最適化ランドスケープの容量が制限される。 本稿では,LoRAの2部構造に適した勾配投影法であるOrtho-LoRAを提案する。 Ortho-LoRA は、内在的な LoRA 部分空間内での相互直交補空間へのタスク勾配の矛盾を動的に計画する。 GLUEベンチマークの大規模な実験により、Ortho-LoRAはタスクの干渉を効果的に軽減し、標準のジョイントトレーニングより優れ、計算オーバーヘッドが無視できるマルチタスクとシングルタスクのベースラインのパフォーマンスギャップの95%を回復することを示した。

関連論文リスト

• LoRA in LoRA: Towards Parameter-Efficient Architecture Expansion for Continual Visual Instruction Tuning [12.165720711684758]
  MLLMにおけるCVITに適した,高効率なアーキテクチャ拡張手法LiLoRAを紹介する。 LiLoRAはタスク間でLoRA行列Aを共有して冗長性を低減し、タスク固有のパラメータを最小化するために行列Bに追加の低ランク分解を適用し、コサイン規則化された安定性損失を組み込んで時間の経過とともに一貫性を維持する。 実験の結果,LiLoRAは逐次的タスク学習において一貫した性能を実現し,既存の手法に比べてパラメータ効率を著しく向上することがわかった。
  論文  参考訳（メタデータ） (2025-08-08T10:32:38Z)
• ThanoRA: Task Heterogeneity-Aware Multi-Task Low-Rank Adaptation [96.86211867758652]
  Low-Rank Adaptation (LoRA) は、基礎モデルの下流の微調整に広く採用されている。 タスク不均一性を考慮したマルチタスク低ランク適応フレームワークであるTanoRAを提案する。
  論文  参考訳（メタデータ） (2025-05-24T11:01:45Z)
• MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning [74.43869839954168]
  MTL能力を大幅に向上させながら、低ランク適応の利点を保ちつつ、MTL-LoRAを提案する。 MTL-LoRAは、タスク固有の情報を識別し、共有知識をキャプチャするタスク適応パラメータを追加することで、LoRAを強化する。 このアプローチにより、事前訓練されたモデルは、限られた数のトレーニング可能なパラメータで、異なるターゲットドメインに共同で適応することができる。
  論文  参考訳（メタデータ） (2024-10-12T08:32:26Z)
• Multimodal Instruction Tuning with Conditional Mixture of LoRA [51.58020580970644]
  本稿では,Low-Rank Adaption (LoRA) とマルチモーダル命令チューニングを統合した新しい手法を提案する。 各入力インスタンスのユニークな要求に合わせた低ランク適応行列を動的に構築することで、LoRAを革新する。 様々なマルチモーダル評価データセットの実験結果から、MixLoRAは従来のLoRAを同等以上のランクで上回るだけでなく、性能も向上していることが示された。
  論文  参考訳（メタデータ） (2024-02-24T20:15:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。