論文の概要: CRLoMTL: Conflict-Resolution through Low-rank matrices for Multi-Task Learning

• arxiv url: http://arxiv.org/abs/2610.36337v1
• Date: Mon, 26 Oct 2026 22:05:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-29 04:15:49.204921
• Title: CRLoMTL: Conflict-Resolution through Low-rank matrices for Multi-Task Learning
• Title（参考訳）: CRLoMTL:マルチタスク学習のための低ランク行列による競合解消
• Abstract要約: マルチタスク学習のための低ランク行列による競合解消は、低ランクパラメータ更新空間におけるタスク干渉を緩和する。 CRLoMTLはタスク固有のLoRA更新をタスク固有のパスを通じて学習し、グローバルな共有サブスペース融合を通じてこれらの更新を統合する。
• 参考スコア（独自算出の注目度）: 4.9814821933342515
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-task learning (MTL) improves model efficiency by sharing representations across related vision tasks, but it often suffers from negative transfer when task updates interfere with one another. Existing conflict-mitigation methods typically operate in gradient space, requiring explicit task-gradient manipulation and additional optimization steps. We propose Conflict-Resolution through Low-Rank Matrices for Multi-Task Learning (CRLoMTL), a parameter-efficient framework that mitigates task interference in the low-rank parameter-update space. CRLoMTL learns task-specific LoRA updates through task-specific passes, where each task updates its own low-rank matrices, and integrates these updates through global shared-subspace fusion. Specifically, we introduce a shared-subspace resolver based on singular value decomposition (SVD), referred to as the SVD resolver, which extracts a common low-dimensional orthonormal basis across task adapters and projects task updates into this shared space before merging them into a single deployment-time update. The resulting update can be folded into the backbone, preserving the inference structure of the original model without additional runtime branches. Experiments with Swin Transformer backbones on PASCAL-Context, NYUD-v2, and CelebA show that CRLoMTL achieves a favorable accuracy-parameter trade-off, improving over single-task baselines by up to 2.77% on PASCAL-Context, 5.03% on NYUD-v2, and 3.50% on CelebA, while training only a small fraction of the parameters used by single-task models.
• Abstract（参考訳）: マルチタスク学習(MTL)は、関連する視覚タスク間で表現を共有することでモデル効率を向上させるが、タスク更新が互いに干渉した場合、負の伝達に悩まされることが多い。 既存の競合緩和手法は一般に勾配空間で動作し、明示的なタスク・グラディエント操作と追加の最適化ステップを必要とする。 本稿では,低ランクなパラメータ更新空間におけるタスク干渉を緩和するパラメータ効率のフレームワークCRLoMTL(Lolow-Rank Matrices for Multi-Task Learning)を提案する。 CRLoMTLはタスク固有のLoRA更新をタスク固有のパスを通じて学習し、各タスクが自身の低ランク行列を更新し、グローバルな共有サブスペース融合を通じてこれらの更新を統合する。 具体的には、SVDレゾルバと呼ばれる特異値分解(SVD)に基づく共有部分空間リゾルバを導入し、タスクアダプタ間で共通する低次元の正規直交基底を抽出し、その共有空間にタスク更新を投影し、それらを単一のデプロイ時更新にマージする。 結果として得られた更新はバックボーンに折り畳み、ランタイムブランチを追加せずにオリジナルのモデルの推論構造を保存する。 PASCAL-Context、NYUD-v2、CelebAのSwin Transformerバックボーンを用いた実験では、CRLoMTLは、PASCAL-Contextで最大2.77%、NYUD-v2で5.03%、CelebAで3.50%、シングルタスクモデルで使用されるパラメータのごく一部をトレーニングしながら、良好な精度とパラメータのトレードオフを実現している。

関連論文リスト

• One Adapter, Many Tasks: Task-Conditioned Feature Transformations for Continual Learning [45.405420567098155]
  textbfFACET: task-conditioned textbfFetextbfAture transformation with textbfConditiontextbfEd feature consistextbfTency。 本手法は,トレーニング可能なパラメータとGFLOPを著しく少なくし,優れた性能を実現する。
  論文  参考訳（メタデータ） (2026-08-31T17:03:45Z)
• Model Merging in the Essential Subspace [78.5390284258307]
  モデルマージは、複数のタスク固有の細調整されたモデルを、追加のトレーニングなしで単一のマルチタスクモデルに統合することを目的としている。 広範囲の研究にもかかわらず、タスク干渉は依然として大きな障害であり、しばしば統合されたモデルの性能を損なう。 効率的なモデルマージのための堅牢なフレームワークであるESM(Essential Subspace Merging)を提案する。
  論文  参考訳（メタデータ） (2026-02-23T00:33:38Z)
• LoRA in LoRA: Towards Parameter-Efficient Architecture Expansion for Continual Visual Instruction Tuning [12.165720711684758]
  MLLMにおけるCVITに適した,高効率なアーキテクチャ拡張手法LiLoRAを紹介する。 LiLoRAはタスク間でLoRA行列Aを共有して冗長性を低減し、タスク固有のパラメータを最小化するために行列Bに追加の低ランク分解を適用し、コサイン規則化された安定性損失を組み込んで時間の経過とともに一貫性を維持する。 実験の結果,LiLoRAは逐次的タスク学習において一貫した性能を実現し,既存の手法に比べてパラメータ効率を著しく向上することがわかった。
  論文  参考訳（メタデータ） (2025-08-08T10:32:38Z)
• Pilot: Building the Federated Multimodal Instruction Tuning Framework [79.56362403673354]
  本フレームワークは、視覚エンコーダとLCMのコネクタに「アダプタのアダプタ」の2つの段階を統合する。 ステージ1では視覚情報からタスク固有の特徴とクライアント固有の特徴を抽出する。 ステージ2では、クロスタスクインタラクションを実行するために、クロスタスクMixture-of-Adapters(CT-MoA)モジュールを構築します。
  論文  参考訳（メタデータ） (2025-01-23T07:49:24Z)
• LiNeS: Post-training Layer Scaling Prevents Forgetting and Enhances Model Merging [80.17238673443127]
  LiNeSは、微調整タスク性能を向上しつつ、事前訓練された一般化を維持するために設計されたポストトレーニング編集技術である。 LiNeSは、視覚と自然言語処理のさまざまなベンチマークにおいて、シングルタスクとマルチタスクの両方で大幅に改善されている。
  論文  参考訳（メタデータ） (2024-10-22T16:26:05Z)
• InterroGate: Learning to Share, Specialize, and Prune Representations for Multi-task Learning [17.66308231838553]
  推論計算効率を最適化しつつ,タスク干渉を緩和する新しいマルチタスク学習(MTL)アーキテクチャを提案する。 学習可能なゲーティング機構を用いて、すべてのタスクのパフォーマンスを保ちながら、共有表現とタスク固有の表現を自動的にバランスさせる。
  論文  参考訳（メタデータ） (2024-02-26T18:59:52Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。