論文の概要: Adaptive Shared Experts with LoRA-Based Mixture of Experts for Multi-Task Learning

• arxiv url: http://arxiv.org/abs/2510.00570v1
• Date: Wed, 01 Oct 2025 06:49:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.425832
• Title: Adaptive Shared Experts with LoRA-Based Mixture of Experts for Multi-Task Learning
• Title（参考訳）: マルチタスク学習のためのLoRAに基づくエキスパート混在型適応型共有エキスパート
• Authors: Minghao Yang, Ren Togo, Guang Li, Takahiro Ogawa, Miki Haseyama,
• Abstract要約: マルチタスク学習(MTL)のための強力なフレームワークとして、Mixture-of-Experts(MoE)が登場した。 既存のMoE-MTL法は、しばしばシングルタスクで事前訓練されたバックボーンに依存し、冗長な適応と非効率的な知識共有に悩まされる。 低ランク適応 (LoRA) に基づく MoE の適応型共有専門家 (ASE) を提案する。
• 参考スコア（独自算出の注目度）: 49.90176890917986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture-of-Experts (MoE) has emerged as a powerful framework for multi-task learning (MTL). However, existing MoE-MTL methods often rely on single-task pretrained backbones and suffer from redundant adaptation and inefficient knowledge sharing during the transition from single-task to multi-task learning (STL to MTL). To address these limitations, we propose adaptive shared experts (ASE) within a low-rank adaptation (LoRA) based MoE, where shared experts are assigned router-computed gating weights jointly normalized with sparse experts. This design facilitates STL to MTL transition, enhances expert specialization, and cooperation. Furthermore, we incorporate fine-grained experts by increasing the number of LoRA experts while proportionally reducing their rank, enabling more effective knowledge sharing under a comparable parameter budget. Extensive experiments on the PASCAL-Context benchmark, under unified training settings, demonstrate that ASE consistently improves performance across diverse configurations and validates the effectiveness of fine-grained designs for MTL.
• Abstract（参考訳）: マルチタスク学習(MTL)のための強力なフレームワークとして、Mixture-of-Experts (MoE)が登場した。 しかし、既存のMoE-MTL法は、シングルタスクからマルチタスク学習(STLからMTL)への移行中に、シングルタスク事前訓練されたバックボーンに依存し、冗長な適応と非効率な知識共有に悩まされることが多い。 これらの制約に対処するため、我々はローランク適応(LoRA)ベースのMoEにおいて適応型共有専門家(ASE)を提案し、共有専門家はスパース専門家と共同で正規化されたルータ計算ゲーティングウェイトを割り当てる。 この設計は、STLからMTLへの移行を促進し、専門家の専門性を高め、協力する。 さらに,LoRAの専門家数を増やしつつ,そのランクを比例的に下げることで,パラメータの予算に比較して,より効果的な知識共有を可能にした。 PASCAL-Contextベンチマークの大規模な実験は、統一的なトレーニング設定の下で、ASEは様々な構成におけるパフォーマンスを一貫して改善し、MTLのきめ細かい設計の有効性を検証している。

関連論文リスト

• Multi-Task Dense Prediction Fine-Tuning with Mixture of Fine-Grained Experts [22.936728143586443]
  密集予測のためのマルチタスク学習(MTL)は有望な結果を示しているが、タスク固有の特殊化と共有表現のバランスをとる上ではまだ課題に直面している。 3つの重要なイノベーションとファインチューニングを組み合わせることで、MoEベースのMTLモデルを探索する、ファイングラインド・ミックス・オブ・エキスパートアーキテクチャを導入する。
  論文  参考訳（メタデータ） (2025-07-25T08:59:30Z)
• Multimodal Mixture of Low-Rank Experts for Sentiment Analysis and Emotion Recognition [16.14787920254091]
  マルチモーダル感情分析(MSA)とマルチモーダル感情認識(MER)のための新しいMMOLRE法を提案する。 MMoLREは共有およびタスク固有の専門家を用いて、共通のタスク特性とユニークなタスク特性を明確にモデル化し、パラメータの衝突を避ける。 CMU-MOSI と CMU-MOSEI のベンチマーク実験により、MMOLRE が MSA タスクの最先端性能と MER タスクの競合結果を達成することを示した。
  論文  参考訳（メタデータ） (2025-05-20T09:46:56Z)
• Collaborative Multi-LoRA Experts with Achievement-based Multi-Tasks Loss for Unified Multimodal Information Extraction [28.800518091590117]
  マルチモーダル情報抽出(MIE)は,マルチメディアソースからの構造化情報抽出に注目されている。 従来の方法は、タスク間で知識を共有する機会を欠いているMIEタスクに別々に取り組みます。 達成度に基づくMIEタスクのマルチタスク損失を考慮した,協調的なマルチLORA専門家を提案する。
  論文  参考訳（メタデータ） (2025-05-08T03:16:32Z)
• MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning [74.43869839954168]
  MTL能力を大幅に向上させながら、低ランク適応の利点を保ちつつ、MTL-LoRAを提案する。 MTL-LoRAは、タスク固有の情報を識別し、共有知識をキャプチャするタスク適応パラメータを追加することで、LoRAを強化する。 このアプローチにより、事前訓練されたモデルは、限られた数のトレーニング可能なパラメータで、異なるターゲットドメインに共同で適応することができる。
  論文  参考訳（メタデータ） (2024-10-12T08:32:26Z)
• TeamLoRA: Boosting Low-Rank Adaptation with Expert Collaboration and Competition [61.91764883512776]
  我々は,専門家のためのコラボレーション・コンペティション・モジュールからなる,革新的なPEFT手法であるTeamLoRAを紹介する。 そうすることで、TeamLoRAは専門家を"チーム"として内部のコラボレーションや競争に結び付け、マルチタスク学習のためのより高速で正確なPEFTパラダイムを可能にします。
  論文  参考訳（メタデータ） (2024-08-19T09:58:53Z)
• Omni-SMoLA: Boosting Generalist Multimodal Models with Soft Mixture of Low-rank Experts [74.40198929049959]
  大規模マルチモーダルモデル (LMM) は多くのタスクにまたがって優れた性能を示す。 ジェネラリストのLMMは、タスクの集合をチューニングする際に、しばしばパフォーマンスの劣化に悩まされる。 我々は,Omni-SMoLAを提案する。Omni-SMoLAはSoft MoEアプローチを用いて,多くのマルチモーダルな低ランクの専門家を混在させるアーキテクチャである。
  論文  参考訳（メタデータ） (2023-12-01T23:04:27Z)
• Multi-Task Learning as a Bargaining Game [63.49888996291245]
  マルチタスク学習(MTL)では、複数のタスクを同時に予測するためにジョイントモデルを訓練する。 これらの異なるタスクの勾配が矛盾する可能性があるため、MTLのジョイントモデルを訓練すると、対応するシングルタスクモデルよりも低いパフォーマンスが得られる。 本稿では,パラメータ更新のジョイント方向で合意に達するためのタスクを交渉する交渉ゲームとして,勾配の組み合わせステップを考察する。
  論文  参考訳（メタデータ） (2022-02-02T13:21:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。