論文の概要: Separation and Collaboration: Two-Level Routing Grouped Mixture-of-Experts for Multi-Domain Continual Learning

• arxiv url: http://arxiv.org/abs/2508.07738v1
• Date: Mon, 11 Aug 2025 08:18:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:29.003828
• Title: Separation and Collaboration: Two-Level Routing Grouped Mixture-of-Experts for Multi-Domain Continual Learning
• Title（参考訳）: 分離と協調:マルチドメイン連続学習のための2レベルルーティンググループ混合実験
• Authors: Jialu Zhou, Dianxi Shi, Shaowu Yang, Xinyu Wei, Mingyue Yang, Leqian Li, Mengzhu Wang, Chunping Qiu,
• Abstract要約: 破滅的忘れを緩和する2レベル混合実験法(TRGE)を提案する。 TRGEはトレーニング済みのCLIPモデルを動的に拡張し、各タスクに特定の専門家グループを割り当てる。 我々は,タスク記述を生成し,正しいタスク識別子を認識するために,強力なマルチモーダル理解機能を持つマルチモーダル大規模言語モデル(MLLM)を利用する。
• 参考スコア（独自算出の注目度）: 7.361665112773847
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-Domain Continual Learning (MDCL) acquires knowledge from sequential tasks with shifting class sets and distribution. Despite the Parameter-Efficient Fine-Tuning (PEFT) methods can adapt for this dual heterogeneity, they still suffer from catastrophic forgetting and forward forgetting. To address these challenges, we propose a Two-Level Routing Grouped Mixture-of-Experts (TRGE) method. Firstly, TRGE dynamically expands the pre-trained CLIP model, assigning specific expert group for each task to mitigate catastrophic forgetting. With the number of experts continually grows in this process, TRGE maintains the static experts count within the group and introduces the intra-group router to alleviate routing overfitting caused by the increasing routing complexity. Meanwhile, we design an inter-group routing policy based on task identifiers and task prototype distance, which dynamically selects relevant expert groups and combines their outputs to enhance inter-task collaboration. Secondly, to get the correct task identifiers, we leverage Multimodal Large Language Models (MLLMs) which own powerful multimodal comprehension capabilities to generate semantic task descriptions and recognize the correct task identifier. Finally, to mitigate forward forgetting, we dynamically fuse outputs for unseen samples from the frozen CLIP model and TRGE adapter based on training progress, leveraging both pre-trained and learned knowledge. Through extensive experiments across various settings, our method outperforms other advanced methods with fewer trainable parameters.
• Abstract（参考訳）: MDCL(Multi-Domain Continual Learning)は、クラスセットと分散をシフトさせたシーケンシャルなタスクから知識を取得する。 パラメータ効率のよいファインチューニング(PEFT)法は、この二重不均一性に適応できるが、それでも破滅的な忘れ込みと前方の忘れ込みに悩まされている。 これらの課題に対処するために, TRGE法(Two-Level Routing Grouped Mixture-of-Experts)を提案する。 まず、TRGEはトレーニング済みのCLIPモデルを動的に拡張し、各タスクに特定の専門家グループを割り当てて破滅的な忘れを和らげる。 TRGEはグループ内の静的な専門家数を維持し、ルーティングの複雑さの増大によるルーティング過適合を軽減するためにグループ内ルータを導入している。 一方,タスク識別子とタスクプロトタイプ距離に基づいてグループ間ルーティングポリシーを設計し,関連する専門家グループを動的に選択し,それらのアウトプットを組み合わせてタスク間コラボレーションを強化する。 次に, マルチモーダル大規模言語モデル(MLLM)を用いて, 意味的タスク記述を生成し, 正しいタスク識別子を認識する。 最後に,凍結したCLIPモデルとTRGEアダプタからの未確認サンプルの出力を,事前学習と学習の両方の知識を活用して動的にフューズする。 様々な設定の広範な実験を通じて、本手法はトレーニング可能なパラメータが少なく、他の高度な手法よりも優れています。

関連論文リスト

• Trade-offs in Ensembling, Merging and Routing Among Parameter-Efficient Experts [56.02203242609604]
  大規模言語モデル(LLM)は、軽量アダプタで微調整され、多様なタスクにわたって強力なパフォーマンスを実現する。 異なる強みを持つ独立に訓練されたモデルを使用することで、3つの主要な戦略を通じてマルチタスク学習の可能性を示している。 私たちは、彼らのトレードオフを実証的に評価し、2つの重要な疑問に対処します。 均一なアンサンブルやマージを超えて行く利点は何ですか?そして、ルーティングの柔軟性は、その複雑さを正当化するのでしょうか?
  論文  参考訳（メタデータ） (2026-03-03T21:44:11Z)
• Token-Level LLM Collaboration via FusionRoute [60.72307345997823]
  FusionRouteはトークンレベルのマルチLLMコラボレーションフレームワークである。 各デコーディングステップで最も適した専門家を選択し、選択した専門家の次のTokenディストリビューションを洗練または修正する補完ロジットをコントリビュートする。 シーケンスレベルのコラボレーションとトークンレベルのコラボレーション、モデルマージ、ダイレクト微調整の両方に優れています。
  論文  参考訳（メタデータ） (2026-01-08T16:53:16Z)
• CKAA: Cross-subspace Knowledge Alignment and Aggregation for Robust Continual Learning [80.18781219542016]
  継続的学習(CL)は、シーケンシャルなタスクストリームから継続的に学習するAIモデルに権限を与える。 近年,パラメータ効率のよい微調整(PEFT)によるCL法が注目されている。 ミスリード型タスクIDに対するロバスト性を高めるために,クロスサブスペース・ナレッジアライメント・アグリゲーション(CKAA)を提案する。
  論文  参考訳（メタデータ） (2025-07-13T03:11:35Z)
• Mixture-of-Experts Meets In-Context Reinforcement Learning [49.19791753312034]
  In-context reinforcement learning (ICRL)は、下流タスクにRLエージェントを適用するための有望なパラダイムとして登場した。 本稿では,Mix-of-Experts (MoE) のアーキテクチャをトランスフォーマーに基づく決定モデルに導入する,革新的なフレームワークであるT2MIRを提案する。 本稿では,T2MIRがテキスト内学習能力を大幅に向上させ,各種ベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-06-05T06:29:14Z)
• Pilot: Building the Federated Multimodal Instruction Tuning Framework [79.56362403673354]
  本フレームワークは、視覚エンコーダとLCMのコネクタに「アダプタのアダプタ」の2つの段階を統合する。 ステージ1では視覚情報からタスク固有の特徴とクライアント固有の特徴を抽出する。 ステージ2では、クロスタスクインタラクションを実行するために、クロスタスクMixture-of-Adapters(CT-MoA)モジュールを構築します。
  論文  参考訳（メタデータ） (2025-01-23T07:49:24Z)
• DMTG: One-Shot Differentiable Multi-Task Grouping [32.72240053032646]
  MTG(Multi-Task Grouping)による多タスク学習(Multi-Task Learning, MTL)の実現を目指す。 本稿では,2N候補から最高のタスク群を同時に同定し,高次タスク親和性をフル活用したモデル重みを1ショットで同時に訓練することを提案する。
  論文  参考訳（メタデータ） (2024-07-06T13:54:00Z)
• Variational Offline Multi-agent Skill Discovery [47.924414207796005]
  本稿では,サブグループレベルの抽象化と時間レベルの抽象化を同時に取得し,マルチエージェントスキルを形成するための2つの新しい自動エンコーダ方式を提案する。 提案手法はオフラインのマルチタスクデータに適用可能であり,検出したサブグループスキルは再学習することなく,関連するタスク間で伝達可能である。 StarCraftタスクに対する実証的な評価は、既存の階層型マルチエージェント強化学習(MARL)法よりもはるかに優れていることを示している。
  論文  参考訳（メタデータ） (2024-05-26T00:24:46Z)
• Multi-task learning via robust regularized clustering with non-convex group penalties [0.0]
  マルチタスク学習(MTL)は、関連するタスク間で共通情報を共有することにより、推定性能を向上させることを目的としている。 この仮定に基づく既存のMTLメソッドは、しばしば外れたタスクを無視する。 MTLRRC(MultiTask Regularized Clustering)と呼ばれる新しいMTL手法を提案する。
  論文  参考訳（メタデータ） (2024-04-04T07:09:43Z)
• MmAP : Multi-modal Alignment Prompt for Cross-domain Multi-task Learning [29.88567810099265]
  マルチタスク学習は複数の相関タスクを同時に訓練するように設計されている。 この課題に対処するために、デコーダフリーの視覚言語モデルCLIPを統合する。 CLIPのためのマルチモーダルアライメント・プロンプト(MmAP)を提案する。
  論文  参考訳（メタデータ） (2023-12-14T03:33:02Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• Semi-supervised Multi-task Learning for Semantics and Depth [88.77716991603252]
  MTL(Multi-Task Learning)は、関連するタスク間で表現を共有することで、モデル一般化を強化することを目的としている。 そこで本研究では,異なるデータセットから利用可能な監視信号を活用するために,半教師付きマルチタスク学習(MTL)手法を提案する。 本稿では,データセット間の整合性の問題を軽減するために,様々なアライメントの定式化を施したドメイン認識識別器構造を提案する。
  論文  参考訳（メタデータ） (2021-10-14T07:43:39Z)
• Multi-task Over-the-Air Federated Learning: A Non-Orthogonal Transmission Approach [52.85647632037537]
  複数の学習タスクがエッジサーバ(ES)の協調の下でデータ収集および学習モデルのためのエッジデバイスを共有するマルチタスク・オーバーテア・フェデレーション・ラーニング(MOAFL)フレームワークを提案する。 収束解析と数値計算の両方の結果から,MOAFLフレームワークは学習性能を著しく低下させることなく,複数のタスクのアップリンク帯域幅の消費を大幅に削減できることが示された。
  論文  参考訳（メタデータ） (2021-06-27T13:09:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。