論文の概要: FLAME: Adaptive Mixture-of-Experts for Continual Multimodal Multi-Task Learning

• arxiv url: http://arxiv.org/abs/2605.09355v1
• Date: Sun, 10 May 2026 06:09:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.208498
• Title: FLAME: Adaptive Mixture-of-Experts for Continual Multimodal Multi-Task Learning
• Title（参考訳）: FLAME: 連続マルチモーダルマルチタスク学習のための適応的ミックス・オブ・エクササイズ
• Authors: Xing Han, Shravan Chaudhari, Tanvi Ranade, Rama Chellappa, Suchi Saria,
• Abstract要約: 複数のドメインにまたがる実世界のモデル展開には、2つの補完的な体制の下で運用するマルチモーダルモデルが必要である。 フレキシブルなモダリティの組み合わせにまたがるマルチタスク事前学習と連続学習のためのスケーラブルなMoEフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 31.686140342132745
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-world model deployment across multiple domains requires multimodal models to operate under two complementary regimes: (1) multi-task pretraining, tasks are co-available at design time where related tasks could borrow representational strength from one another, (2) continual adaptation, in which new tasks emerge after deployment with previously unseen modality combinations. However, neither regime alone suffices: the pretraining task set is never exhaustive, while bypassing joint training forfeits the transfer gains and efficiency among co-trainable tasks. Sparse Mixture-of-Experts (MoE) is a natural fit for this dual requirement: sparse activation enables modular capacity expansion as new tasks arrive, while routing decouples modality-level computation from task-level composition. In this work, we propose a scalable MoE framework for multitask pretraining and continual learning across flexible modality combinations. The framework is designed to support training on multimodal tasks with diverse modality configurations by leveraging modality-specific routers that process tokens from each modality across tasks. Furthermore, it enables continual learning over sequential multimodal tasks within a fixed-capacity MoE by compressing accumulated expert knowledge into low-rank memory subspaces, while expanding only the lightweight routers. We validate the effectiveness of our method on multiple healthcare multimodal benchmarks. It demonstrates competitive multitask pretraining performance while alleviating catastrophic forgetting and improving parameter efficiency.
• Abstract（参考訳）: 複数のドメインにまたがる実世界のモデル展開には,(1)マルチタスク事前訓練,2) 関連タスクが互いに表現力を借りる設計時にタスクが共用可能であること,(2) 継続適応,2) 以前に見つからなかったモダリティの組み合わせで展開後に新しいタスクが出現すること,の2つの補完的な体制の下で動作するために,マルチモーダルモデルが必要である。 しかし、どちらの体制も十分ではない。事前訓練タスクセットは、決して徹底的ではなく、共同トレーニングをバイパスすることで、共同訓練可能なタスク間の転送の利得と効率が低下する。 Sparse Mixture-of-Experts (MoE)は、この2つの要件に自然に適合する: スパースアクティベーションは、新しいタスクが到着するとモジュール容量の拡張を可能にし、ルーティングはタスクレベルのコンポジションからモダリティレベルの計算を分離する。 本研究では,マルチタスク事前学習と連続学習のためのスケーラブルなMoEフレームワークを提案する。 このフレームワークは、タスク間の各モダリティからトークンを処理するモダリティ固有のルータを活用することで、様々なモダリティ構成によるマルチモーダルタスクのトレーニングをサポートするように設計されている。 さらに、蓄積した専門知識を低ランクメモリサブスペースに圧縮し、軽量ルータのみを拡張することにより、固定容量 MoE 内のシーケンシャルなマルチモーダルタスクに対する連続的な学習を可能にする。 複数の医療マルチモーダルベンチマークにおいて,本手法の有効性を検証した。 これは、破滅的な忘れ込みを緩和し、パラメータ効率を向上しながら、競争力のあるマルチタスク事前訓練性能を示す。

関連論文リスト

• ThanoRA: Task Heterogeneity-Aware Multi-Task Low-Rank Adaptation [96.86211867758652]
  Low-Rank Adaptation (LoRA) は、基礎モデルの下流の微調整に広く採用されている。 タスク不均一性を考慮したマルチタスク低ランク適応フレームワークであるTanoRAを提案する。
  論文  参考訳（メタデータ） (2025-05-24T11:01:45Z)
• MmAP : Multi-modal Alignment Prompt for Cross-domain Multi-task Learning [29.88567810099265]
  マルチタスク学習は複数の相関タスクを同時に訓練するように設計されている。 この課題に対処するために、デコーダフリーの視覚言語モデルCLIPを統合する。 CLIPのためのマルチモーダルアライメント・プロンプト(MmAP)を提案する。
  論文  参考訳（メタデータ） (2023-12-14T03:33:02Z)
• Effective Adaptation in Multi-Task Co-Training for Unified Autonomous Driving [103.745551954983]
  本稿では,3つの下流タスクにおけるMoCoやSimCLRなど,多種多様な自己監督手法の転送性能について検討する。 彼らのパフォーマンスは、サブ最適か、あるいはシングルタスクベースラインよりもはるかに遅れていることに気付きました。 汎用マルチタスクトレーニングのための,単純かつ効果的な事前訓練-適応-ファインチューンパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-09-19T12:15:31Z)
• Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
  本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。 タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。 これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
  論文  参考訳（メタデータ） (2022-04-16T00:56:12Z)
• Controllable Dynamic Multi-Task Architectures [92.74372912009127]
  本稿では,そのアーキテクチャと重みを動的に調整し,所望のタスク選択とリソース制約に適合させる制御可能なマルチタスクネットワークを提案する。 本稿では,タスク親和性と分岐正規化損失を利用した2つのハイパーネットの非交互トレーニングを提案し,入力の嗜好を取り入れ,適応重み付き木構造モデルを予測する。
  論文  参考訳（メタデータ） (2022-03-28T17:56:40Z)
• Multi-Task Learning with Sequence-Conditioned Transporter Networks [67.57293592529517]
  シーケンスコンディショニングと重み付きサンプリングのレンズによるマルチタスク学習の実現を目指している。 合成タスクを対象とした新しいベンチマークであるMultiRavensを提案する。 次に,視覚に基づくエンドツーエンドシステムアーキテクチャであるSequence-Conditioned Transporter Networksを提案する。
  論文  参考訳（メタデータ） (2021-09-15T21:19:11Z)
• Reparameterizing Convolutions for Incremental Multi-Task Learning without Task Interference [75.95287293847697]
  マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。 まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。 第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
  論文  参考訳（メタデータ） (2020-07-24T14:44:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。