論文の概要: TAG-MoE: Task-Aware Gating for Unified Generative Mixture-of-Experts

• arxiv url: http://arxiv.org/abs/2601.08881v1
• Date: Mon, 12 Jan 2026 14:52:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-15 18:59:20.121729
• Title: TAG-MoE: Task-Aware Gating for Unified Generative Mixture-of-Experts
• Title（参考訳）: TAG-MoE:Unified Generative Mixture-of-Expertsのためのタスク認識ゲーティング
• Authors: Yu Xu, Hongbin Yan, Juan Cao, Yiji Cheng, Tiankai Hang, Runze He, Zijin Yin, Shiyi Zhang, Yuxin Zhang, Jintao Li, Chunyu Wang, Qinglin Lu, Tong-Yee Lee, Fan Tang,
• Abstract要約: Mixture-of-Experts (MoE)は有望なソリューションだが、そのゲーティングネットワークはタスクに依存しないままであり、ローカル機能に基づいて動作し、グローバルなタスク意図に気付かない。 そこで本研究では,MoEルーティングに意味的意図を注入する新しいフレームワークを提案する。 次に、内部ルーティング決定をタスクの高レベルなセマンティクスと整合させる予測アライメント正規化を設計する。 我々のモデルは,タスク干渉を効果的に軽減し,忠実度と品質の高密度なベースラインを達成し,専門家が自然に明確かつ意味論的に相関した特殊化を発達させることを示す。
• 参考スコア（独自算出の注目度）: 46.27627605203747
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unified image generation and editing models suffer from severe task interference in dense diffusion transformers architectures, where a shared parameter space must compromise between conflicting objectives (e.g., local editing v.s. subject-driven generation). While the sparse Mixture-of-Experts (MoE) paradigm is a promising solution, its gating networks remain task-agnostic, operating based on local features, unaware of global task intent. This task-agnostic nature prevents meaningful specialization and fails to resolve the underlying task interference. In this paper, we propose a novel framework to inject semantic intent into MoE routing. We introduce a Hierarchical Task Semantic Annotation scheme to create structured task descriptors (e.g., scope, type, preservation). We then design Predictive Alignment Regularization to align internal routing decisions with the task's high-level semantics. This regularization evolves the gating network from a task-agnostic executor to a dispatch center. Our model effectively mitigates task interference, outperforming dense baselines in fidelity and quality, and our analysis shows that experts naturally develop clear and semantically correlated specializations.
• Abstract（参考訳）: 統合画像生成および編集モデルは、高密度拡散変換器アーキテクチャにおいて深刻なタスク干渉に悩まされ、共有パラメータ空間は競合する目的(例えば、局所編集対主観駆動生成)間で妥協しなければならない。 疎密なMixture-of-Experts(MoE)パラダイムは有望なソリューションであるが、そのゲーティングネットワークはタスクに依存しず、ローカル機能に基づいて動作し、グローバルなタスク意図に気付かない。 このタスクに依存しない性質は、意味のある特殊化を防ぎ、基礎となるタスク干渉を解決するのに失敗する。 本稿では,MoEルーティングに意味的意図を注入する新しいフレームワークを提案する。 階層型タスクセマンティックアノテーションを導入し、構造化タスク記述子(例えば、スコープ、タイプ、保存)を作成する。 次に、内部ルーティング決定をタスクの高レベルなセマンティクスと整合させる予測アライメント正規化を設計する。 この正規化は、タスクに依存しないエグゼキュータからディスパッチセンタへのゲーティングネットワークを進化させる。 我々のモデルは,タスク干渉を効果的に軽減し,忠実度と品質の高密度なベースラインを達成し,専門家が自然に明確かつ意味論的に相関した特殊化を発達させることを示す。

関連論文リスト

• CuES: A Curiosity-driven and Environment-grounded Synthesis Framework for Agentic RL [35.086788669916594]
  大規模言語モデルベースのエージェントは、複雑なツール拡張環境にますますデプロイされている。 既存のアプローチは通常、新しい環境で失敗する前提である事前定義されたタスクコレクションを仮定する。 そこで我々はCuESを提案する。CuESはキュリオシティ駆動環境基盤合成フレームワークで、多様で実行可能で有意義なタスクを自律的に生成する。
  論文  参考訳（メタデータ） (2025-12-01T06:11:37Z)
• RemoteReasoner: Towards Unifying Geospatial Reasoning Workflow [19.502882116487005]
  リモートセンシング画像は、大きく、本質的に非構造的な空間データを提示する。 地理空間推論のための統合ワークフローであるRemoteReasonerを提案する。 RemoteReasonerは、複数の粒度推論タスクにわたる最先端(SOTA)パフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-07-25T13:58:11Z)
• Resolving Task Objective Conflicts in Unified Model via Task-Aware Mixture-of-Experts [11.790264535536965]
  マルチモーダル・大規模言語モデル(MLLM)は、理解タスクと生成タスクを単一のフレームワークに統合する。 固有のタスク目的 理解における高レベルのセマンティックな抽象化と、生成時のきめ細かい詳細保存との間の対立は、重大な課題である。 タスク目的の衝突を解決するために,ARの内部コンポーネントを分離する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2025-06-04T05:44:21Z)
• Comprehensive Generative Replay for Task-Incremental Segmentation with Concurrent Appearance and Semantic Forgetting [49.87694319431288]
  一般的なセグメンテーションモデルは、異なる画像ソースからの様々なオブジェクトを含む様々なタスクに対して、ますます好まれている。 画像とマスクのペアを合成することで外観と意味の知識を復元する包括的生成(CGR)フレームワークを提案する。 漸進的タスク(心身、基礎、前立腺のセグメンテーション)の実験は、同時出現と意味的忘れを緩和する上で、明らかな優位性を示している。
  論文  参考訳（メタデータ） (2024-06-28T10:05:58Z)
• Task Indicating Transformer for Task-conditional Dense Predictions [16.92067246179703]
  この課題に対処するために,タスク表示変換(TIT)と呼ばれる新しいタスク条件フレームワークを導入する。 本手法では,行列分解によるタスク指示行列を組み込んだMix Task Adapterモジュールをトランスフォーマーブロック内に設計する。 また,タスク表示ベクトルとゲーティング機構を利用するタスクゲートデコーダモジュールを提案する。
  論文  参考訳（メタデータ） (2024-03-01T07:06:57Z)
• Exposing and Addressing Cross-Task Inconsistency in Unified Vision-Language Models [80.23791222509644]
  一貫性のないAIモデルは、人間のユーザーによって不安定で信頼できないと見なされている。 最先端のビジョン言語モデルは、タスク間の驚くほど高い一貫性のない振る舞いに悩まされている。 本稿では,大規模で自動生成されるクロスタスクコントラスト集合上で計算されたランク相関に基づく補助訓練目標を提案する。
  論文  参考訳（メタデータ） (2023-03-28T16:57:12Z)
• OCEAN: Online Task Inference for Compositional Tasks with Context Adaptation [150.1979017130774]
  構成タスクに対するオンラインタスク推論を行うための変分推論フレームワークを提案する。 本フレームワークは,タスク構造に関する事前の知識に基づいて,柔軟な潜伏分布をサポートし,教師なしで訓練することができる。
  論文  参考訳（メタデータ） (2020-08-17T04:50:34Z)
• Learning Task-oriented Disentangled Representations for Unsupervised Domain Adaptation [165.61511788237485]
  Unsupervised domain adapt (UDA) は、ラベル付きソースドメインとラベルなしターゲットドメインの間のドメインシフト問題に対処することを目的としている。 UDAのための動的タスク指向の非絡合ネットワーク(DTDN)を提案し,非絡合表現をエンドツーエンドで学習する。
  論文  参考訳（メタデータ） (2020-07-27T01:21:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。