論文の概要: Mixture of States: Routing Token-Level Dynamics for Multimodal Generation

• arxiv url: http://arxiv.org/abs/2511.12207v1
• Date: Sat, 15 Nov 2025 13:24:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:23.674853
• Title: Mixture of States: Routing Token-Level Dynamics for Multimodal Generation
• Title（参考訳）: 状態の混合:マルチモーダル生成のためのトーケンレベルダイナミクスのルーティング
• Authors: Haozhe Liu, Ding Liu, Mingchen Zhuge, Zijian Zhou, Tian Xie, Sen He, Yukang Yang, Shuming Liu, Yuren Cong, Jiadong Guo, Hongyu Xu, Ke Xu, Kam-Woh Ng, Juan C. Pérez, Juan-Manuel~Pérez-Rúa, Tao Xiang, Wei Liu, Shikun Liu, Jürgen Schmidhuber,
• Abstract要約: マルチモーダル拡散モデルのための新しい融合パラダイムであるMoS(Mixture of States)を紹介する。 MoSは学習可能なトークン指向ルータで、遅延時間ステップと入力依存のインタラクションを生成する。 我々は,画像のテキスト生成と編集による設計の検証を行い,その結果を得た。
• 参考スコア（独自算出の注目度）: 60.15447534872979
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce MoS (Mixture of States), a novel fusion paradigm for multimodal diffusion models that merges modalities using flexible, state-based interactions. The core of MoS is a learnable, token-wise router that creates denoising timestep- and input-dependent interactions between modalities' hidden states, precisely aligning token-level features with the diffusion trajectory. This router sparsely selects the top-$k$ hidden states and is trained with an $ε$-greedy strategy, efficiently selecting contextual features with minimal learnable parameters and negligible computational overhead. We validate our design with text-to-image generation (MoS-Image) and editing (MoS-Editing), which achieve state-of-the-art results. With only 3B to 5B parameters, our models match or surpass counterparts up to $4\times$ larger. These findings establish MoS as a flexible and compute-efficient paradigm for scaling multimodal diffusion models.
• Abstract（参考訳）: フレキシブルな状態ベース相互作用を用いてモダリティをマージするマルチモーダル拡散モデルのための新しい融合パラダイムであるMoS(Mixture of States)を紹介する。 MoSの中核は学習可能なトークン指向ルータで、モダリティの隠蔽状態間の遅延時間ステップと入力依存性の相互作用を生成し、トークンレベルの特徴と拡散軌跡を正確に整合させる。 このルータは、上位$kの隠蔽状態を選択し、$ε$-greedy戦略で訓練され、学習可能な最小パラメータと無視可能な計算オーバーヘッドを持つコンテキスト特徴を効率的に選択する。 我々は,テキスト・トゥ・イメージ・ジェネレーション (MoS-Image) と編集 (MoS-Editing) でデザインを検証する。 3Bから5Bのパラメータだけで、われわれのモデルは最大4ドル以上になる。 これらの結果は、MoSを多モード拡散モデルのスケーリングのためのフレキシブルで計算効率のよいパラダイムとして確立している。

関連論文リスト

• MoIIE: Mixture of Intra- and Inter-Modality Experts for Large Vision Language Models [52.876185634349575]
  我々は、モダリティ内およびモダリティ間エキスパート(MoIIE)の混合をLVLM(Large Vision-Language Models)に組み込むことを提案する。 それぞれのトークンに対して、専門家のルーティングはそのモダリティによってガイドされ、それぞれのモダリティの専門家と、モダリティ間のエキスパートの共有プールにトークンを指示する。 5.5B と 11.3B の活性化パラメータを持つ MoIIE モデルは,既存のオープンソース MoE-LLM ベースのマルチモーダルモデルの性能に適合するか,さらに上回っている。
  論文  参考訳（メタデータ） (2025-08-13T13:00:05Z)
• SMAR: Soft Modality-Aware Routing Strategy for MoE-based Multimodal Large Language Models Preserving Language Capabilities [13.808550562570275]
  既存のマルチモーダルMOEモデル構築方法は、トレーニングコストが高いか、事前訓練されたモデルを適用する際に言語能力の劣化に悩まされる。 そこで我々は,Kullback Leibler の発散を利用してルーティング確率分布を制御する新しい正規化手法である Soft Modality Aware Routing (SMAR) を提案する。 ビジュアル・インストラクション・チューニングの実験では、SMARは86.6%の保持率を維持し、純粋なテキストはわずか2.5%であり、高いマルチモーダル性能を維持しながらベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-06-06T12:47:29Z)
• OptMerge: Unifying Multimodal LLM Capabilities and Modalities via Model Merging [124.91183814854126]
  モデルマージは、複数のエキスパートモデルをひとつのモデルに組み合わせようとしている。 本稿ではMLLMのトレーニングと評価のタスクを明確に分割したモデルマージ研究のベンチマークを紹介する。 モデルマージは、トレーニングデータを必要とせずに改善されたMLLMを構築するための有望な方法であることがわかった。
  論文  参考訳（メタデータ） (2025-05-26T12:23:14Z)
• MIFNet: Learning Modality-Invariant Features for Generalizable Multimodal Image Matching [54.740256498985026]
  キーポイントの検出と記述方法は、しばしばマルチモーダルデータと競合する。 マルチモーダル画像マッチングにおけるキーポイント記述に対するモダリティ不変特徴量を計算するためのモダリティ不変特徴量学習ネットワーク(MIFNet)を提案する。
  論文  参考訳（メタデータ） (2025-01-20T06:56:30Z)
• Layerwise Recurrent Router for Mixture-of-Experts [42.36093735411238]
  Mixture-of-Experts (MoE)アーキテクチャは、トレーニングコストを大幅に増加させることなく、モデルサイズをスケールできる能力で際立っている。 現在のMoEモデルはパラメータ非効率をしばしば表示する。 我々はMixture-of-Experts(RMoE)のためのLayerwise Recurrent Routerを紹介する。
  論文  参考訳（メタデータ） (2024-08-13T10:25:13Z)
• Lightweight In-Context Tuning for Multimodal Unified Models [57.10831399642176]
  MultiModal In-conteXt Tuning (M$2$IXT)は、マルチモーダル統一モデルのICL機能を強化する軽量モジュールである。 最大50Kのマルチモーダルデータをチューニングすると、M$2$IXTは数ショットのICL性能を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2023-10-08T10:47:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。