論文の概要: Multimodal Flow: Unified Flow Modeling of Language and Vision in Embedding Spaces

• arxiv url: http://arxiv.org/abs/2609.40362v1
• Date: Wed, 30 Sep 2026 17:59:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:28.35415
• Title: Multimodal Flow: Unified Flow Modeling of Language and Vision in Embedding Spaces
• Title（参考訳）: マルチモーダルフロー:埋め込み空間における言語と視覚の統一フローモデリング
• Abstract要約: 言語と視覚の完全連続生成モデルであるMultimodal Flowを提案する。 テキストブロックとイメージを順序付けられた連続したハイパーチャンクとして整理し、テキストトークンの順序と視覚空間構造を保存する。 MF-1をインスタンス化し、マルチモーダルデータで事前訓練する。 事前訓練トークンはわずか150Bであり、MF-1はGenEvalとDPG-Benchで平均82.8点、VQAv2、MMBench、POPEで75.3点である。
• 参考スコア（独自算出の注目度）: 78.48679865857993
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present Multimodal Flow, a fully continuous generative model of language and vision. Most unified multimodal models either model both language and quantized images as discrete tokens or combine discrete language prediction with continuous image generation. The former introduces a visual quantization bottleneck. The latter requires modality-dependent objectives and sampling procedures. Fully continuous modeling avoids these trade-offs and enables a shared generative process, but remains underexplored for multimodal pretraining. Multimodal Flow introduces a unified continuous architecture that integrates multimodal continuous representations with a shared chunk-causal flow backbone. It organizes text blocks and images as ordered continuous hyperchunks, preserving textual token order and visual spatial structure. The backbone learns a single vector field over these hyperchunks through Flow Matching. Joint attention enables cross-modal interaction, while modality-specific feed-forward networks process each modality. The model predicts multiple target chunks in parallel during training and generates hyperchunks sequentially at inference. We instantiate MF-1 and pretrain it on multimodal data. Across 0.6B, 1.2B, and 1.6B scales, continued pretraining consistently improves multimodal modeling. With only 150B pretraining tokens, MF-1 achieves an average score of 82.8 across GenEval and DPG-Bench and 75.3 across VQAv2, MMBench, and POPE, remaining competitive with unified models trained on substantially more data. Under matched data, optimization, and parameter budgets, Multimodal Flow further outperforms representative hybrid and discrete models. These results establish continuous chunk-based embedding flow modeling as a new fully continuous paradigm for unified multimodal modeling. The related code and model are publicly released at https://github.com/hustvl/Multimodal-Flow.
• Abstract（参考訳）: 言語と視覚の完全連続生成モデルであるMultimodal Flowを提案する。 ほとんどの統合マルチモーダルモデルは、言語と量子化された画像の両方を離散トークンとしてモデル化するか、離散的な言語予測と連続的な画像生成を組み合わせている。 前者は視覚的量子化ボトルネックを導入する。 後者は、モダリティに依存した目的とサンプリング手順を必要とする。 完全な連続モデリングはこれらのトレードオフを回避し、共有生成プロセスを可能にするが、マルチモーダル事前学習には未熟である。 マルチモーダルフロー(Multimodal Flow)は、マルチモーダルな連続表現と共有チャンク因数フローのバックボーンを統合する統合された継続的アーキテクチャである。 テキストブロックとイメージを順序付けられた連続したハイパーチャンクとして整理し、テキストトークンの順序と視覚空間構造を保存する。 バックボーンはフローマッチングを通じてこれらのハイパーチャンク上の1つのベクトル場を学習する。 共同注意はモーダル間相互作用を可能にし、モダリティ固有のフィードフォワードネットワークは各モダリティを処理する。 モデルは、トレーニング中に複数のターゲットチャンクを並列に予測し、推論時に順次ハイパーチャンクを生成する。 MF-1をインスタンス化し、マルチモーダルデータで事前訓練する。 0.6B、1.2B、1.6Bの範囲で、事前訓練は継続してマルチモーダルモデリングを改善する。 150Bの事前訓練トークンだけで、MF-1はGenEvalとDPG-Benchで平均82.8点、VQAv2、MMBench、POPEで平均75.3点を達成した。 一致したデータ、最適化、パラメータの予算の下では、Multimodal Flowはハイブリッドモデルや離散モデルよりも優れています。 これらの結果は、統合マルチモーダルモデリングのための新しい完全連続パラダイムとして、連続チャンクベースの埋め込みフローモデリングを確立する。 関連コードとモデルはhttps://github.com/hustvl/Multimodal-Flow.comで公開されている。

関連論文リスト

• LongCat-Next: Lexicalizing Modalities as Discrete Tokens [111.50794040093656]
  LongCat-Nextは、テキスト、ビジョン、オーディオを単一の自己回帰的目的の下で処理する、ネイティブなマルチモーダルモデルである。 特にLongCat-Nextは、タスク理解における離散視覚モデリングの長年のパフォーマンス上限に対処している。 ネイティブなマルチモダリティに向けた試みとして、LongCat-Nextとそのトークンライザをオープンソースとして公開し、コミュニティにおけるさらなる研究と開発を促進したいと思っています。
  論文  参考訳（メタデータ） (2026-03-29T06:35:03Z)
• Omni-Diffusion: Unified Multimodal Understanding and Generation with Masked Discrete Diffusion [66.78268790956493]
  オムニ・ディフュージョン(Omni-Diffusion)は、マスクベースの離散拡散モデルに基づいて構築された、最初の任意のマルチモーダル言語モデルである。 本手法は2つ以上のモダリティを処理する既存のマルチモーダルシステムに匹敵する性能または性能を示す。
  論文  参考訳（メタデータ） (2026-03-06T18:59:57Z)
• Emerging Properties in Unified Multimodal Pretraining [32.856334401494145]
  マルチモーダル理解と生成をサポートするオープンソースの基盤モデルであるBAGELを紹介する。 BAGELは、大規模なインターリーブ付きテキスト、画像、ビデオ、Webデータからキュレートされた数兆のトークンに基づいて事前訓練された、統一されたデコーダのみのモデルである。 オープンソースの統一モデルでは、マルチモーダル生成と標準ベンチマークでの理解の両方において、大幅に優れています。
  論文  参考訳（メタデータ） (2025-05-20T17:59:30Z)
• AnyGPT: Unified Multimodal LLM with Discrete Sequence Modeling [115.56746545958522]
  我々は,様々なモーダルの統一処理に離散表現を利用する,任意のマルチモーダル言語モデルであるAnyGPTを紹介する。 我々は、マルチモーダルテキスト中心のデータセットを構築し、マルチモーダルアライメント事前学習を行う。 我々は,AnyGPTが任意のマルチモーダル対話を円滑に行うと同時に,すべてのモダリティにまたがる特化モデルに匹敵する性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2024-02-19T15:33:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。