論文の概要: STARFlow2: Bridging Language Models and Normalizing Flows for Unified Multimodal Generation

• arxiv url: http://arxiv.org/abs/2605.08029v1
• Date: Fri, 08 May 2026 17:14:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:39.234534
• Title: STARFlow2: Bridging Language Models and Normalizing Flows for Unified Multimodal Generation
• Title（参考訳）: STARFlow2: 統合マルチモーダル生成のためのブリッジ言語モデルと正規化フロー
• Authors: Ying Shen, Tianrong Chen, Yuan Gao, Yizhe Zhang, Yuyang Wang, Miguel Ángel Bautista, Shuangfei Zhai, Joshua M. Susskind, Jiatao Gu,
• Abstract要約: 自己回帰正規化フローを示し,LLMと同じ因果マスク,KV-cache機構,左右構造を共有する。 我々は、画像生成およびマルチモーダル理解ベンチマークにおける強力な性能を示し、統合マルチモーダルモデリングの基盤として自己回帰フローを検証した。
• 参考スコア（独自算出の注目度）: 56.964292897565024
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep generative models have advanced rapidly across text and vision, motivating unified multimodal systems that can understand, reason over, and generate interleaved text-image sequences. Most existing approaches combine autoregressive language modeling with diffusion-based image generators, inheriting a structural mismatch between causal text generation and iterative visual denoising. We observe that autoregressive normalizing flows are autoregressive Transformers--sharing the same causal mask, KV-cache mechanism, and left-to-right structure as LLMs--making them the most natural paradigm for true unified multimodal generation. We present STARFlow2, built on the Pretzel architecture that vertically interleaves a pretrained VLM stream with a TarFlow stream via residual skip connections, both operating under the same causal mask. Combined with a deep-shallow flow design and a unified FAE latent space, STARFlow2 enables cache-friendly interleaved generation where both text and visual outputs directly enter the KV-cache without re-encoding. Experiments demonstrate strong performance across image generation and multimodal understanding benchmarks, validating autoregressive flows as a viable foundation for unified multimodal modeling.
• Abstract（参考訳）: 深層生成モデルは、テキストと視覚の間で急速に進歩し、理解し、推論し、インターリーブされたテキストイメージシーケンスを生成する、統一されたマルチモーダルシステムを動機付けている。 既存のアプローチの多くは、自己回帰言語モデリングと拡散に基づく画像生成装置を組み合わせており、因果テキスト生成と反復的視覚認知の間の構造的ミスマッチを継承している。 自己回帰正規化フローは自己回帰型トランスフォーマーであり,LLMと同様の因果マスク,KV-cache機構,左右構造を共有している。 本稿では,Pretzelアーキテクチャ上に構築されたSTARFlow2を提案する。このSTARFlow2は,垂直にトレーニング済みのVLMストリームとTarFlowストリームを相互にインターリーブする。 STARFlow2は、深層フロー設計と統合されたFAE潜伏空間を組み合わせることで、キャッシュフレンドリーなインターリーブド生成を可能にし、テキストとビジュアルの出力の両方が再エンコードすることなくKV-cacheに直接入力できる。 実験では、画像生成およびマルチモーダル理解ベンチマークにおける強力な性能を示し、統合マルチモーダルモデリングの基盤として自己回帰フローを検証する。

関連論文リスト

• TextLDM: Language Modeling with Continuous Latent Diffusion [89.69255520673248]
  拡散変換器(DiT)は、VAEラテント空間におけるフローマッチングで訓練され、画像やビデオ間で統一された視覚生成を行う。 最小限のアーキテクチャ変更で視覚的潜伏拡散のレシピをテキスト生成に転送するTextLDMを提案する。
  論文  参考訳（メタデータ） (2026-05-08T13:54:34Z)
• NextFlow: Unified Sequential Modeling Activates Multimodal Understanding and Generation [66.92488610008519]
  NextFlowは6兆個のインターリーブされたテキストイメージの離散トークンでトレーニングされたデコーダのみの自動回帰トランスフォーマーである。 統合された自己回帰アーキテクチャ内の統一された視覚表現を活用することで、NextFlowはマルチモーダル理解と生成機能を活性化する。 NextFlowは、統一されたモデルと、視覚的品質における特殊な拡散ベースラインの間で、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-01-05T15:27:04Z)
• OneFlow: Concurrent Mixed-Modal and Interleaved Generation with Edit Flows [59.052955667723985]
  可変長および同時混合モード生成が可能な最初の非自己回帰型マルチモーダルモデルであるOneFlowを提案する。 テキストと画像生成の間の厳格な因果順序を強制する自己回帰モデルとは異なり、OneFlowは個別のテキストトークンに対する挿入ベースのEdit Flowと、画像潜伏者のためのFlow Matchingを組み合わせる。
  論文  参考訳（メタデータ） (2025-10-03T20:40:30Z)
• Query-Kontext: An Unified Multimodal Model for Image Generation and Editing [53.765351127477224]
  統一マルチモーダルモデル(UMM)はテキスト・ツー・イメージ生成(T2I)と編集(TI2I)において顕著な性能を示した。 本稿では,マルチモーダル入力から符号化されたセマンティックキューと粗粒度画像条件からなるマルチモーダルコンテクス」を用いて,VLMと拡散モデルをブリッジする新しいアプローチであるQuery-Kontextを紹介する。 実験により,本手法は強い統一ベースラインと一致し,いくつかのケースにおいてタスク固有の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2025-09-30T17:59:46Z)
• Show-o2: Improved Native Unified Multimodal Models [57.34173415412808]
  Show-o2は、自動回帰モデリングとフローマッチングを利用するネイティブ統合マルチモーダルモデルである。 3次元因果変分オートエンコーダ空間上に構築され、空間的(時間的)融合の二重経路によって統一された視覚表現が構成される。
  論文  参考訳（メタデータ） (2025-06-18T15:39:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。