論文の概要: Scaling Unified Multimodal Models to Long-Horizon Interleaved Generation

• arxiv url: http://arxiv.org/abs/2610.17080v1
• Date: Mon, 12 Oct 2026 16:46:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 03:20:56.37647
• Title: Scaling Unified Multimodal Models to Long-Horizon Interleaved Generation
• Title（参考訳）: 長期インターリーブ生成への統一型マルチモーダルモデルのスケーリング
• Abstract要約: 我々は、画像合成、テキストレンダリング、複雑な構成、マルチモーダル計画において強力な機能を持つ、インターリーブされたマルチモーダルデータに基づいて訓練された大規模なUMMを開発する。 本稿では、永続的なビジュアル参照を維持し、シーン関連履歴状態を選択的に検索し、数ステップの自己ロールアウトを用いて、生成した履歴を不完全なものに適応する視覚記憶フレームワークを提案する。 提案モデルでは,高忠実度長軸型インターリーブド生成に強い特性とシーン整合性を実現し,ビジュアルメモリがネイティブなインターリーブド生成をかなり長いトラジェクトリに拡張できることを示す。
• 参考スコア（独自算出の注目度）: 41.3000233564515
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unified multimodal models (UMMs) provide an interface for interleaved text-image generation, where generated visual states can directly inform subsequent reasoning and synthesis. However, existing systems are still primarily demonstrated on short trajectories or simplified visual content. We develop a large UMM natively trained on interleaved multimodal data, with strong capabilities in image synthesis, text rendering, complex composition, and multimodal planning, and study how to extend these native capabilities to substantially longer autoregressive trajectories. The main challenge is that generated images continuously accumulate in context: irrelevant or imperfect visual states interfere with future synthesis, while previously established characters and scenes must still be recovered after long intervals. We introduce a visual-memory framework that maintains persistent visual references, selectively retrieves scene-relevant historical states while preserving the complete semantic history, and uses few-step self-rollout to adapt the model to imperfect generated histories. We further introduce LongMIG-Bench for evaluating long-horizon text-to-multi-image and image-to-multi-image generation. Our model achieves high-fidelity long-horizon interleaved generation with strong character and scene consistency, demonstrating how visual memory can scale native interleaved generation to substantially longer trajectories.
• Abstract（参考訳）: 統一マルチモーダルモデル(UMM)はインターリーブされたテキスト画像生成のためのインタフェースを提供する。 しかし、既存のシステムは依然として短い軌跡や単純化された視覚コンテンツで実証されている。 我々は、画像合成、テキストレンダリング、複雑な合成、マルチモーダル計画において強力な機能を持つ、インターリーブされたマルチモーダルデータに基づいてネイティブに訓練された大規模なUMMを開発し、これらのネイティブ機能を実質的により長い自己回帰軌道へと拡張する方法を研究する。 主要な課題は、生成した画像が連続的にコンテキストに蓄積することであり、無関係または不完全な視覚状態が将来の合成を妨げる一方で、以前に確立された文字やシーンは長い間隔で復元されなければならない。 我々は,永続的な視覚的参照を維持し,シーン関連履歴を選択的に検索し,完全なセマンティック履歴を保存し,数ステップの自己ロールアウトを用いて生成した履歴を不完全なものに適応する視覚記憶フレームワークを提案する。 さらに,LongMIG-Benchを導入して,長軸テキスト・マルチ画像と画像・マルチ画像の生成を評価する。 提案モデルでは,高忠実度長軸型インターリーブド生成に強い特性とシーン整合性を実現し,ビジュアルメモリがネイティブなインターリーブド生成をかなり長いトラジェクトリに拡張できることを示す。

関連論文リスト

• Multimodal Large Language Models for Multi-Subject In-Context Image Generation [56.20395856287325]
  音楽は、textbfMUlti-textbfSubject textbfIn-textbfContextイメージ生成用に特別に設計された最初のMLLMである。 我々は,視覚連鎖機構による多目的意味関係の理解を深める。 訓練中に複雑な被写体画像を取り込むことで,連鎖推論におけるモデルの能力を向上させる。
  論文  参考訳（メタデータ） (2026-04-08T15:37:42Z)
• Wan-Weaver: Interleaved Multi-modal Generation via Decoupled Training [68.94182767962914]
  プランナとビジュアライザで構成されるフレームワークを導入する。 ビジュアライザは画像の合成を行うのに対し、プランナーはビジュアルコンテンツのための密集したテキスト記述を生成する。 これらのデザインは、長距離テキストコヒーレンスと視覚的一貫性を備えた創発的なインターリーブ生成能力を示すWan-Weaverを生み出している。
  論文  参考訳（メタデータ） (2026-03-26T17:50:37Z)
• MM-Interleaved: Interleaved Image-Text Generative Modeling via Multi-modal Feature Synchronizer [106.79844459065828]
  本稿では,画像テキストデータのエンドツーエンド生成モデルであるMM-Interleavedを提案する。 マルチスケールおよびマルチイメージ機能同期モジュールを導入し、以前のコンテキストできめ細かい画像機能に直接アクセスできるようにする。 MM-Interleavedはマルチモーダルな指示に従って視覚的詳細を認識し、テキストと視覚の両方の条件に従って一貫した画像を生成する。
  論文  参考訳（メタデータ） (2024-01-18T18:50:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。