論文の概要: Self-correction Optimization for Interleaved Multimodal Generation

• arxiv url: http://arxiv.org/abs/2610.10400v1
• Date: Wed, 07 Oct 2026 16:51:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:23.060539
• Title: Self-correction Optimization for Interleaved Multimodal Generation
• Title（参考訳）: インターリーブ型マルチモーダル生成のための自己補正最適化
• Abstract要約: マルチモーダル大言語モデル(MLLM)は視覚的理解と生成に大きな進歩をもたらした。 インターリーブ画像-テキストコンテンツの生成は、密に統合されたマルチモーダル理解と生成機能を必要とするため、依然として困難である。 本稿では,一貫したインターリーブ生成のための効果的なトレーニングフリー手法である自己補正最適化(SCO)を提案する。
• 参考スコア（独自算出の注目度）: 21.598076445430156
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal large language models (MLLMs) have made significant progress in visual understanding and generation. However, generating interleaved image--text content remains challenging, as it requires tightly integrated multimodal understanding and generation capabilities. Although existing MLLMs provide promising solutions, most rely on additional training with augmented data, which is computationally expensive and remains limited in preserving visual subjects, temporal consistency, and physical plausibility. In this work, we propose self-correction optimization (SCO), an effective training-free method for consistent interleaved generation. SCO treats the classifier-free guidance update as a reference and performs minimal self-correction under two complementary constraints, including new-event and state-preserving constraints. Specifically, the new-event constraint promotes temporal consistency across image--text sequences, while the state-preserving constraint maintains the coherence of visual subjects throughout subsequent generation steps. Experiments on challenging interleaved multimodal generation benchmarks demonstrate significant improvements in temporal coherence and visual-subject preservation. Furthermore, SCO can be extended to video generation and improves the modeling of physically grounded processes, including robot manipulation and long-horizon handcrafting.
• Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)は視覚的理解と生成に大きな進歩をもたらした。 しかし、マルチモーダル理解と生成能力の強化が要求されるため、インターリーブ画像-テキストコンテンツの生成は依然として困難である。 既存のMLLMは有望なソリューションを提供するが、ほとんどの場合、計算コストが高く、視覚的主題の保存、時間的一貫性、物理的妥当性に制限がある拡張データによる追加トレーニングに頼っている。 本研究では,一貫したインターリーブ生成のための効果的なトレーニングフリー手法である自己補正最適化(SCO)を提案する。 SCOはクラシファイアフリーガイダンス更新を参照として扱い、新たに設定された制約と状態保存された制約を含む2つの補完的な制約の下で最小限の自己補正を行う。 具体的には、新しいイベント制約は、画像-テキストシーケンス間の時間的一貫性を促進するが、状態保存制約は、その後の生成ステップを通して視覚的対象のコヒーレンスを維持する。 課題となるインターリーブ型マルチモーダル生成ベンチマークの実験は、時間的コヒーレンスと視覚オブジェクト保存の大幅な改善を示している。 さらに、SCOはビデオ生成に拡張することができ、ロボット操作や長距離ハンドクラフトなど、物理的に接地されたプロセスのモデリングを改善することができる。

関連論文リスト

• Revitalizing the Beginning: Avoiding Storage Dependency for Model Merging in Continual Learning [57.10440766103372]
  Trajectory Regularized Merging (TRM) は、拡張されたトラジェクトリ部分空間内の最適化プロセスとしてマージフェーズを再構成するフレームワークである。 本フレームワークは,タスクアライメント,予測整合性,勾配応答性といった3つの相乗的目標を統合し,統合モデルの履歴安定性と再活性化最適化のダイナミクスを同時に保存する。
  論文  参考訳（メタデータ） (2026-05-08T14:07:32Z)
• Multimodal Large Language Models for Multi-Subject In-Context Image Generation [56.20395856287325]
  音楽は、textbfMUlti-textbfSubject textbfIn-textbfContextイメージ生成用に特別に設計された最初のMLLMである。 我々は,視覚連鎖機構による多目的意味関係の理解を深める。 訓練中に複雑な被写体画像を取り込むことで,連鎖推論におけるモデルの能力を向上させる。
  論文  参考訳（メタデータ） (2026-04-08T15:37:42Z)
• Towards Unified Multimodal Interleaved Generation via Group Relative Policy Optimization [35.14373974143734]
  既存の統一モデルにおいて,この能力を解放するための強化学習に基づくポストトレーニング戦略を提案する。 提案手法は,1つの復号軌道内でのテキスト生成と画像生成を共同でモデル化し,新たなハイブリッド報酬で最適化する。 MMIEとInterleavedBenchの実験により,マルチモーダルインターリーブド生成の品質とコヒーレンスを大幅に向上させることが実証された。
  論文  参考訳（メタデータ） (2026-03-10T11:49:20Z)
• IdGlow: Dynamic Identity Modulation for Multi-Subject Generation [23.20674988897558]
  We present IdGlow, a mask-free, progressive two-stage framework built on Flow Matching diffusion model。 教師付き微調整(SFT)の段階では、拡散生成力学に対応するタスク適応型時間ステップスケジューリングを導入する。 第2段階では,マルチオブジェクトアーティファクトを同時に除去するために,重み付きマージンの定式化を施したファイングラインド・グループレベル直接選好最適化(DPO)を設計する。
  論文  参考訳（メタデータ） (2026-02-28T11:56:34Z)
• Towards Unified Semantic and Controllable Image Fusion: A Diffusion Transformer Approach [99.80480649258557]
  DiTFuseは命令駆動のフレームワークで、単一のモデル内でセマンティクスを意識した融合を実行する。 パブリックなIVIF、MFF、MEFベンチマークの実験では、より優れた量的および質的な性能、よりシャープなテクスチャ、より優れたセマンティック保持が確認されている。
  論文  参考訳（メタデータ） (2025-12-08T05:04:54Z)
• Growing Visual Generative Capacity for Pre-Trained MLLMs [60.826355079902505]
  Bridgeは純粋な自己回帰統合MLLMであり、学習済みの視覚的理解モデルを生成能力で強化する。 本稿では,コンパクトなセマンティックトークンと微細なピクセルトークンを統合するセマンティック・ツー・ピクセルの離散表現を提案する。
  論文  参考訳（メタデータ） (2025-10-02T00:40:02Z)
• Unsupervised Online 3D Instance Segmentation with Synthetic Sequences and Dynamic Loss [52.28880405119483]
  教師なしのオンライン3Dインスタンスのセグメンテーションは、基本的だが難しい課題だ。 UNITのような既存の手法はこの方向に進んできたが、訓練の多様性が制限されているままである。 本稿では,合成点雲列生成によるトレーニング分布の強化を目的とした新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-27T08:53:27Z)
• Mitigating Hallucination of Large Vision-Language Models via Dynamic Logits Calibration [8.192590936983347]
  LVLM(Large Vision-Language Models)はマルチモーダル理解において大きな進歩を見せている。 視覚的な入力に反する幻覚、すなわちテキストの生成によってしばしば妨げられる。 既存のトレーニング不要のデコード戦略には、重大な制限がある。 本稿では,テキスト生成と推論時の視覚的エビデンスを整合させる新しいトレーニングフリーデコードフレームワークであるDynamic Logits (DLC)を紹介する。
  論文  参考訳（メタデータ） (2025-06-26T17:35:40Z)
• SynerGen-VL: Towards Synergistic Image Understanding and Generation with Vision Experts and Token Folding [66.74446220401296]
  画像の理解と生成の両方が可能なシンプルだが強力なエンコーダのないMLLMであるSynerGen-VLを提案する。 トークンの折り畳み機構と,高分解能画像理解を効果的に支援するビジョンエキスパートベースのプログレッシブアライメント事前学習戦略を導入する。 コードとモデルはリリースされます。
  論文  参考訳（メタデータ） (2024-12-12T18:59:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。