論文の概要: Dreaming in Flow: Generative Grounding Feedback for Self-Evolving Unified Multimodal Models
- arxiv url: http://arxiv.org/abs/2609.08282v1
- Date: Tue, 08 Sep 2026 05:52:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 16:54:36.733305
- Title: Dreaming in Flow: Generative Grounding Feedback for Self-Evolving Unified Multimodal Models
- Title（参考訳）: 流れの夢: 自己進化型マルチモーダルモデルのための生成的接地フィードバック
- Abstract要約: 統一マルチモーダルモデルは、視覚的理解と生成を単一のネットワークに統合するが、2つの機能は一般的に別々のタスクとして最適化される。
我々は,テキストプロンプトとモデル自身の視覚的体験のみを使用する自己進化型ポストトレーニングフレームワークである生成的グラウンド・フィードバックを紹介する。
- 参考スコア（独自算出の注目度）: 55.231245660246934
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unified multimodal models integrate visual understanding and generation within a single network, yet the two capabilities are commonly optimized as separate tasks. We introduce Generative Grounding Feedback(GGF), a self-evolving post-training framework that uses only text prompts and the model's own visual experience. Given a prompt, the model first generates a visual ``dream.'' Flow-level feedback compares text-, image-, and repair-conditioned predictions at the same noisy latent state, transferring image-grounded generation directions to the prompt condition. Dream replay grounding replays this dream through captioning and re-imagination, training claim-level evidence to remain consistent across the replay while separating unrelated visual experiences. Jointly optimized, these two directions let generation provide visual grounding for understanding and understanding refine subsequent generation without paired image--text supervision. Experiments across unified models with different understanding--generation integration designs show consistent improvements in text-to-image generation together with modest gains in visual understanding.
- Abstract（参考訳）: 統一マルチモーダルモデルは、視覚的理解と生成を単一のネットワークに統合するが、2つの機能は一般的に別々のタスクとして最適化される。
本稿では,テキストプロンプトとモデル自身の視覚的体験のみを利用する自己進化型ポストトレーニングフレームワークであるジェネラティブ・グラウンディング・フィードバック(GGF)を紹介する。
プロンプトが与えられた後、まずモデルが視覚的な ``dream' を生成する。
フローレベルのフィードバックは、テキスト、画像、修復条件の予測を、同じノイズの潜伏状態で比較し、画像基底生成方向をプロンプト条件に転送する。
ドリーム・リプレイ(Dream replay)は、キャプションと再想像を通じてこの夢を再現し、無関係な視覚体験を分離しながら、リプレイ全体で一貫して主張レベルの証拠を訓練する。
共同最適化された2つの方向により、世代は、ペア画像・テキスト・インスペクションを使わずに、洗練された世代を理解・理解するための視覚的基盤を提供する。異なる理解・統合設計を持つ統一モデル間の実験は、視覚的理解の質素な向上とともに、テキスト・ツー・イメージ生成の一貫性のある改善を示す。
関連論文リスト
- Reversing the Flow: Generation-to-Understanding Synergy in Large Multimodal Models [34.560908829375585]
本稿では、視覚生成が明示的な中間的推論ステップとなるG2Uシナジーを提案する。
本フレームワークは,詳細な拡張やコンテキスト拡張,構造的視覚化といった,制御された生成行為をモデルで実行し,自己生成的な視覚的思考を創出することを可能にする。
生成的忠実度は知覚的利得を束縛し、編集の異なる家族が転送効率を左右することを示す。
この研究は、統一認知における欠落するメカニズムを明らかにし、想像力は理解の終わりではなく、その始まりであることを示唆している。
論文 参考訳（メタデータ） (2026-05-15T09:48:46Z) - FlowInOne:Unifying Multimodal Generation as Image-in, Image-out Flow Matching [86.31254356971506]
FlowInOneは、純粋なビジュアルフローとしてマルチモーダル生成を再構成するフレームワークである。
テキスト・ツー・イメージ生成、レイアウト誘導編集、ビジュアル・インストラクションを1つのコヒーレント・パラダイムで統一する。
オープンソースモデルと競合する商用システムの両方を超越して、すべての統一された生成タスクにおける最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2026-04-08T07:22:08Z) - Visual-Aware CoT: Achieving High-Fidelity Visual Consistency in Unified Models [50.87835332136393]
CoT(Chain-of-Thought)は統一モデルの生成能力を大幅に改善した。
本稿では,統一モデルの推論に視覚的コンテキスト整合性を導入する。
教師付きファインタニングを用いて、視覚的チェックの計画方法を教え、自己回帰と自己精製を行い、フロー-GRPOを使用して視覚的一貫性をさらに向上する。
論文 参考訳（メタデータ） (2025-12-22T18:59:03Z) - RePrompt: Reasoning-Augmented Reprompting for Text-to-Image Generation via Reinforcement Learning [88.14234949860105]
RePromptは、強化学習による迅速な強化プロセスに明示的な推論を導入する、新しいリプロンプトフレームワークである。
提案手法は,人手による注釈付きデータなしでエンドツーエンドのトレーニングを可能にする。
論文 参考訳（メタデータ） (2025-05-23T06:44:26Z) - Unified Autoregressive Visual Generation and Understanding with Continuous Tokens [52.21981295470491]
We present UniFluid, a unified autoregressive framework for joint visual generation and understanding。
我々の統合自己回帰アーキテクチャはマルチモーダル画像とテキスト入力を処理し、テキストの離散トークンと画像の連続トークンを生成する。
画像生成と理解タスクの間には本質的にトレードオフがあることに気付きましたが、注意深く調整されたトレーニングレシピによって互いに改善できるようになりました。
論文 参考訳（メタデータ） (2025-03-17T17:58:30Z) - VARGPT: Unified Understanding and Generation in a Visual Autoregressive Multimodal Large Language Model [38.61292051733335]
VARGPTは,単一の自己回帰フレームワーク内で視覚的理解と生成を統一する,新しいマルチモーダル大規模言語モデルである。
VarGPTは視覚理解のための次世代予測パラダイムと、視覚自己回帰生成のための次世代予測パラダイムを採用している。
特に、VARGPTは自己回帰的視覚生成と命令-画像合成の能力を自然にサポートし、視覚的理解と生成の両タスクにおいてその汎用性を示す。
論文 参考訳（メタデータ） (2025-01-21T17:50:43Z) - Context-aware Visual Storytelling with Visual Prefix Tuning and Contrastive Learning [2.401993998791928]
本稿では、モダリティを接続するための軽量な視覚言語マッピングネットワークを訓練するフレームワークを提案する。
視覚的関連性やストーリー情報性も向上するマルチモーダルなコントラスト目標を提案する。
論文 参考訳（メタデータ） (2024-08-12T16:15:32Z) - Contextualized Diffusion Models for Text-Guided Image and Video Generation [67.69171154637172]
条件拡散モデルは高忠実度テキスト誘導視覚生成および編集において優れた性能を示した。
本研究では,テキスト条件と視覚的サンプル間の相互作用とアライメントを包含するクロスモーダルコンテキストを組み込むことにより,コンテキスト拡散モデル(ContextDiff)を提案する。
理論的導出を伴うDDPMとDDIMの両方にモデルを一般化し、テキスト・ツー・イメージ生成とテキスト・ツー・ビデオ編集という2つの課題を伴う評価において、モデルの有効性を実証する。
論文 参考訳（メタデータ） (2024-02-26T15:01:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。