論文の概要: ReasonUni: Reasoning-Augmented Reconstruction Advances Unified Multimodal Models
- arxiv url: http://arxiv.org/abs/2610.20781v1
- Date: Wed, 14 Oct 2026 18:27:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.015468
- Title: ReasonUni: Reasoning-Augmented Reconstruction Advances Unified Multimodal Models
- Title（参考訳）: ReasonUni:Reasoning-augmented Reasoning-Augmented Reasoned Advances Unified Multimodal Models
- Abstract要約: Image-to-text (I2T) 理解とtext-to-image (T2I) 生成は統一マルチモーダルモデル(UMM)における2つのタスクである
ReasonUniは、この結合を知覚を超えて拡張する学習後再構成フレームワークである。
- 参考スコア（独自算出の注目度）: 45.01791537375004
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Image-to-text (I2T) understanding and text-to-image (T2I) generation are dual tasks in unified multimodal models (UMMs). Reconstructive post-training couples these tasks, but existing reconstruction-based methods remain perception-centric and provide limited supervision for reasoning about structure, intent, and transformation. We propose ReasonUni, a reasoning-augmented reconstructive post-training framework that extends this coupling beyond perception. Given an original image and an editing instruction, the UMM first reasons about what and how to edit and describes the target state, then generates the corresponding target image conditioned on this understanding output. To jointly optimize both modules, we introduce TreeGRPO, a tree-structured reinforcement learning method that samples multiple reasoning paths and candidate images per path, then aggregates visual rewards to update both modules under a unified objective. Experiments across multiple benchmarks demonstrate consistent gains in both understanding and generation, showing that reasoning-augmented reconstruction yields genuine mutual gains for UMMs.
- Abstract（参考訳）: Image-to-text (I2T) 理解とtext-to-image (T2I) 生成は、統一マルチモーダルモデル(UMM)における2つのタスクである。
リコンストラクティブなポストトレーニングはこれらのタスクを補完するが、既存のリコンストラクションベースの手法は認識中心のままであり、構造、意図、変換に関する推論に対する限定的な監督を提供する。
ReasonUniは、この結合を知覚を超えて拡張する学習後再構成フレームワークである。
原画像と編集命令が与えられた後、UMMはまず、ターゲット状態の編集と記述方法を理由として、この理解出力に基づいて、対応するターゲット画像を生成する。
両モジュールを協調的に最適化するために,木構造強化学習手法であるTreeGRPOを導入する。
複数のベンチマークによる実験は、理解と生成の両方において一貫した利得を示し、推論強化された再構築がUMMに対して真の相互利得をもたらすことを示した。
関連論文リスト
- Enhancing Alignment for Unified Multimodal Models via Semantically-Grounded Supervision [22.12941574057318]
Unified Multimodal Models (UMM) は、統一モデリングフレームワークにマルチモーダル理解と生成を統合する有望なパラダイムとして登場した。
提案するSemantically-Grounded Supervision(SeGroS)は,UMMにおけるミスマッチと監督冗長性を解決するための微調整フレームワークである。
論文 参考訳（メタデータ） (2026-03-20T09:45:52Z) - Hierarchical Concept-to-Appearance Guidance for Multi-Subject Image Generation [22.845591588026366]
本稿では,高レベルの概念からきめ細かい外観まで,明示的で構造化された監視を提供するフレームワークを提案する。
概念レベルでは、VAEの参照機能をランダムに省略するVAEドロップアウトトレーニング戦略を導入する。
外観レベルでは、VLM由来の対応文を対応認識型マスキングアテンションモジュールに統合する。
論文 参考訳（メタデータ） (2026-02-03T12:13:29Z) - Generation Enhances Understanding in Unified Multimodal Models via Multi-Representation Generation [53.18286807225952]
統一マルチモーダルモデル(UMM)は、視覚的理解と生成の両方を単一のフレームワークに統合する。
単純なアーキテクチャに依存しないポストトレーニング手法であるUniMRG(Unified Multi-Representation Generation)を提案する。
提案手法は, 微粒化知覚を高め, 幻覚を低減し, 空間的理解を向上し, 同時に生成能力を向上する。
論文 参考訳（メタデータ） (2026-01-29T08:42:25Z) - Re-Align: Structured Reasoning-guided Alignment for In-Context Image Generation and Editing [38.240269144736224]
Re-Alignは構造化推論誘導アライメントを通じて理解と生成のギャップを埋める。
In-context Image Generation and editing (ICGE)により、ユーザーはインターリーブされた画像テキストプロンプトによって視覚概念を指定できる。
論文 参考訳（メタデータ） (2026-01-08T17:13:00Z) - Uni-MMMU: A Massive Multi-discipline Multimodal Unified Benchmark [69.8473923357969]
統一マルチモーダルモデルは、視覚的理解と生成を共同で行うことを目的としているが、現在のベンチマークでは、その真の統合を検査することはめったにない。
提案するUni-MMMUは、8つの推論中心領域にまたがる生成と理解の双方向の相乗効果を拡大する総合的なベンチマークである。
論文 参考訳（メタデータ） (2025-10-15T17:10:35Z) - SUDER: Self-Improving Unified Large Multimodal Models for Understanding and Generation with Dual Self-Rewards [55.99492656542475]
textbfSDER (textbfSelf-improving textbfUnified LMMs with textbfDual stextbfElf-textbfRewards) を提案する。
論文 参考訳（メタデータ） (2025-06-09T17:38:45Z) - MIGE: Mutually Enhanced Multimodal Instruction-Based Image Generation and Editing [25.118495616895597]
MIGEはマルチモーダル命令を使ってタスク表現を標準化する統合フレームワークである。
まず、対象駆動生成を空白キャンバス上の生成として扱い、命令ベースの編集を既存の画像の修正として扱う。
MIGEは、命令ベースの主観的編集の新しいタスクにSOTAを設定しながら、主観的生成と命令に基づく編集の両面で優れている。
論文 参考訳（メタデータ） (2025-02-28T18:21:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。