論文の概要: Can Understanding and Generation Truly Benefit Together -- or Just Coexist?

• arxiv url: http://arxiv.org/abs/2509.09666v1
• Date: Thu, 11 Sep 2025 17:57:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-12 16:52:24.505692
• Title: Can Understanding and Generation Truly Benefit Together -- or Just Coexist?
• Title（参考訳）: 真に利益を得られるか - それとも単に共存できるか?
• Authors: Zhiyuan Yan, Kaiqing Lin, Zongjian Li, Junyan Ye, Hui Han, Zhendong Wang, Hao Liu, Bin Lin, Hao Li, Xue Xu, Xinyan Xiao, Jingdong Wang, Haifeng Wang, Li Yuan,
• Abstract要約: 本稿では,画像をテキストに圧縮するエンコーダ (I2T) と,そのテキストから画像を再構成するデコーダ (T2I) による洞察に富んだパラダイムを提案する。 本研究は,再構成忠実度を統一的な学習目標として用い,理解と生成プロセス間の一貫性のある双方向情報の流れを強制する。
• 参考スコア（独自算出の注目度）: 69.38946823657592
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: In this paper, we introduce an insightful paradigm through the Auto-Encoder lens-understanding as the encoder (I2T) that compresses images into text, and generation as the decoder (T2I) that reconstructs images from that text. Using reconstruction fidelity as the unified training objective, we enforce the coherent bidirectional information flow between the understanding and generation processes, bringing mutual gains. To implement this, we propose UAE, a novel framework for unified multimodal learning. We begin by pre-training the decoder with large-scale long-context image captions to capture fine-grained semantic and complex spatial relationships. We then propose Unified-GRPO via reinforcement learning (RL), which covers three stages: (1) A cold-start phase to gently initialize both encoder and decoder with a semantic reconstruction loss; (2) Generation for Understanding, where the encoder is trained to generate informative captions that maximize the decoder's reconstruction quality, enhancing its visual understanding; (3) Understanding for Generation, where the decoder is refined to reconstruct from these captions, forcing it to leverage every detail and improving its long-context instruction following and generation fidelity. For evaluation, we introduce Unified-Bench, the first benchmark tailored to assess the degree of unification of the UMMs. A surprising "aha moment" arises within the multimodal learning domain: as RL progresses, the encoder autonomously produces more descriptive captions, while the decoder simultaneously demonstrates a profound ability to understand these intricate descriptions, resulting in reconstructions of striking fidelity.
• Abstract（参考訳）: 本稿では,画像をテキストに圧縮するエンコーダ (I2T) と,そのテキストから画像を再構成するデコーダ (T2I) によるインサイトフルパラダイムを提案する。 再構成の忠実度を統一的な学習目標として用い,理解と生成プロセス間の一貫性のある双方向情報の流れを強制し,相互に利得をもたらす。 そこで本研究では,統一型マルチモーダル学習のための新しいフレームワークであるUAEを提案する。 まず,デコーダを大規模長文画像キャプションで事前学習し,微細な意味的・複雑な空間的関係を捉える。 そこで我々は,(1)エンコーダとデコーダの両方を優雅に初期化するための冷間開始フェーズ,(2)エンコーダの再構築品質を最大化し,その視覚的理解を高める情報キャプションを生成するための理解のための生成,(3)デコーダがこれらのキャプションから再構築するために洗練され,すべてのディテールを活用させ,その長文命令の追従と生成フィテリティーを向上させるための理解のための生成という,3つの段階を含む統一GRPOを提案する。 評価のために,UMMの統一度を評価するための最初のベンチマークであるUnified-Benchを紹介する。 RLが進むにつれて、エンコーダは、より記述的なキャプションを自律的に生成し、デコーダは、これらの複雑な記述を理解するための深い能力を同時に示し、その結果、印象的な忠実さの再構築をもたらす。

関連論文リスト

• Think-Then-Generate: Reasoning-Aware Text-to-Image Diffusion with LLM Encoders [46.79030733172859]
  本稿では,テキスト・トゥ・イメージ(T2I)拡散モデルのためのシンプソン・リライト(T2G)パラダイムを提案する。 推論に基づく画像生成と編集ベンチマークにより,現実の一貫性,セマンティックアライメント,視覚的リアリズムが大幅に改善された。 この結果は,推論,表現,実証能力を備えた次世代統一モデルに向けての有望な一歩となる。
  論文  参考訳（メタデータ） (2026-01-15T12:19:05Z)
• Forge-and-Quench: Enhancing Image Generation for Higher Fidelity in Unified Multimodal Models [23.529904770014735]
  本稿では, 画像の忠実度と詳細性を高めるために理解を活用するという, 新たな視点を紹介する。 我々は、この原則を実践する新しい統一フレームワークForge-and-Quenchを提案する。 実験により、Forge-and-Quenchは複数のモデルで画像の忠実度とディテールを大幅に改善することが示された。
  論文  参考訳（メタデータ） (2026-01-08T08:18:44Z)
• EMMA: Efficient Multimodal Understanding, Generation, and Editing with a Unified Architecture [87.55157183411507]
  マルチモーダル理解・生成・編集のための効率よく統一されたアーキテクチャEMMAを提案する。 EMMAは主に1)32倍圧縮率の効率的なオートエンコーダから成り、生成に必要なトークンの数を大幅に削減する。 2) 視覚的理解と生成トークン間のトークンワイドな結合ではなく,チャネルワイドな結合により,統一アーキテクチャにおける視覚的トークンの低減が図られる。
  論文  参考訳（メタデータ） (2025-12-04T14:01:53Z)
• VQRAE: Representation Quantization Autoencoders for Multimodal Understanding, Generation and Reconstruction [83.50898344094153]
  VQRAEは、イメージ理解のための連続的セマンティック機能と、統一トークン化器内での視覚生成のためのトークンを生成する。 デザインは、多モーダル理解、離散トークンの能力を維持するために、無視可能な意味情報を可能にする。 VQRAEは、視覚的理解、生成、再構築のベンチマークで競合性能を示す。
  論文  参考訳（メタデータ） (2025-11-28T17:26:34Z)
• Interleaving Reasoning for Better Text-to-Image Generation [83.69082794730664]
  テキストベース思考と画像合成を交互に行うIRG(Interleaving Reasoning Generation)を提案する。 IRGを効果的に訓練するために,2つのサブゴールをターゲットにしたIRGL(Interleaving Reasoning Generation Learning)を提案する。 実験の結果、SoTAの性能はGenEval, WISE, TIIF, GenAI-Bench, OneIG-ENで5～10ポイント向上した。
  論文  参考訳（メタデータ） (2025-09-08T17:56:23Z)
• SEDEG:Sequential Enhancement of Decoder and Encoder's Generality for Class Incremental Learning with Small Memory [11.197556113382186]
  インクリメンタルラーニングでは、動的データ入力に適応するために、知識の一般性を高めることが不可欠である。 SEDEGは、一般化表現を学ぶために機能強化を通じてアンサンブルエンコーダを訓練する。 次の段階では、知識蒸留戦略を用いてエンサンブルエンコーダを圧縮し、より一般化されたエンコーダを開発する。
  論文  参考訳（メタデータ） (2025-08-18T13:55:59Z)
• Harmonizing Visual Representations for Unified Multimodal Understanding and Generation [53.01486796503091]
  我々は,共有MARエンコーダによる理解と生成タスクを調和させる統合自己回帰フレームワークであるemphHarmonを提案する。 HarmonはGenEval、MJHQ30K、WISEベンチマークで最先端の画像生成結果を達成する。
  論文  参考訳（メタデータ） (2025-03-27T20:50:38Z)
• DualToken: Towards Unifying Visual Understanding and Generation with Dual Visual Vocabularies [25.77487827338777]
  再建のために訓練された視覚トークンーは、低レベルの知覚の詳細を捉えるのに優れる。 対照的な学習によって訓練された視覚エンコーダは、言語とよく一致しているが、生成タスクのためにピクセル空間に復号化するのに苦労する。 本稿では,単一のトークン化器内での理解と生成の両方の表現を統一する手法であるDualTokenを提案する。
  論文  参考訳（メタデータ） (2025-03-18T14:56:46Z)
• QLIP: Text-Aligned Visual Tokenization Unifies Auto-Regressive Multimodal Understanding and Generation [101.28446308930367]
  Quantized Language-Image Pretraining (QLIP)は、最先端の再構築品質と最先端のゼロショットイメージ理解を組み合わせたものだ。 QLIPは、リコンストラクションと言語イメージアライメントの目的を備えた、二進数量子化に基づくオートエンコーダをトレーニングする。 QLIPは、理解と生成のための複合モダリティ自動回帰モデルを可能にすることを実証する。
  論文  参考訳（メタデータ） (2025-02-07T18:59:57Z)
• Epsilon-VAE: Denoising as Visual Decoding [61.29255979767292]
  復号化は1段階の再構成から反復的改良へと移行する。 具体的には、デコーダを拡散処理に置き換え、ノイズを反復的に改善して元の画像を復元する。 拡散による反復的再構成により, 自己エンコーダであるEpsilon-VAEは高い再構成品質を実現する。
  論文  参考訳（メタデータ） (2024-10-05T08:27:53Z)
• Dual-Stream Knowledge-Preserving Hashing for Unsupervised Video Retrieval [67.52910255064762]
  時間層とハッシュ層を含む単純な二重ストリーム構造を設計する。 まず、時間層とハッシュ層を含む単純な二重ストリーム構造を設計する。 自己スーパービジョンから得られたセマンティック類似性知識の助けを借りて、ハッシュ層はセマンティック検索のための情報を取得することを学習する。 このようにして、モデルは自然に二進的なコードに絡み合ったセマンティクスを保存します。
  論文  参考訳（メタデータ） (2023-10-12T03:21:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。