論文の概要: DREAM: Where Visual Understanding Meets Text-to-Image Generation

• arxiv url: http://arxiv.org/abs/2603.02667v1
• Date: Tue, 03 Mar 2026 06:54:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-04 21:38:10.677036
• Title: DREAM: Where Visual Understanding Meets Text-to-Image Generation
• Title（参考訳）: DREAM: Visual Understandingがテキストから画像へ
• Authors: Chao Li, Tianhong Li, Sai Vidyaranya Nuthalapati, Hong-You Chen, Satya Narayan Shukla, Yonghuan Yang, Jun Xiao, Xiangjun Fan, Aashu Singh, Dina Katabi, Shlok Kumar Mishra,
• Abstract要約: 差別的・生成的目的を協調的に最適化する統合フレームワークであるDREAMを紹介する。 DREAMは72.7%の線形探索精度(CLIPよりも+1.1%)、FIDは4.25(FLUIDより6.2%)である。 その結果、識別的および生成的目的が相乗的であることが示され、視覚的理解と生成の両方において優れる統一されたマルチモーダルモデルが可能となった。
• 参考スコア（独自算出の注目度）: 28.847476510280757
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unifying visual representation learning and text-to-image (T2I) generation within a single model remains a central challenge in multimodal learning. We introduce DREAM, a unified framework that jointly optimizes discriminative and generative objectives, while learning strong visual representations. DREAM is built on two key techniques: During training, Masking Warmup, a progressive masking schedule, begins with minimal masking to establish the contrastive alignment necessary for representation learning, then gradually transitions to full masking for stable generative training. At inference, DREAM employs Semantically Aligned Decoding to align partially masked image candidates with the target text and select the best one for further decoding, improving text-image fidelity (+6.3%) without external rerankers. Trained solely on CC12M, DREAM achieves 72.7% ImageNet linear-probing accuracy (+1.1% over CLIP) and an FID of 4.25 (+6.2% over FLUID), with consistent gains in few-shot classification, semantic segmentation, and depth estimation. These results demonstrate that discriminative and generative objectives can be synergistic, allowing unified multimodal models that excel at both visual understanding and generation.
• Abstract（参考訳）: 視覚表現学習とテキスト・トゥ・イメージ(T2I)生成を単一モデルで統一することは、マルチモーダル学習における中心的な課題である。 DREAMは、強力な視覚表現を学習しながら、識別的および生成的目的を共同で最適化する統合フレームワークである。 トレーニング中、プログレッシブなマスキングスケジュールであるMasking Warmupは、最小限のマスキングから始まり、表現学習に必要なコントラスト的なアライメントを確立する。 推論において、DREAMはSemantically Aligned Decodingを使用して、部分的にマスクされた画像候補を対象のテキストと整列させ、さらにデコードするための最適なものを選択し、外部リランカを使わずにテキスト画像の忠実度(+6.3%)を向上させる。 CC12Mのみで訓練されたDREAMは、72.7%のイメージネット線形探索精度(CLIPの+1.1%)とFIDの4.25(FLUIDの+6.2%)を達成している。 これらの結果は、識別的および生成的目的が相乗的であることを示し、視覚的理解と生成の両方において優れる統一されたマルチモーダルモデルを可能にする。

関連論文リスト

• Gradient-Attention Guided Dual-Masking Synergetic Framework for Robust Text-based Person Retrieval [15.126709823382539]
  本研究は、人物表現学習のためのコントラスト言語画像事前学習(CLIP)を推進している。 MLLMのコンテキスト内学習機能を活用した耐雑音性データ構築パイプラインを開発した。 我々はGA-DMSフレームワークを導入し、ノイズの多いテキストトークンを適応的にマスキングすることで、クロスモーダルアライメントを改善する。
  論文  参考訳（メタデータ） (2025-09-11T03:06:22Z)
• Interleaving Reasoning for Better Text-to-Image Generation [83.69082794730664]
  テキストベース思考と画像合成を交互に行うIRG(Interleaving Reasoning Generation)を提案する。 IRGを効果的に訓練するために,2つのサブゴールをターゲットにしたIRGL(Interleaving Reasoning Generation Learning)を提案する。 実験の結果、SoTAの性能はGenEval, WISE, TIIF, GenAI-Bench, OneIG-ENで5～10ポイント向上した。
  論文  参考訳（メタデータ） (2025-09-08T17:56:23Z)
• Harmonizing Visual Representations for Unified Multimodal Understanding and Generation [53.01486796503091]
  我々は,共有MARエンコーダによる理解と生成タスクを調和させる統合自己回帰フレームワークであるemphHarmonを提案する。 HarmonはGenEval、MJHQ30K、WISEベンチマークで最先端の画像生成結果を達成する。
  論文  参考訳（メタデータ） (2025-03-27T20:50:38Z)
• TULIP: Towards Unified Language-Image Pretraining [60.99500935831526]
  既存のCLIPライクなモデルの代替として,オープンソースでドロップイン可能なTを導入する。 提案手法は, 生成データの拡張, 画像画像の強化, テキストコントラスト学習, 画像/テキスト再構成正規化を利用して, きめ細かい視覚的特徴を学習する。 当社のアプローチでは、ベンチマーク全体で既存の最先端(SOTA)モデルを上回っています。
  論文  参考訳（メタデータ） (2025-03-19T17:58:57Z)
• Unified Autoregressive Visual Generation and Understanding with Continuous Tokens [52.21981295470491]
  We present UniFluid, a unified autoregressive framework for joint visual generation and understanding。 我々の統合自己回帰アーキテクチャはマルチモーダル画像とテキスト入力を処理し、テキストの離散トークンと画像の連続トークンを生成する。 画像生成と理解タスクの間には本質的にトレードオフがあることに気付きましたが、注意深く調整されたトレーニングレシピによって互いに改善できるようになりました。
  論文  参考訳（メタデータ） (2025-03-17T17:58:30Z)
• VladVA: Discriminative Fine-tuning of LVLMs [67.14293827774827]
  CLIPのような対照的に訓練された視覚言語モデル(VLM)は、識別的視覚言語表現学習の事実上のアプローチとなっている。 我々は,LVLMの識別的微調整のための新たな訓練手法である「両世界のベスト」を組み合わせることを提案する。
  論文  参考訳（メタデータ） (2024-12-05T17:54:27Z)
• Planting a SEED of Vision in Large Language Model [73.17530130368053]
  このSEEDは,大規模言語モデル(LLM)とSEEとDrawを同時に実現する,精巧な画像トークンである。 このバージョンのSEEDは、64のV100 GPUと5Mのパブリックな画像テキストペアを使用して、5.7日間でトレーニングされた。
  論文  参考訳（メタデータ） (2023-07-16T13:41:39Z)
• MAGE: MAsked Generative Encoder to Unify Representation Learning and Image Synthesis [33.46831766206675]
  MASked Generative (MAGE)は、SOTA画像生成と自己教師付き表現学習を統合するための最初のフレームワークである。 以前の生成モデルにインスパイアされたMAGEは、入力と出力でベクトル量子化されたGANによって学習された意味トークンを使用する。 ImageNet-1Kでは、1つのMAGE ViT-Lモデルがクラス非条件画像生成のタスクで9.10 FIDを得る。
  論文  参考訳（メタデータ） (2022-11-16T18:59:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。