論文の概要: Unified Multimodal Discrete Diffusion

• arxiv url: http://arxiv.org/abs/2503.20853v1
• Date: Wed, 26 Mar 2025 17:59:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-28 12:54:58.210984
• Title: Unified Multimodal Discrete Diffusion
• Title（参考訳）: 統一多重モード離散拡散
• Authors: Alexander Swerdlow, Mihir Prabhudesai, Siddharth Gandhi, Deepak Pathak, Katerina Fragkiadaki,
• Abstract要約: 複数のモードをまたいだ理解と生成が可能なマルチモーダル生成モデルは、自己回帰(AR)アプローチによって支配される。 共同テキストと画像領域の統一的な生成形式としての離散拡散モデルについて検討する。 テキストと画像の共同理解・生成が可能なUnified Multimodal Discrete Diffusion (UniDisc) モデルを提案する。
• 参考スコア（独自算出の注目度）: 78.48930545306654
• License:
• Abstract: Multimodal generative models that can understand and generate across multiple modalities are dominated by autoregressive (AR) approaches, which process tokens sequentially from left to right, or top to bottom. These models jointly handle images, text, video, and audio for various tasks such as image captioning, question answering, and image generation. In this work, we explore discrete diffusion models as a unified generative formulation in the joint text and image domain, building upon their recent success in text generation. Discrete diffusion models offer several advantages over AR models, including improved control over quality versus diversity of generated samples, the ability to perform joint multimodal inpainting (across both text and image domains), and greater controllability in generation through guidance. Leveraging these benefits, we present the first Unified Multimodal Discrete Diffusion (UniDisc) model which is capable of jointly understanding and generating text and images for a variety of downstream tasks. We compare UniDisc to multimodal AR models, performing a scaling analysis and demonstrating that UniDisc outperforms them in terms of both performance and inference-time compute, enhanced controllability, editability, inpainting, and flexible trade-off between inference time and generation quality. Code and additional visualizations are available at https://unidisc.github.io.
• Abstract（参考訳）: 複数のモダリティをまたいだ理解と生成が可能なマルチモーダル生成モデルは、トークンを左から右へ、あるいは上から下へ順次処理する自己回帰(AR)アプローチによって支配される。 これらのモデルは、画像キャプション、質問応答、画像生成などの様々なタスクのために、画像、テキスト、ビデオ、オーディオを共同で扱う。 本研究では,テキスト生成における最近の成功を基盤として,共同テキストと画像領域の統一的な生成形式としての離散拡散モデルについて検討する。 離散拡散モデルは、生成したサンプルの品質と多様性の制御の改善、共同マルチモーダルインペインティング(テキストドメインと画像ドメインの両方)の実行能力、誘導による世代制御性の向上など、ARモデルに対するいくつかの利点を提供する。 これらの利点を生かして、様々な下流タスクのためのテキストと画像の共同理解と生成が可能な、Unified Multimodal Discrete Diffusion (UniDisc) モデルを提案する。 我々は、UniDiscをマルチモーダルARモデルと比較し、スケーリング分析を行い、UniDiscが性能と推論時間の両方の計算性能、制御性の向上、編集性、塗装性、推論時間と生成品質の柔軟なトレードオフという点で優れていることを示す。 コードと追加の視覚化はhttps://unidisc.github.io.comで公開されている。

関連論文リスト

• Dual Diffusion for Unified Image Generation and Understanding [32.7554623473768]
  マルチモーダル理解と生成のための大規模かつ完全なエンドツーエンド拡散モデルを提案する。 我々は、画像とテキストの条件付き確率を同時にトレーニングするクロスモーダル最大推定フレームワークを活用する。 我々のモデルは、最近の統合画像理解・生成モデルと比較して、競争性能が向上した。
  論文  参考訳（メタデータ） (2024-12-31T05:49:00Z)
• Causal Diffusion Transformers for Generative Modeling [19.919979972882466]
  本稿では,Diffusionモデルの自己回帰(AR)モデルとしてCausal Diffusionを紹介する。 CaulFusionはデコーダのみのトランスフォーマーで、シーケンシャルトークンと拡散ノイズレベルにまたがるデータを二重化する。
  論文  参考訳（メタデータ） (2024-12-16T18:59:29Z)
• Show-o: One Single Transformer to Unify Multimodal Understanding and Generation [24.58881004205822]
  マルチモーダル理解と生成を統一する統一変換器,すなわちShow-oを提案する。 完全自己回帰モデルとは異なり、Show-oは自己回帰と(離散的な)拡散モデリングを統一し、様々な混合モダリティの入力と出力を適応的に処理する。
  論文  参考訳（メタデータ） (2024-08-22T16:32:32Z)
• Many-to-many Image Generation with Auto-regressive Diffusion Models [59.5041405824704]
  本稿では,与えられた画像集合から関連画像系列を生成可能な多対多画像生成のためのドメイン汎用フレームワークを提案する。 我々は,25個の相互接続された画像を含む12Mの合成マルチイメージサンプルを含む,新しい大規模マルチイメージデータセットMISを提案する。 我々はM2Mを学習し、M2Mは多対多生成のための自己回帰モデルであり、各画像は拡散フレームワーク内でモデル化される。
  論文  参考訳（メタデータ） (2024-04-03T23:20:40Z)
• On the Multi-modal Vulnerability of Diffusion Models [56.08923332178462]
  本稿では,MMP-Attackによる拡散モデル生成結果の操作について,特定の接尾辞を元のプロンプトに付加することで提案する。 我々のゴールは、拡散モデルを誘導し、元のオブジェクトを同時に除去しながら特定のオブジェクトを生成することである。
  論文  参考訳（メタデータ） (2024-02-02T12:39:49Z)
• UniDiff: Advancing Vision-Language Models with Generative and Discriminative Learning [86.91893533388628]
  本稿では、画像テキストコントラスト学習(ITC)、テキスト条件付き画像合成学習(IS)、相互意味整合性モデリング(RSC)を統合した統合マルチモーダルモデルUniDiffを提案する。 UniDiffはマルチモーダル理解と生成タスクの両方において汎用性を示す。
  論文  参考訳（メタデータ） (2023-06-01T15:39:38Z)
• Unified Discrete Diffusion for Simultaneous Vision-Language Generation [78.21352271140472]
  本稿では,「モダリティ変換」タスクと「マルチモダリティ生成」タスクの両方を実行することができる統一型マルチモーダル生成モデルを提案する。 具体的には,マルチモーダル信号の離散拡散過程を統一遷移行列を用いて統一する。 提案手法は, 様々な生成タスクにおいて, 最先端のソリューションと同等に動作可能である。
  論文  参考訳（メタデータ） (2022-11-27T14:46:01Z)
• Versatile Diffusion: Text, Images and Variations All in One Diffusion Model [76.89932822375208]
  Versatile Diffusionは、テキスト・ツー・イメージ、画像・ツー・テキスト、バリエーションの複数のフローを1つの統一モデルで処理する。 私たちのコードとモデルはhttps://github.com/SHI-Labs/Versatile-Diffusion.comでオープンソース化されています。
  論文  参考訳（メタデータ） (2022-11-15T17:44:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。