論文の概要: Diffuse Everything: Multimodal Diffusion Models on Arbitrary State Spaces

• arxiv url: http://arxiv.org/abs/2506.07903v1
• Date: Mon, 09 Jun 2025 16:20:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:11.050493
• Title: Diffuse Everything: Multimodal Diffusion Models on Arbitrary State Spaces
• Title（参考訳）: あらゆる混乱:任意状態空間上の多モード拡散モデル
• Authors: Kevin Rojas, Yuchen Zhu, Sichen Zhu, Felix X. -F. Ye, Molei Tao,
• Abstract要約: 任意の状態空間上に多モード拡散モデルを構築するための新しいフレームワークを提案する。 各モードに対して革新的な分離ノイズスケジュールを導入することにより、単一モデル内で非条件とモード条件の両方を同時に生成することが可能となる。
• 参考スコア（独自算出の注目度）: 10.85468238780625
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have demonstrated remarkable performance in generating unimodal data across various tasks, including image, video, and text generation. On the contrary, the joint generation of multimodal data through diffusion models is still in the early stages of exploration. Existing approaches heavily rely on external preprocessing protocols, such as tokenizers and variational autoencoders, to harmonize varied data representations into a unified, unimodal format. This process heavily demands the high accuracy of encoders and decoders, which can be problematic for applications with limited data. To lift this restriction, we propose a novel framework for building multimodal diffusion models on arbitrary state spaces, enabling native generation of coupled data across different modalities. By introducing an innovative decoupled noise schedule for each modality, we enable both unconditional and modality-conditioned generation within a single model simultaneously. We empirically validate our approach for text-image generation and mixed-type tabular data synthesis, demonstrating that it achieves competitive performance.
• Abstract（参考訳）: 拡散モデルは、画像、ビデオ、テキスト生成を含む様々なタスクにまたがる一助データを生成する際、顕著な性能を示した。 それとは対照的に、拡散モデルによるマルチモーダルデータの合同生成は、まだ探索の初期段階にある。 既存のアプローチは、さまざまなデータ表現を統一されたアンモダル形式に調和させるために、トークン化器や変分オートエンコーダなどの外部前処理プロトコルに大きく依存している。 このプロセスはエンコーダとデコーダの精度を高く要求するが、限られたデータを持つアプリケーションでは問題となる可能性がある。 この制限を緩和するために,任意の状態空間上に多モード拡散モデルを構築するための新しいフレームワークを提案する。 各モードに対して革新的な分離ノイズスケジュールを導入することにより、単一モデル内で非条件とモード条件の両方を同時に生成することが可能となる。 我々は,テキスト画像生成と混合型表型データ合成のアプローチを実証的に検証し,競争性能の向上を実証した。

関連論文リスト

• SynergyAmodal: Deocclude Anything with Text Control [27.027748040959025]
  画像の隠蔽は、画像の隠蔽されたインスタンスの見えない領域(e, shape, appearance)を復元することを目的としている。 In-theld amodal データセットを包括的形状と外観アノテーションで共合成する新しいフレームワーク SynergyAmodal を提案する。
  論文  参考訳（メタデータ） (2025-04-28T06:04:17Z)
• Bridging the inference gap in Mutimodal Variational Autoencoders [6.246098300155483]
  マルチモーダル変分オートエンコーダは、観測されたモダリティから観測されていないモダリティを生成するための多目的でスケーラブルな方法を提供する。 エキスパートの混合集合を用いた最近のモデルは、複雑なデータセットにおける生成品質を制限する理論的に基礎的な制限に悩まされている。 本稿では,混合アグリゲーションを導入することなく,結合分布と条件分布の両方を学習できる新しい解釈可能なモデルを提案する。
  論文  参考訳（メタデータ） (2025-02-06T10:43:55Z)
• TabDiff: a Mixed-type Diffusion Model for Tabular Data Generation [91.50296404732902]
  グラフデータの混合型分布を1つのモデルでモデル化する共同拡散フレームワークであるTabDiffを紹介する。 我々の重要な革新は、数値データと分類データのための連立連続時間拡散プロセスの開発である。 TabDiffは、既存の競合ベースラインよりも優れた平均性能を実現し、ペアワイドカラム相関推定における最先端モデルよりも最大で22.5%改善されている。
  論文  参考訳（メタデータ） (2024-10-27T22:58:47Z)
• Multimodal ELBO with Diffusion Decoders [0.9208007322096533]
  拡散生成モデルを用いて,より優れたデコーダを組み込んだマルチモーダルVAE ELBOを提案する。 拡散デコーダにより、モデルは複雑なモダリティを学習し、高品質な出力を生成することができる。 提案モデルでは,異なるデータセットにおける他のマルチモーダルVAEと比較して,コヒーレンスが高く,生成したモダリティの品質も優れている。
  論文  参考訳（メタデータ） (2024-08-29T20:12:01Z)
• DiffBlender: Scalable and Composable Multimodal Text-to-Image Diffusion Models [10.744438740060458]
  本研究の目的は,テキスト記述を超えて多種多様なモダリティを組み込むことにより,拡散型テキスト・ツー・イメージ(T2I)生成モデルの能力を拡張することである。 そこで我々は,条件のチャネルを3つのタイプに分割することで,DiffBlenderと呼ばれるマルチモーダルT2I拡散モデルを設計する。 DiffBlenderのユニークなアーキテクチャは、新しい入力モダリティの追加を容易にし、条件付き画像生成のためのスケーラブルなフレームワークを開拓する。
  論文  参考訳（メタデータ） (2023-05-24T14:31:20Z)
• Collaborative Diffusion for Multi-Modal Face Generation and Editing [34.16906110777047]
  本稿では,事前学習した単モーダル拡散モデルと協調して複数モーダル顔の生成と編集を行うコラボレーティブ拡散について述べる。 具体的には、事前学習された各ユニモーダルモデルに対する空間的時間的影響関数を予測することにより、マルチモーダルな認知ステップを適応的に幻覚するメタネットワークである動的ディフューザを提案する。
  論文  参考訳（メタデータ） (2023-04-20T17:59:02Z)
• Unite and Conquer: Plug & Play Multi-Modal Synthesis using Diffusion Models [54.1843419649895]
  拡散確率モデル(DDPM)に基づく解を提案する。 他の生成モデルよりも拡散モデルを選択する動機は、拡散モデルの柔軟な内部構造に由来する。 提案手法は,複数のサブタスクで訓練された複数の拡散モデルを統一し,組み合わせたタスクを克服する。
  論文  参考訳（メタデータ） (2022-12-01T18:59:55Z)
• Image Generation with Multimodal Priors using Denoising Diffusion Probabilistic Models [54.1843419649895]
  このタスクを達成するために生成モデルを使用する際の大きな課題は、すべてのモダリティと対応する出力を含むペアデータの欠如である。 本稿では,拡散確率的合成モデルに基づく多モデル先行画像生成手法を提案する。
  論文  参考訳（メタデータ） (2022-06-10T12:23:05Z)
• Attention Bottlenecks for Multimodal Fusion [90.75885715478054]
  機械知覚モデルは典型的にはモダリティに特化しており、単調なベンチマークのために最適化されている。 複数の層でのモジュラリティ融合に「融合」を用いる新しいトランスフォーマーアーキテクチャを導入する。 我々は、徹底的なアブレーション研究を行い、複数のオーディオ視覚分類ベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-06-30T22:44:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。