論文の概要: A Unified Framework for Multimodal Image Reconstruction and Synthesis using Denoising Diffusion Models

• arxiv url: http://arxiv.org/abs/2602.08249v1
• Date: Mon, 09 Feb 2026 03:54:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:25.059341
• Title: A Unified Framework for Multimodal Image Reconstruction and Synthesis using Denoising Diffusion Models
• Title（参考訳）: Denoising Diffusion Modelを用いたマルチモーダル画像再構成と合成のための統一フレームワーク
• Authors: Weijie Gan, Xucheng Wang, Tongyao Wang, Wenshang Wang, Chunwei Ying, Yuyang Hu, Yasheng Chen, Hongyu An, Ulugbek S. Kamilov,
• Abstract要約: 既存のメソッドの制限に対処する統合フレームワークであるAny2allを紹介します。 我々は、完全なマルチモーダルデータスタック上で、単一の無条件拡散モデルを訓練する。 このモデルは、利用可能なクリーン画像やノイズ測定の入力の組み合わせから、すべての目標モダリティをインペイントするために、推論時に適応される。 以上の結果から,Any2allはマルチモーダル再構成と合成の両タスクにおいて優れた性能を発揮することが示唆された。
• 参考スコア（独自算出の注目度）: 12.36766048544934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image reconstruction and image synthesis are important for handling incomplete multimodal imaging data, but existing methods require various task-specific models, complicating training and deployment workflows. We introduce Any2all, a unified framework that addresses this limitation by formulating these disparate tasks as a single virtual inpainting problem. We train a single, unconditional diffusion model on the complete multimodal data stack. This model is then adapted at inference time to ``inpaint'' all target modalities from any combination of inputs of available clean images or noisy measurements. We validated Any2all on a PET/MR/CT brain dataset. Our results show that Any2all can achieve excellent performance on both multimodal reconstruction and synthesis tasks, consistently yielding images with competitive distortion-based performance and superior perceptual quality over specialized methods.
• Abstract（参考訳）: 画像再構成と画像合成は、不完全なマルチモーダルイメージングデータを扱う上で重要であるが、既存の手法では様々なタスク固有のモデルが必要であり、訓練やデプロイメントのワークフローが複雑になる。 この制限に対処する統合フレームワークであるAny2allを紹介します。 我々は、完全なマルチモーダルデータスタック上で、単一の無条件拡散モデルを訓練する。 このモデルは、利用可能なクリーンな画像やノイズ測定の入力の組み合わせから、すべての<inpaint''に推論時に適応される。 我々はPET/MR/CT脳データセット上でAny2allを検証した。 以上の結果から,Any2allはマルチモーダル再構成と合成の両タスクにおいて優れた性能を達成できることが示唆された。

関連論文リスト

• Multi-View Learning with Context-Guided Receptance for Image Denoising [18.175992709188026]
  写真や自動運転などの低レベルの視覚アプリケーションでは、画像のデノイングが不可欠である。 既存の手法では、現実のシーンで複雑なノイズパターンを識別し、重要な計算資源を消費する。 本研究では、マルチビュー機能統合と効率的なシーケンスモデリングを組み合わせた、コンテキスト誘導型Receptance Weighted Key-Value(M)モデルを提案する。 このモデルは、複数の実世界の画像復号化データセットで検証され、既存の最先端の手法を定量的に上回り、推論時間を最大40%削減する。
  論文  参考訳（メタデータ） (2025-05-05T14:57:43Z)
• UniVG: A Generalist Diffusion Model for Unified Image Generation and Editing [59.590505989071175]
  テキスト・ツー・イメージ(T2I)拡散モデルでは、ユーザのプロンプトに従って視覚的に魅力的な画像を生成するという印象的な結果が示されている。 我々は,一組の重みで多様な画像生成タスクをサポートする汎用拡散モデルUniVGを紹介する。
  論文  参考訳（メタデータ） (2025-03-16T21:11:25Z)
• Many-to-many Image Generation with Auto-regressive Diffusion Models [59.5041405824704]
  本稿では,与えられた画像集合から関連画像系列を生成可能な多対多画像生成のためのドメイン汎用フレームワークを提案する。 我々は,25個の相互接続された画像を含む12Mの合成マルチイメージサンプルを含む,新しい大規模マルチイメージデータセットMISを提案する。 我々はM2Mを学習し、M2Mは多対多生成のための自己回帰モデルであり、各画像は拡散フレームワーク内でモデル化される。
  論文  参考訳（メタデータ） (2024-04-03T23:20:40Z)
• Exposure Bracketing Is All You Need For A High-Quality Image [50.822601495422916]
  マルチ露光画像は、デノイング、デブロアリング、高ダイナミックレンジイメージング、超解像において相補的である。 本研究では,これらの課題を組み合わせ,高品質な画像を得るために露光ブラケット写真を活用することを提案する。 特に時間変調リカレントネットワーク(TMRNet)と自己教師あり適応手法を提案する。
  論文  参考訳（メタデータ） (2024-01-01T14:14:35Z)
• Image Generation with Multimodal Priors using Denoising Diffusion Probabilistic Models [54.1843419649895]
  このタスクを達成するために生成モデルを使用する際の大きな課題は、すべてのモダリティと対応する出力を含むペアデータの欠如である。 本稿では,拡散確率的合成モデルに基づく多モデル先行画像生成手法を提案する。
  論文  参考訳（メタデータ） (2022-06-10T12:23:05Z)
• DiVAE: Photorealistic Images Synthesis with Denoising Diffusion Decoder [73.1010640692609]
  本稿では,拡散デコーダ(DiVAE)を用いたVQ-VAEアーキテクチャモデルを提案する。 我々のモデルは最先端の成果を達成し、さらに多くのフォトリアリスティックな画像を生成する。
  論文  参考訳（メタデータ） (2022-06-01T10:39:12Z)
• Cascading Modular Network (CAM-Net) for Multimodal Image Synthesis [7.726465518306907]
  永続的な課題は、同じ入力画像から出力画像の多様なバージョンを生成することである。 我々は,幅広いタスクに適用可能な統一アーキテクチャであるCAM-Netを提案する。 FID(Frechet Inception Distance)は、ベースラインに比べて最大45.3%低減できる。
  論文  参考訳（メタデータ） (2021-06-16T17:58:13Z)
• Multimodal Image Synthesis with Conditional Implicit Maximum Likelihood Estimation [54.17177006826262]
  我々はImplicit Maximum Likelihood Estimation (IMLE)に基づく新しい一般条件画像合成法を開発した。 我々は,シーンレイアウトからの単一画像超解像と画像合成という,2つのタスクにおけるマルチモーダル画像合成性能の改善を実証した。
  論文  参考訳（メタデータ） (2020-04-07T03:06:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。