論文の概要: A Unified Framework for Multimodal Image Reconstruction and Synthesis using Denoising Diffusion Models
- arxiv url: http://arxiv.org/abs/2602.08249v1
- Date: Mon, 09 Feb 2026 03:54:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-10 20:26:25.059341
- Title: A Unified Framework for Multimodal Image Reconstruction and Synthesis using Denoising Diffusion Models
- Title(参考訳): Denoising Diffusion Modelを用いたマルチモーダル画像再構成と合成のための統一フレームワーク
- Authors: Weijie Gan, Xucheng Wang, Tongyao Wang, Wenshang Wang, Chunwei Ying, Yuyang Hu, Yasheng Chen, Hongyu An, Ulugbek S. Kamilov,
- Abstract要約: 既存のメソッドの制限に対処する統合フレームワークであるAny2allを紹介します。
我々は、完全なマルチモーダルデータスタック上で、単一の無条件拡散モデルを訓練する。
このモデルは、利用可能なクリーン画像やノイズ測定の入力の組み合わせから、すべての目標モダリティをインペイントするために、推論時に適応される。
以上の結果から,Any2allはマルチモーダル再構成と合成の両タスクにおいて優れた性能を発揮することが示唆された。
- 参考スコア(独自算出の注目度): 12.36766048544934
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Image reconstruction and image synthesis are important for handling incomplete multimodal imaging data, but existing methods require various task-specific models, complicating training and deployment workflows. We introduce Any2all, a unified framework that addresses this limitation by formulating these disparate tasks as a single virtual inpainting problem. We train a single, unconditional diffusion model on the complete multimodal data stack. This model is then adapted at inference time to ``inpaint'' all target modalities from any combination of inputs of available clean images or noisy measurements. We validated Any2all on a PET/MR/CT brain dataset. Our results show that Any2all can achieve excellent performance on both multimodal reconstruction and synthesis tasks, consistently yielding images with competitive distortion-based performance and superior perceptual quality over specialized methods.
- Abstract(参考訳): 画像再構成と画像合成は、不完全なマルチモーダルイメージングデータを扱う上で重要であるが、既存の手法では様々なタスク固有のモデルが必要であり、訓練やデプロイメントのワークフローが複雑になる。
この制限に対処する統合フレームワークであるAny2allを紹介します。
我々は、完全なマルチモーダルデータスタック上で、単一の無条件拡散モデルを訓練する。
このモデルは、利用可能なクリーンな画像やノイズ測定の入力の組み合わせから、すべての<inpaint''に推論時に適応される。
我々はPET/MR/CT脳データセット上でAny2allを検証した。
以上の結果から,Any2allはマルチモーダル再構成と合成の両タスクにおいて優れた性能を達成できることが示唆された。
関連論文リスト
- Exposure Bracketing Is All You Need For A High-Quality Image [50.822601495422916]
マルチ露光画像は、デノイング、デブロアリング、高ダイナミックレンジイメージング、超解像において相補的である。
本研究では,これらの課題を組み合わせ,高品質な画像を得るために露光ブラケット写真を活用することを提案する。
特に時間変調リカレントネットワーク(TMRNet)と自己教師あり適応手法を提案する。
論文 参考訳(メタデータ) (2024-01-01T14:14:35Z) - Image Generation with Multimodal Priors using Denoising Diffusion
Probabilistic Models [54.1843419649895]
このタスクを達成するために生成モデルを使用する際の大きな課題は、すべてのモダリティと対応する出力を含むペアデータの欠如である。
本稿では,拡散確率的合成モデルに基づく多モデル先行画像生成手法を提案する。
論文 参考訳(メタデータ) (2022-06-10T12:23:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。