論文の概要: Leveraging Multimodal Diffusion Models to Accelerate Imaging with Side Information

• arxiv url: http://arxiv.org/abs/2410.05143v1
• Date: Mon, 7 Oct 2024 15:55:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 23:58:57.759598
• Title: Leveraging Multimodal Diffusion Models to Accelerate Imaging with Side Information
• Title（参考訳）: マルチモーダル拡散モデルによるサイド情報によるイメージングの高速化
• Authors: Timofey Efimov, Harry Dong, Megna Shah, Jeff Simmons, Sean Donegan, Yuejie Chi,
• Abstract要約: 我々は,ブラックボックスフォワードモデルによる逆問題から単純な線形インパインティング問題へと変換し,共同モダリティ上でのマルチモーダル拡散モデルを訓練する枠組みを提案する。 数値解析により,材料画像データに対する拡散モデルのトレーニングの実現可能性を示し,提案手法が得られた側情報を活用することにより,優れた画像再構成を実現することを示す。
• 参考スコア（独自算出の注目度）: 19.81357829037316
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have found phenomenal success as expressive priors for solving inverse problems, but their extension beyond natural images to more structured scientific domains remains limited. Motivated by applications in materials science, we aim to reduce the number of measurements required from an expensive imaging modality of interest, by leveraging side information from an auxiliary modality that is much cheaper to obtain. To deal with the non-differentiable and black-box nature of the forward model, we propose a framework to train a multimodal diffusion model over the joint modalities, turning inverse problems with black-box forward models into simple linear inpainting problems. Numerically, we demonstrate the feasibility of training diffusion models over materials imagery data, and show that our approach achieves superior image reconstruction by leveraging the available side information, requiring significantly less amount of data from the expensive microscopy modality.
• Abstract（参考訳）: 拡散モデルは、逆問題を解決するための表現力のある先行要因として現象的成功を見出したが、自然画像からより構造化された科学領域への拡張は依然として限られている。 材料科学の応用により、我々は、高価な画像モダリティから必要な測定数を減らし、より安価に得られる補助モダリティから側情報を活用することを目的としている。 フォワードモデルの非微分可能・ブラックボックスの性質に対処するため,ブラックボックスフォワードモデルの逆問題を単純な線形塗装問題に変換することで,ジョイントモダリティ上のマルチモーダル拡散モデルを訓練する枠組みを提案する。 数値解析により,材料画像データに対するトレーニング拡散モデルの有効性を実証し,利用可能な側情報を活用することにより,高額な顕微鏡モダリティから得られるデータ量を大幅に削減し,優れた画像再構成を実現することを示す。

関連論文リスト

• Latent Drifting in Diffusion Models for Counterfactual Medical Image Synthesis [55.959002385347645]
  大規模なデータセットのトレーニングによるスケーリングは、画像生成の品質と忠実度を高め、拡散モデルによる操作を可能にすることが示されている。 遅延ドリフトにより、医療画像に対して拡散モデルを条件付けし、反ファクト画像生成の複雑なタスクに適合させることができる。 本研究は,異なる微調整方式と組み合わせた場合,様々なシナリオにおいて顕著な性能向上を示すものである。
  論文  参考訳（メタデータ） (2024-12-30T01:59:34Z)
• DiffusionTrend: A Minimalist Approach to Virtual Fashion Try-On [103.89972383310715]
  DiffusionTrendは、事前情報に富んだ潜伏情報を利用して、衣服の詳細のニュアンスをキャプチャする。 視覚的に魅力的な試行体験を提供し、トレーニング不要の拡散モデルの可能性を強調します。
  論文  参考訳（メタデータ） (2024-12-19T02:24:35Z)
• MMAR: Towards Lossless Multi-Modal Auto-Regressive Probabilistic Modeling [64.09238330331195]
  本稿では,MMAR(Multi-Modal Auto-Regressive)確率モデルフレームワークを提案する。 離散化の手法とは異なり、MMARは情報損失を避けるために連続的に評価された画像トークンを取り入れる。 MMARは他のジョイントマルチモーダルモデルよりもはるかに優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-14T17:57:18Z)
• Taming Diffusion Models for Image Restoration: A Review [14.25759541950917]
  拡散モデルは、フォトリアリスティック画像復元のための低レベルコンピュータビジョンに適用されている。 本稿では,拡散モデルにおける鍵となる構成を導入し,拡散モデルを用いた一般的な赤外線課題の解法について検討する。
  論文  参考訳（メタデータ） (2024-09-16T15:04:14Z)
• DEEM: Diffusion Models Serve as the Eyes of Large Language Models for Image Perception [66.88792390480343]
  本稿では,拡散モデルの生成的フィードバックを利用して画像エンコーダのセマンティックな分布を整合させる,シンプルだが効果的なアプローチであるDEEMを提案する。 DEEMは、トレーニング可能なパラメータが少なく、事前学習データが少なく、ベースモデルのサイズが小さいことを利用して、モデル幻覚を軽減するために、強化された堅牢性と優れた能力を示す。
  論文  参考訳（メタデータ） (2024-05-24T05:46:04Z)
• Steerable Conditional Diffusion for Out-of-Distribution Adaptation in Medical Image Reconstruction [75.91471250967703]
  我々は、ステアブル条件拡散と呼ばれる新しいサンプリングフレームワークを導入する。 このフレームワークは、利用可能な測定によって提供される情報のみに基づいて、画像再構成と並行して拡散モデルを適用する。 様々な画像モダリティにまたがるアウト・オブ・ディストリビューション性能の大幅な向上を実現した。
  論文  参考訳（メタデータ） (2023-08-28T08:47:06Z)
• Diffusion Models for Image Restoration and Enhancement -- A Comprehensive Survey [96.99328714941657]
  本稿では,近年の拡散モデルに基づく画像復元手法について概観する。 我々は、赤外線とブラインド/現実世界の両方で拡散モデルを用いて、革新的なデザインを分類し、強調する。 本稿では,拡散モデルに基づくIRの今後の研究に向けた5つの可能性と課題を提案する。
  論文  参考訳（メタデータ） (2023-08-18T08:40:38Z)
• DDRF: Denoising Diffusion Model for Remote Sensing Image Fusion [7.06521373423708]
  生成モデルとしてのデノシング拡散モデルは、画像生成の分野で多くの注目を集めている。 画像融合フィールドへの拡散モデルを導入し、画像融合タスクを画像から画像への変換として扱う。 本手法は,画像融合タスクに拡散モデルを適用するために,他の作業に刺激を与え,この分野の洞察を得ることができる。
  論文  参考訳（メタデータ） (2023-04-10T12:28:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。