論文の概要: Leveraging Multimodal Diffusion Models to Accelerate Imaging with Side Information

• arxiv url: http://arxiv.org/abs/2410.05143v1
• Date: Mon, 7 Oct 2024 15:55:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 23:58:57.759598
• Title: Leveraging Multimodal Diffusion Models to Accelerate Imaging with Side Information
• Title（参考訳）: マルチモーダル拡散モデルによるサイド情報によるイメージングの高速化
• Authors: Timofey Efimov, Harry Dong, Megna Shah, Jeff Simmons, Sean Donegan, Yuejie Chi,
• Abstract要約: 我々は,ブラックボックスフォワードモデルによる逆問題から単純な線形インパインティング問題へと変換し,共同モダリティ上でのマルチモーダル拡散モデルを訓練する枠組みを提案する。 数値解析により,材料画像データに対する拡散モデルのトレーニングの実現可能性を示し,提案手法が得られた側情報を活用することにより,優れた画像再構成を実現することを示す。
• 参考スコア（独自算出の注目度）: 19.81357829037316
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have found phenomenal success as expressive priors for solving inverse problems, but their extension beyond natural images to more structured scientific domains remains limited. Motivated by applications in materials science, we aim to reduce the number of measurements required from an expensive imaging modality of interest, by leveraging side information from an auxiliary modality that is much cheaper to obtain. To deal with the non-differentiable and black-box nature of the forward model, we propose a framework to train a multimodal diffusion model over the joint modalities, turning inverse problems with black-box forward models into simple linear inpainting problems. Numerically, we demonstrate the feasibility of training diffusion models over materials imagery data, and show that our approach achieves superior image reconstruction by leveraging the available side information, requiring significantly less amount of data from the expensive microscopy modality.
• Abstract（参考訳）: 拡散モデルは、逆問題を解決するための表現力のある先行要因として現象的成功を見出したが、自然画像からより構造化された科学領域への拡張は依然として限られている。 材料科学の応用により、我々は、高価な画像モダリティから必要な測定数を減らし、より安価に得られる補助モダリティから側情報を活用することを目的としている。 フォワードモデルの非微分可能・ブラックボックスの性質に対処するため,ブラックボックスフォワードモデルの逆問題を単純な線形塗装問題に変換することで,ジョイントモダリティ上のマルチモーダル拡散モデルを訓練する枠組みを提案する。 数値解析により,材料画像データに対するトレーニング拡散モデルの有効性を実証し,利用可能な側情報を活用することにより,高額な顕微鏡モダリティから得られるデータ量を大幅に削減し,優れた画像再構成を実現することを示す。

関連論文リスト

• MMAR: Towards Lossless Multi-Modal Auto-Regressive Probabilistic Modeling [64.09238330331195]
  本稿では,MMAR(Multi-Modal Auto-Regressive)確率モデルフレームワークを提案する。 離散化の手法とは異なり、MMARは情報損失を避けるために連続的に評価された画像トークンを取り入れる。 MMARは他のジョイントマルチモーダルモデルよりもはるかに優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-14T17:57:18Z)
• Taming Diffusion Models for Image Restoration: A Review [14.25759541950917]
  拡散モデルは、フォトリアリスティック画像復元のための低レベルコンピュータビジョンに適用されている。 本稿では,拡散モデルにおける鍵となる構成を導入し,拡散モデルを用いた一般的な赤外線課題の解法について検討する。
  論文  参考訳（メタデータ） (2024-09-16T15:04:14Z)
• DEEM: Diffusion Models Serve as the Eyes of Large Language Models for Image Perception [66.88792390480343]
  本稿では,拡散モデルの生成的フィードバックを利用して画像エンコーダのセマンティックな分布を整合させる,シンプルだが効果的なアプローチであるDEEMを提案する。 DEEMは、トレーニング可能なパラメータが少なく、事前学習データが少なく、ベースモデルのサイズが小さいことを利用して、モデル幻覚を軽減するために、強化された堅牢性と優れた能力を示す。
  論文  参考訳（メタデータ） (2024-05-24T05:46:04Z)
• YaART: Yet Another ART Rendering Technology [119.09155882164573]
  そこで本研究では,ヒトの嗜好に適合する新しい生産段階のテキスト・ツー・イメージ拡散モデルYaARTを紹介した。 これらの選択がトレーニングプロセスの効率と生成された画像の品質にどのように影響するかを分析する。 高品質な画像の小さなデータセットでトレーニングされたモデルが、より大きなデータセットでトレーニングされたモデルとうまく競合できることを実証する。
  論文  参考訳（メタデータ） (2024-04-08T16:51:19Z)
• Decoupled Data Consistency with Diffusion Purification for Image Restoration [15.043002968696978]
  本稿では,データ整合性ステップから逆処理を分離することで問題に対処する拡散型画像復元法を提案する。 我々の手法は多目的性を示し、潜在空間における効率的な問題解決に高い適応性を与える。 提案手法の有効性は,画像のデノイング,デブロアリング,インペイント,超解像など,画像修復作業における総合的な実験を通じて検証される。
  論文  参考訳（メタデータ） (2024-03-10T00:47:05Z)
• Steerable Conditional Diffusion for Out-of-Distribution Adaptation in Medical Image Reconstruction [75.91471250967703]
  我々は、ステアブル条件拡散と呼ばれる新しいサンプリングフレームワークを導入する。 このフレームワークは、利用可能な測定によって提供される情報のみに基づいて、画像再構成と並行して拡散モデルを適用する。 様々な画像モダリティにまたがるアウト・オブ・ディストリビューション性能の大幅な向上を実現した。
  論文  参考訳（メタデータ） (2023-08-28T08:47:06Z)
• Diffusion Models for Image Restoration and Enhancement -- A Comprehensive Survey [96.99328714941657]
  本稿では,近年の拡散モデルに基づく画像復元手法について概観する。 我々は、赤外線とブラインド/現実世界の両方で拡散モデルを用いて、革新的なデザインを分類し、強調する。 本稿では,拡散モデルに基づくIRの今後の研究に向けた5つの可能性と課題を提案する。
  論文  参考訳（メタデータ） (2023-08-18T08:40:38Z)
• Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
  拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。 本稿では,階層型統合拡散モデル(HI-Diff)を提案する。 人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-22T12:18:20Z)
• DDRF: Denoising Diffusion Model for Remote Sensing Image Fusion [7.06521373423708]
  生成モデルとしてのデノシング拡散モデルは、画像生成の分野で多くの注目を集めている。 画像融合フィールドへの拡散モデルを導入し、画像融合タスクを画像から画像への変換として扱う。 本手法は,画像融合タスクに拡散モデルを適用するために,他の作業に刺激を与え,この分野の洞察を得ることができる。
  論文  参考訳（メタデータ） (2023-04-10T12:28:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。