論文の概要: Bi-modality Images Transfer with a Discrete Process Matching Method

• arxiv url: http://arxiv.org/abs/2409.03977v1
• Date: Fri, 6 Sep 2024 01:54:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-09 16:58:39.077828
• Title: Bi-modality Images Transfer with a Discrete Process Matching Method
• Title（参考訳）: 離散プロセスマッチング法による両モード画像転送
• Authors: Zhe Xiong, Qiaoqiao Ding, Xiaoqun Zhang,
• Abstract要約: 両モード画像転送タスクを実現するために,新しいフローベースモデルである離散プロセスマッチング(DPM)を提案する。 MRI T1/T2とCT/MRIの3つのデータセットに対する実験により、DPMは両モード画像合成における他の最先端フローベース手法よりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 2.7309692684728617
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, medical image synthesis gains more and more popularity, along with the rapid development of generative models. Medical image synthesis aims to generate an unacquired image modality, often from other observed data modalities. Synthesized images can be used for clinical diagnostic assistance, data augmentation for model training and validation or image quality improving. In the meanwhile, the flow-based models are among the successful generative models for the ability of generating realistic and high-quality synthetic images. However, most flow-based models require to calculate flow ordinary different equation (ODE) evolution steps in transfer process, for which the performances are significantly limited by heavy computation time due to a large number of time iterations. In this paper, we propose a novel flow-based model, namely Discrete Process Matching (DPM) to accomplish the bi-modality image transfer tasks. Different to other flow matching based models, we propose to utilize both forward and backward ODE flow and enhance the consistency on the intermediate images of few discrete time steps, resulting in a transfer process with much less iteration steps while maintaining high-quality generations for both modalities. Our experiments on three datasets of MRI T1/T2 and CT/MRI demonstrate that DPM outperforms other state-of-the-art flow-based methods for bi-modality image synthesis, achieving higher image quality with less computation time cost.
• Abstract（参考訳）: 近年, 生成モデルの急速な発展とともに, 医用画像合成がますます普及している。 医用画像合成は、しばしば他の観測されたデータモダリティから、未取得の画像モダリティを生成することを目的としている。 合成画像は、臨床診断補助、モデルトレーニングのためのデータ拡張、検証、画像品質改善に使用することができる。 一方、フローベースモデルは、現実的で高品質な合成画像を生成する能力において、成功した生成モデルの一つである。 しかし、ほとんどのフローベースモデルでは、移動過程におけるフロー常微分方程式(ODE)の進化ステップを計算する必要がある。 本稿では,DPM(Disdisrete Process Matching)と呼ばれる新しいフローベースモデルを提案する。 他のフローマッチングモデルと異なり、前向きと後向きのODEフローを併用し、少数の離散時間ステップの中間画像の一貫性を高めることを提案する。 MRI T1/T2 と CT/MRI の3つのデータセットに対する実験により,DPM は2モーダリティ画像合成における他の最先端のフローベース手法よりも優れており,計算コストの少ない画像品質を実現していることが示された。

関連論文リスト

• MMAR: Towards Lossless Multi-Modal Auto-Regressive Probabilistic Modeling [64.09238330331195]
  本稿では,MMAR(Multi-Modal Auto-Regressive)確率モデルフレームワークを提案する。 離散化の手法とは異なり、MMARは情報損失を避けるために連続的に評価された画像トークンを取り入れる。 MMARは他のジョイントマルチモーダルモデルよりもはるかに優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-14T17:57:18Z)
• Meissonic: Revitalizing Masked Generative Transformers for Efficient High-Resolution Text-to-Image Synthesis [62.06970466554273]
  SDXLのような最先端拡散モデルに匹敵するレベルまで、非自己回帰マスク型画像モデリング(MIM)のテキスト・ツー・イメージが増大するMeissonicを提案する。 高品質なトレーニングデータを活用し、人間の嗜好スコアから得られるマイクロ条件を統合し、特徴圧縮層を用いて画像の忠実度と解像度をさらに向上する。 我々のモデルは、高画質の高精細画像を生成する際に、SDXLのような既存のモデルに適合するだけでなく、しばしば性能を上回ります。
  論文  参考訳（メタデータ） (2024-10-10T17:59:17Z)
• Cross-conditioned Diffusion Model for Medical Image to Image Translation [22.020931436223204]
  医用画像から画像への変換のためのクロスコンディショニング拡散モデル(CDM)を提案する。 まず、目的のモダリティの分布をモデル化するためのモダリティ固有表現モデル(MRM)を提案する。 そして、MDN(Modality-Decoupled Diffusion Network)を設計し、MRMから効率よく効果的に分布を学習する。
  論文  参考訳（メタデータ） (2024-09-13T02:48:56Z)
• Multi-scale Conditional Generative Modeling for Microscopic Image Restoration [9.345394120765123]
  ウェーブレット領域内でのブラウンブリッジプロセスの新たな活用により条件付き画像復元を促進するマルチスケール生成モデルを提案する。 提案手法は,SOTA拡散モデルに匹敵する画像生成品質と多様性を維持しつつ,トレーニングおよびサンプリング中に顕著な加速を提供する。 この先駆的な技術は、効率と品質を調和させる効率的な画像復元フレームワークを提供し、最先端の生成モデルを計算顕微鏡に組み込む際の大きな進歩を示している。
  論文  参考訳（メタデータ） (2024-07-07T05:11:00Z)
• Scaling Rectified Flow Transformers for High-Resolution Image Synthesis [22.11487736315616]
  整流流(rectified flow)は、データとノイズを直線で接続する最近の生成モデルである。 我々は,既存のノイズサンプリング手法を改良し,それらを知覚的に関係のあるスケールに偏りを持たせることにより,整流モデルの訓練を行う。 本稿では,2つのモードの重みを分離したテキスト・画像生成のためのトランスフォーマー・ベースアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-03-05T18:45:39Z)
• Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference [60.32804641276217]
  本稿では,LCM(Latent Consistency Models)を提案する。 高品質の768 x 768 24-step LCMは、トレーニングに32A100 GPU時間しかかからない。 また,画像データセットの微調整に適した新しいLCM法であるLCF(Latent Consistency Fine-tuning)についても紹介する。
  論文  参考訳（メタデータ） (2023-10-06T17:11:58Z)
• IRGen: Generative Modeling for Image Retrieval [82.62022344988993]
  本稿では,画像検索を生成モデルの一種として再フレーミングする新しい手法を提案する。 我々は、イメージを意味単位の簡潔なシーケンスに変換するという技術的課題に対処するため、IRGenと呼ばれるモデルを開発した。 本モデルは,広範に使用されている3つの画像検索ベンチマークと200万件のデータセットに対して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-03-17T17:07:36Z)
• Diffusion Glancing Transformer for Parallel Sequence to Sequence Learning [52.72369034247396]
  モーダリティ拡散プロセスと残差グランシングサンプリングを併用した拡散グランシング変換器を提案する。 DIFFGLATは、自己回帰モデルと非自己回帰モデルの両方と比較して、高速な復号速度を維持しながら、より優れた生成精度を実現する。
  論文  参考訳（メタデータ） (2022-12-20T13:36:25Z)
• High-Resolution Image Synthesis with Latent Diffusion Models [14.786952412297808]
  オートエンコーダ上での拡散モデルの訓練は、複雑性の低減と詳細保存の間のほぼ最適点に初めて到達することができる。 我々の潜伏拡散モデル(LDMs)は,様々なタスクにおける画像インペイントと高い競争性能の新たな技術を実現する。
  論文  参考訳（メタデータ） (2021-12-20T18:55:25Z)
• Normalizing Flows with Multi-Scale Autoregressive Priors [131.895570212956]
  マルチスケール自己回帰前処理(mAR)を通した遅延空間におけるチャネルワイド依存性を導入する。 我々のmARは、分割結合フロー層(mAR-SCF)を持つモデルに先立って、複雑なマルチモーダルデータの依存関係をよりよく捉えます。 我々は,mAR-SCFにより画像生成品質が向上し,FIDとインセプションのスコアは最先端のフローベースモデルと比較して向上したことを示す。
  論文  参考訳（メタデータ） (2020-04-08T09:07:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。