Fugu-MT 論文翻訳(概要): MRIS: A Multi-modal Retrieval Approach for Image Synthesis on Diverse Modalities

論文の概要: MRIS: A Multi-modal Retrieval Approach for Image Synthesis on Diverse Modalities

arxiv url: http://arxiv.org/abs/2303.10249v1
Date: Fri, 17 Mar 2023 20:58:55 GMT
ステータス: 処理完了
システム内更新日: 2023-03-21 20:32:18.483266
Title: MRIS: A Multi-modal Retrieval Approach for Image Synthesis on Diverse Modalities
Title（参考訳）: mri : 多様なモダリティを用いた画像合成のためのマルチモーダル検索手法
Authors: Boqi Chen, Marc Niethammer
Abstract要約: 多様なモダリティの画像を合成するために,マルチモーダルなメトリック学習に基づくアプローチを開発する。 3次元磁気共鳴(MR)画像から得られた軟骨厚図を2次元ラジオグラフィーで合成し,そのアプローチを検証した。
参考スコア（独自算出の注目度）: 19.31577453889188
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Multiple imaging modalities are often used for disease diagnosis, prediction, or population-based analyses. However, not all modalities might be available due to cost, different study designs, or changes in imaging technology. If the differences between the types of imaging are small, data harmonization approaches can be used; for larger changes, direct image synthesis approaches have been explored. In this paper, we develop an approach based on multi-modal metric learning to synthesize images of diverse modalities. We use metric learning via multi-modal image retrieval, resulting in embeddings that can relate images of different modalities. Given a large image database, the learned image embeddings allow us to use k-nearest neighbor (k-NN) regression for image synthesis. Our driving medical problem is knee osteoarthritis (KOA), but our developed method is general after proper image alignment. We test our approach by synthesizing cartilage thickness maps obtained from 3D magnetic resonance (MR) images using 2D radiographs. Our experiments show that the proposed method outperforms direct image synthesis and that the synthesized thickness maps retain information relevant to downstream tasks such as progression prediction and Kellgren-Lawrence grading (KLG). Our results suggest that retrieval approaches can be used to obtain high-quality and meaningful image synthesis results given large image databases.
Abstract（参考訳）: 複数の画像モダリティは、疾患の診断、予測、人口ベースの分析にしばしば使用される。しかし、コスト、異なる研究設計、画像技術の変化のために全てのモダリティが利用できるわけではない。画像の種類の違いが小さい場合、データ調和法が利用可能であり、大きな変化に対して直接画像合成法が検討されている。本稿では,多モード距離学習に基づく手法を開発し,多様なモダリティの画像を合成する。我々は,マルチモーダル画像検索によるメトリック学習を用いて,異なるモダリティの画像を関連付ける埋め込みを実現する。大きな画像データベースが与えられた場合、学習した画像埋め込みにより、画像合成にk-nearest neighbor(k-NN)レグレッションを利用することができる。運転医学的問題は変形性膝関節症(koa)である。 3次元磁気共鳴(MR)画像から得られた軟骨厚図を2次元ラジオグラフィーで合成し,そのアプローチを検証した。実験の結果,提案手法は直接画像合成よりも優れており,合成された厚みマップは,進行予測やケルグレン・ラーレンスグレーディング(KLG)といった下流タスクに関連する情報を保持することがわかった。この結果から,大規模な画像データベースから高品質で有意義な画像合成結果を得るために,検索手法が有用であることが示唆された。

関連論文リスト

Maximizing domain generalization in fetal brain tissue segmentation: the role of synthetic data generation, intensity clustering and real image fine-tuning [1.1443262816483672]
SynthSegのような領域ランダム化に基づく最近のアプローチは、単一ソース領域の一般化に大きな可能性を示している。胎児脳MRIにおけるSynthSeg法におけるOPD(out-of- domain)の一般化ポテンシャルを最大化する方法を示す。
論文参考訳（メタデータ） (2024-11-11T10:17:44Z)
Autoregressive Sequence Modeling for 3D Medical Image Representation [48.706230961589924]
本稿では, 自己回帰シーケンス事前学習フレームワークを用いて, 3次元医用画像表現を学習するための先駆的手法を提案する。我々は,空間的,コントラスト的,意味的相関に基づく様々な3次元医用画像にアプローチし,トークンシーケンス内の相互接続された視覚トークンとして扱う。
論文参考訳（メタデータ） (2024-09-13T10:19:10Z)
A Domain Translation Framework with an Adversarial Denoising Diffusion Model to Generate Synthetic Datasets of Echocardiography Images [0.5999777817331317]
臨床研究に好適な心エコー画像を作成するための枠組みを提案する。いくつかのドメイン翻訳操作において、このような生成モデルによって高品質な画像サンプルを合成できることが確認された。
論文参考訳（メタデータ） (2024-03-07T15:58:03Z)
Disentangled Multimodal Brain MR Image Translation via Transformer-based Modality Infuser [12.402947207350394]
マルチモーダル脳MR画像の合成を目的としたトランスフォーマーを用いたモダリティインジェクタを提案する。本手法では,エンコーダからモダリティに依存しない特徴を抽出し,その特徴をモダリティ固有の特徴に変換する。われわれはBraTS 2018データセットで4つのMRモードを変換する実験を行った。
論文参考訳（メタデータ） (2024-02-01T06:34:35Z)
On Sensitivity and Robustness of Normalization Schemes to Input Distribution Shifts in Automatic MR Image Diagnosis [58.634791552376235]
深層学習(DL)モデルは、再構成画像を入力として、複数の疾患の診断において最先端のパフォーマンスを達成した。 DLモデルは、トレーニングとテストフェーズ間の入力データ分布の変化につながるため、さまざまなアーティファクトに敏感である。本稿では,グループ正規化やレイヤ正規化といった他の正規化手法を用いて,画像のさまざまなアーチファクトに対して,モデル性能にロバスト性を注入することを提案する。
論文参考訳（メタデータ） (2023-06-23T03:09:03Z)
Generative Adversarial Networks for Brain Images Synthesis: A Review [2.609784101826762]
医用画像において、画像合成とは、ある画像(シーケンス、モダリティ)を別の画像(シーケンス、モダリティ)から推定する過程である。 GAN(Generative Adversarial Network)は、GAN(Generative-based Deep Learning)の一種。我々は,CTからPETへの画像合成,CTからMRIへの画像合成,PETへの画像合成,およびその逆を含む最近のGANの展開を要約した。
論文参考訳（メタデータ） (2023-05-16T17:28:06Z)
Cross-Modality Sub-Image Retrieval using Contrastive Multimodal Image Representations [3.3754780158324564]
異なるモダリティによってキャプチャされた類似(または同じ)コンテンツのイメージは、共通の構造をほとんど共有しないため、モダリティ間の画像検索は困難である。本稿では,モダリティ間の逆(サブ)画像検索のためのアプリケーション非依存のコンテンツベース画像検索システムを提案する。
論文参考訳（メタデータ） (2022-01-10T19:04:28Z)
Multi-modal Aggregation Network for Fast MR Imaging [85.25000133194762]
我々は,完全サンプル化された補助モダリティから補完表現を発見できる,MANetという新しいマルチモーダル・アグリゲーション・ネットワークを提案する。我々のMANetでは,完全サンプリングされた補助的およびアンアンサンプされた目標モダリティの表現は,特定のネットワークを介して独立に学習される。私たちのMANetは、$k$-spaceドメインの周波数信号を同時に回復できるハイブリッドドメイン学習フレームワークに従います。
論文参考訳（メタデータ） (2021-10-15T13:16:59Z)
Modality Completion via Gaussian Process Prior Variational Autoencoders for Multi-Modal Glioma Segmentation [75.58395328700821]
本稿では,患者スキャンに欠落するサブモダリティを1つ以上のインプットするために,MGP-VAE(Multi-modal Gaussian Process Prior Variational Autoencoder)を提案する。 MGP-VAEは、変分オートエンコーダ(VAE)に先立ってガウス過程(GP)を利用して、被験者/患者およびサブモダリティ相関を利用することができる。 4つのサブモダリティのうち2つ、または3つが欠落している脳腫瘍に対するMGP-VAEの適用性を示す。
論文参考訳（メタデータ） (2021-07-07T19:06:34Z)
Pathological Retinal Region Segmentation From OCT Images Using Geometric Relation Based Augmentation [84.7571086566595]
本稿では,幾何学と形状の内在的関係を共同で符号化することで,従来のGANベースの医用画像合成法よりも優れた手法を提案する。提案手法は,取得手順の異なる画像を有する公開RETOUCHデータセット上で,最先端のセグメンテーション手法より優れている。
論文参考訳（メタデータ） (2020-03-31T11:50:43Z)
Hi-Net: Hybrid-fusion Network for Multi-modal MR Image Synthesis [143.55901940771568]
マルチモーダルMR画像合成のためのHybrid-fusion Network(Hi-Net)を提案する。当社のHi-Netでは,各モーダリティの表現を学習するために,モーダリティ特化ネットワークを用いている。マルチモーダル合成ネットワークは、潜在表現と各モーダルの階層的特徴を密結合するように設計されている。
論文参考訳（メタデータ） (2020-02-11T08:26:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。