論文の概要: MAD: Modality Agnostic Distance Measure for Image Registration
- arxiv url: http://arxiv.org/abs/2309.02875v1
- Date: Wed, 6 Sep 2023 09:59:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-07 15:55:33.902087
- Title: MAD: Modality Agnostic Distance Measure for Image Registration
- Title(参考訳): MAD:画像登録のためのModality Agnostic Distance Measuremente
- Authors: Vasiliki Sideri-Lampretsa, Veronika A. Zimmer, Huaqi Qiu, Georgios
Kaissis, and Daniel Rueckert
- Abstract要約: マルチモーダル画像登録は多くの医療応用において重要な前処理ステップである。
画像の固有な幾何学をランダムな畳み込みを用いて学習する手法である、Modality Agnostic Distance (MAD)を提案する。
我々は、MADがマルチモーダル画像のアフィニシャルな登録を成功させるだけでなく、従来の計測値よりも大きなキャプチャ範囲を持つことを実証した。
- 参考スコア(独自算出の注目度): 14.558286801723293
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-modal image registration is a crucial pre-processing step in many
medical applications. However, it is a challenging task due to the complex
intensity relationships between different imaging modalities, which can result
in large discrepancy in image appearance. The success of multi-modal image
registration, whether it is conventional or learning based, is predicated upon
the choice of an appropriate distance (or similarity) measure. Particularly,
deep learning registration algorithms lack in accuracy or even fail completely
when attempting to register data from an "unseen" modality. In this work, we
present Modality Agnostic Distance (MAD), a deep image distance}] measure that
utilises random convolutions to learn the inherent geometry of the images while
being robust to large appearance changes. Random convolutions are
geometry-preserving modules which we use to simulate an infinite number of
synthetic modalities alleviating the need for aligned paired data during
training. We can therefore train MAD on a mono-modal dataset and successfully
apply it to a multi-modal dataset. We demonstrate that not only can MAD
affinely register multi-modal images successfully, but it has also a larger
capture range than traditional measures such as Mutual Information and
Normalised Gradient Fields.
- Abstract(参考訳): マルチモーダル画像登録は多くの医療応用において重要な前処理ステップである。
しかし、異なる画像モード間の複雑な強度関係のため、画像の外観に大きな違いをもたらす可能性があるため、これは難しい課題である。
従来型であれ学習型であれ、多モード画像登録の成功は、適切な距離(または類似性)尺度の選択によって予測される。
特に、ディープラーニング登録アルゴリズムは、"見えない"モダリティからデータを登録しようとすると、正確さに欠けたり、完全に失敗する。
本研究では,不規則畳み込みを利用して画像の固有形状を学習し,大きな外観変化に頑健なモーダリティ非依存距離(mad,deep image distance})を提案する。
ランダム畳み込み(Random convolutions)は、トレーニング中に整列されたデータの必要性を緩和する無限個の合成モダリティをシミュレートするために使用する幾何学保存モジュールである。
したがって、モノモーダルデータセット上でMADをトレーニングし、マルチモーダルデータセットに適用することができる。
本稿では,マルチモーダル画像の登録を成功させるだけでなく,相互情報や正規化勾配場といった従来の手法よりも広いキャプチャ範囲を持つことを示す。
関連論文リスト
- MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training [105.36623165770936]
MLLM(Performant Multimodal Large Language Models)を構築する。
特に,さまざまなアーキテクチャコンポーネントとデータ選択の重要性について検討する。
本稿では,画像キャプチャ,インターリーブ画像テキスト,テキストのみのデータを組み合わせた大規模マルチモーダル事前学習について述べる。
論文 参考訳(メタデータ) (2024-03-14T17:51:32Z) - Learning Multimodal Data Augmentation in Feature Space [65.54623807628536]
LeMDAは、機能空間におけるマルチモーダルデータを共同で拡張することを自動的に学習する、使い易い方法である。
我々はLeMDAがマルチモーダルディープラーニングアーキテクチャの性能を大幅に向上させることができることを示す。
論文 参考訳(メタデータ) (2022-12-29T20:39:36Z) - Multi-scale Transformer Network with Edge-aware Pre-training for
Cross-Modality MR Image Synthesis [52.41439725865149]
クロスモダリティ磁気共鳴(MR)画像合成は、与えられたモダリティから欠落するモダリティを生成するために用いられる。
既存の(教師付き学習)手法は、効果的な合成モデルを訓練するために、多くのペア化されたマルチモーダルデータを必要とすることが多い。
マルチスケールトランスフォーマーネットワーク(MT-Net)を提案する。
論文 参考訳(メタデータ) (2022-12-02T11:40:40Z) - Unsupervised Multi-Modal Medical Image Registration via
Discriminator-Free Image-to-Image Translation [4.43142018105102]
本稿では,複数モーダル登録問題をモノモーダル画像に変換するための,新しい翻訳に基づく教師なしデフォルマブル画像登録手法を提案する。
提案手法では,登録ネットワークのトレーニングを容易にするために,識別不要な翻訳ネットワークと,オブジェクトの形状を保たせるためのパッチワイドなコントラスト損失が組み込まれている。
論文 参考訳(メタデータ) (2022-04-28T17:18:21Z) - Multi-modal unsupervised brain image registration using edge maps [7.49320945341034]
本稿では,マルチモーダル画像登録手法を提案する。
この背景にある直感は、強い勾配の像の位置が組織の遷移を意味すると仮定されている。
我々は3つの異なる損失関数を用いて、異なる被験者のマルチモーダル(T1wからT2w)磁気共鳴(MR)脳画像を登録する状況において、我々のアプローチを評価する。
論文 参考訳(メタデータ) (2022-02-09T15:50:14Z) - StEP: Style-based Encoder Pre-training for Multi-modal Image Synthesis [68.3787368024951]
マルチモーダルイメージ・ツー・イメージ(I2I)翻訳のための新しいアプローチを提案する。
我々は、出力領域の可変性をモデル化する潜伏埋め込みをジェネレータと共同で学習する。
具体的には、新しいプロキシタスクを用いて汎用的なスタイルエンコーダを事前訓練し、任意のドメインから低次元のスタイル潜在空間への画像の埋め込みを学習する。
論文 参考訳(メタデータ) (2021-04-14T19:58:24Z) - Deep Group-wise Variational Diffeomorphic Image Registration [3.0022455491411653]
本稿では,複数の画像の同時登録を可能にするために,現在の学習ベース画像登録を拡張することを提案する。
本稿では,複数の画像の粘性測地線平均への登録と,利用可能な画像のいずれかを固定画像として使用可能な登録を両立できる汎用的な数学的枠組みを提案する。
論文 参考訳(メタデータ) (2020-10-01T07:37:28Z) - Adaptive Context-Aware Multi-Modal Network for Depth Completion [107.15344488719322]
我々は,観測された空間コンテキストを捉えるために,グラフ伝搬を採用することを提案する。
次に、注意機構を伝搬に適用し、ネットワークが文脈情報を適応的にモデル化することを奨励する。
最後に、抽出したマルチモーダル特徴を効果的に活用するための対称ゲート融合戦略を導入する。
本稿では,Adaptive Context-Aware Multi-Modal Network (ACMNet) を2つのベンチマークで評価した。
論文 参考訳(メタデータ) (2020-08-25T06:00:06Z) - CoMIR: Contrastive Multimodal Image Representation for Registration [4.543268895439618]
我々は,CoMIR(Contrastive Multimodal Image Representations)と呼ばれる,共有された高密度画像表現を学習するためのコントラスト符号化を提案する。
CoMIRは、十分に類似した画像構造が欠如しているため、既存の登録方法がしばしば失敗するマルチモーダル画像の登録を可能にする。
論文 参考訳(メタデータ) (2020-06-11T10:51:33Z) - Learning Deformable Image Registration from Optimization: Perspective,
Modules, Bilevel Training and Beyond [62.730497582218284]
マルチスケールの伝搬により微分同相モデルを最適化する,新しいディープラーニングベースのフレームワークを開発した。
我々は,脳MRIデータにおける画像-アトラス登録,肝CTデータにおける画像-画像登録を含む,3次元ボリュームデータセットにおける画像登録実験の2つのグループを実行する。
論文 参考訳(メタデータ) (2020-04-30T03:23:45Z) - Unsupervised Multi-Modal Image Registration via Geometry Preserving
Image-to-Image Translation [43.060971647266236]
我々は2つの入力モダリティに基づいて画像と画像の変換ネットワークを訓練する。
この学習された翻訳により、シンプルで信頼性の高いモノモダリティメトリクスを使用して、登録ネットワークをトレーニングすることができる。
最先端のマルチモーダル手法と比較して, 提案手法は教師なしであり, 整列したモーダルのペアは必要とせず, 任意のモーダルのペアに適応できる。
論文 参考訳(メタデータ) (2020-03-18T07:21:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。