論文の概要: Is Image-to-Image Translation the Panacea for Multimodal Image Registration? A Comparative Study

• arxiv url: http://arxiv.org/abs/2103.16262v1
• Date: Tue, 30 Mar 2021 11:28:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-31 14:40:32.776338
• Title: Is Image-to-Image Translation the Panacea for Multimodal Image Registration? A Comparative Study
• Title（参考訳）: 画像から画像への変換は、マルチモーダル画像登録のためのpanaceaか? 比較研究
• Authors: Jiahao Lu, Johan \"Ofverstedt, Joakim Lindblad, Nata\v{s}a Sladoje
• Abstract要約: マルチモーダルバイオメディカル画像登録作業における現代i2i翻訳法の適用性に関する実証研究を行った。 4つのGAN(Generative Adrial Network)ベースの方法と1つのコントラスト表現学習方法のパフォーマンスを比較します。 その結果,I2I翻訳は,登録対象のモダリティが明確に相関している場合には有用であるが,I2I翻訳手法では明らかに異なる特性を示すモダリティの登録が不十分であることが示唆された。
• 参考スコア（独自算出の注目度）: 4.00906288611816
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Despite current advancement in the field of biomedical image processing, propelled by the deep learning revolution, multimodal image registration, due to its several challenges, is still often performed manually by specialists. The recent success of image-to-image (I2I) translation in computer vision applications and its growing use in biomedical areas provide a tempting possibility of transforming the multimodal registration problem into a, potentially easier, monomodal one. We conduct an empirical study of the applicability of modern I2I translation methods for the task of multimodal biomedical image registration. We compare the performance of four Generative Adversarial Network (GAN)-based methods and one contrastive representation learning method, subsequently combined with two representative monomodal registration methods, to judge the effectiveness of modality translation for multimodal image registration. We evaluate these method combinations on three publicly available multimodal datasets of increasing difficulty, and compare with the performance of registration by Mutual Information maximisation and one modern data-specific multimodal registration method. Our results suggest that, although I2I translation may be helpful when the modalities to register are clearly correlated, registration of modalities which express distinctly different properties of the sample are not well handled by the I2I translation approach. When less information is shared between the modalities, the I2I translation methods struggle to provide good predictions, which impairs the registration performance. The evaluated representation learning method, which aims to find an in-between representation, manages better, and so does the Mutual Information maximisation approach. We share our complete experimental setup as open-source (https://github.com/Noodles-321/Registration).
• Abstract（参考訳）: 深層学習革命によって推進されたバイオメディカル画像処理の分野における最近の進歩にもかかわらず、マルチモーダル画像登録はいくつかの課題により、専門家によって手作業で行われていることが多い。 近年のコンピュータビジョンアプリケーションにおけるイメージ・ツー・イメージ(I2I)翻訳の成功と、バイオメディカル領域での利用の増加は、マルチモーダル登録問題をより簡単でモノモーダルなものに転換する誘惑の可能性を示唆している。 マルチモーダルバイオメディカル画像登録作業における現代i2i翻訳法の適用性に関する実証研究を行った。 画像登録におけるモダリティ変換の有効性を判断するために,4つの生成型adversarial network (gan) 法と1つのコントラスト表現学習法と2つの代表的モノモーダル登録法を比較した。 提案手法は,難易度が増大する3つの公開マルチモーダルデータセット上で評価し,相互情報最大化による登録性能と,最新のデータ固有マルチモーダル登録方式との比較を行った。 以上の結果から,i2i翻訳は,登録するモダリティが明確に相関する場合に有効であるが,i2i翻訳手法では,試料の異なる特性を示すモダリティの登録が適切に処理されていないことが示唆された。 モダリティ間で情報共有が少ない場合、i2i翻訳手法は良好な予測を提供するのに苦労し、登録性能を損なう。 中間表現を見つけることを目的とした評価表現学習手法は、より良く管理され、相互情報最大化アプローチもそうである。 実験の完全なセットアップをオープンソースとして公開しています(https://github.com/Noodles-321/Registration)。

関連論文リスト

• Learning to Exploit Temporal Structure for Biomedical Vision-Language Processing [53.89917396428747]
  視覚言語処理における自己教師あり学習は、画像とテキストのモダリティのセマンティックアライメントを利用する。 トレーニングと微調整の両方で利用できる場合、事前のイメージとレポートを明示的に説明します。 我々のアプローチはBioViL-Tと呼ばれ、テキストモデルと共同で訓練されたCNN-Transformerハイブリッドマルチイメージエンコーダを使用する。
  論文  参考訳（メタデータ） (2023-01-11T16:35:33Z)
• Beyond Triplet: Leveraging the Most Data for Multimodal Machine Translation [53.342921374639346]
  マルチモーダル機械翻訳は、視覚などの他のモーダルからの情報を取り入れることで、翻訳品質を向上させることを目的としている。 従来のMMTシステムは主に視覚情報へのアクセスと利用に重点を置いており、画像関連データセット上でそれらの手法を検証する傾向がある。 本稿では,MTのための新しい手法と新しいデータセットを確立する。
  論文  参考訳（メタデータ） (2022-12-20T15:02:38Z)
• Unsupervised Multi-Modal Medical Image Registration via Discriminator-Free Image-to-Image Translation [4.43142018105102]
  本稿では,複数モーダル登録問題をモノモーダル画像に変換するための,新しい翻訳に基づく教師なしデフォルマブル画像登録手法を提案する。 提案手法では,登録ネットワークのトレーニングを容易にするために,識別不要な翻訳ネットワークと,オブジェクトの形状を保たせるためのパッチワイドなコントラスト損失が組み込まれている。
  論文  参考訳（メタデータ） (2022-04-28T17:18:21Z)
• Multi-modal unsupervised brain image registration using edge maps [7.49320945341034]
  本稿では,マルチモーダル画像登録手法を提案する。 この背景にある直感は、強い勾配の像の位置が組織の遷移を意味すると仮定されている。 我々は3つの異なる損失関数を用いて、異なる被験者のマルチモーダル(T1wからT2w)磁気共鳴(MR)脳画像を登録する状況において、我々のアプローチを評価する。
  論文  参考訳（メタデータ） (2022-02-09T15:50:14Z)
• Multi-domain Unsupervised Image-to-Image Translation with Appearance Adaptive Convolution [62.4972011636884]
  本稿では,MDUIT(Multi-domain unsupervised image-to-image translation)フレームワークを提案する。 我々は、分解されたコンテンツ特徴と外観適応的畳み込みを利用して、画像をターゲットの外観に変換する。 提案手法は,最先端の手法と比較して,複数の領域で視覚的に多様かつ妥当な結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-02-06T14:12:34Z)
• Mutual information neural estimation for unsupervised multi-modal registration of brain images [0.0]
  エンド・ツー・エンドのトレーニング可能なネットワークにおける画像ペア間のMI推定による深層学習に基づく登録手法の学習指導について提案する。 以上の結果から,2層ネットワークは単モードとマルチモーダルの両方で,サブ秒のランタイムで競合する結果が得られることがわかった。 リアルタイム臨床応用は、解剖学的構造の視覚的整合性が向上し、登録障害/アウトリージが減少するのに役立つだろう。
  論文  参考訳（メタデータ） (2022-01-25T13:22:34Z)
• StEP: Style-based Encoder Pre-training for Multi-modal Image Synthesis [68.3787368024951]
  マルチモーダルイメージ・ツー・イメージ(I2I)翻訳のための新しいアプローチを提案する。 我々は、出力領域の可変性をモデル化する潜伏埋め込みをジェネレータと共同で学習する。 具体的には、新しいプロキシタスクを用いて汎用的なスタイルエンコーダを事前訓練し、任意のドメインから低次元のスタイル潜在空間への画像の埋め込みを学習する。
  論文  参考訳（メタデータ） (2021-04-14T19:58:24Z)
• Unsupervised Image-to-Image Translation via Pre-trained StyleGAN2 Network [73.5062435623908]
  本稿では,一連のモデル変換によって対象領域に新たなモデルを生成する新しいI2I翻訳手法を提案する。 潜在ベクトルを生成されたモデルに入力することで、ソースドメインとターゲットドメインの間でI2I翻訳を行うことができる。
  論文  参考訳（メタデータ） (2020-10-12T13:51:40Z)
• Adversarial Uni- and Multi-modal Stream Networks for Multimodal Image Registration [20.637787406888478]
  CT画像とMR画像との変形性画像登録は多くの画像誘導療法において不可欠である。 本稿では,新しい翻訳に基づく教師なしデフォルマブル画像登録手法を提案する。 本手法は2つの臨床データセットで評価され,最先端の従来法と学習法と比較して有望な結果が得られた。
  論文  参考訳（メタデータ） (2020-07-06T14:44:06Z)
• Learning Deformable Image Registration from Optimization: Perspective, Modules, Bilevel Training and Beyond [62.730497582218284]
  マルチスケールの伝搬により微分同相モデルを最適化する,新しいディープラーニングベースのフレームワークを開発した。 我々は,脳MRIデータにおける画像-アトラス登録,肝CTデータにおける画像-画像登録を含む,3次元ボリュームデータセットにおける画像登録実験の2つのグループを実行する。
  論文  参考訳（メタデータ） (2020-04-30T03:23:45Z)
• Unsupervised Multi-Modal Image Registration via Geometry Preserving Image-to-Image Translation [43.060971647266236]
  我々は2つの入力モダリティに基づいて画像と画像の変換ネットワークを訓練する。 この学習された翻訳により、シンプルで信頼性の高いモノモダリティメトリクスを使用して、登録ネットワークをトレーニングすることができる。 最先端のマルチモーダル手法と比較して, 提案手法は教師なしであり, 整列したモーダルのペアは必要とせず, 任意のモーダルのペアに適応できる。
  論文  参考訳（メタデータ） (2020-03-18T07:21:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。