論文の概要: CoMIR: Contrastive Multimodal Image Representation for Registration
- arxiv url: http://arxiv.org/abs/2006.06325v2
- Date: Fri, 23 Oct 2020 08:54:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 13:32:46.306937
- Title: CoMIR: Contrastive Multimodal Image Representation for Registration
- Title（参考訳）: comir: 登録のための対照的なマルチモーダル画像表現
- Authors: Nicolas Pielawski, Elisabeth Wetzer, Johan \"Ofverstedt, Jiahao Lu,
Carolina W\"ahlby, Joakim Lindblad and Nata\v{s}a Sladoje
- Abstract要約: 我々は,CoMIR(Contrastive Multimodal Image Representations)と呼ばれる,共有された高密度画像表現を学習するためのコントラスト符号化を提案する。
CoMIRは、十分に類似した画像構造が欠如しているため、既存の登録方法がしばしば失敗するマルチモーダル画像の登録を可能にする。
- 参考スコア（独自算出の注目度）: 4.543268895439618
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose contrastive coding to learn shared, dense image representations,
referred to as CoMIRs (Contrastive Multimodal Image Representations). CoMIRs
enable the registration of multimodal images where existing registration
methods often fail due to a lack of sufficiently similar image structures.
CoMIRs reduce the multimodal registration problem to a monomodal one, in which
general intensity-based, as well as feature-based, registration algorithms can
be applied. The method involves training one neural network per modality on
aligned images, using a contrastive loss based on noise-contrastive estimation
(InfoNCE). Unlike other contrastive coding methods, used for, e.g.,
classification, our approach generates image-like representations that contain
the information shared between modalities. We introduce a novel,
hyperparameter-free modification to InfoNCE, to enforce rotational equivariance
of the learnt representations, a property essential to the registration task.
We assess the extent of achieved rotational equivariance and the stability of
the representations with respect to weight initialization, training set, and
hyperparameter settings, on a remote sensing dataset of RGB and near-infrared
images. We evaluate the learnt representations through registration of a
biomedical dataset of bright-field and second-harmonic generation microscopy
images; two modalities with very little apparent correlation. The proposed
approach based on CoMIRs significantly outperforms registration of
representations created by GAN-based image-to-image translation, as well as a
state-of-the-art, application-specific method which takes additional knowledge
about the data into account. Code is available at:
https://github.com/MIDA-group/CoMIR.
- Abstract（参考訳）: 本研究では,コミール (contrastive multimodal image representations) と呼ばれる共有画像表現を学習するために,コントラスト符号化を提案する。
CoMIRは、十分に類似した画像構造が欠如しているため、既存の登録方法がしばしば失敗するマルチモーダル画像の登録を可能にする。
CoMIRはマルチモーダル登録問題をモノモーダルに還元し、一般的な強度ベースおよび特徴ベース登録アルゴリズムを適用することができる。
この方法は、ノイズコントラスト推定(infonce)に基づくコントラスト損失を用いて、アライメント画像上のモダリティ毎に1つのニューラルネットワークを訓練することを含む。
他のコントラスト符号化法、例えば分類法とは異なり、この手法はモダリティ間で共有される情報を含む画像のような表現を生成する。
登録タスクに不可欠な特性である学習表現の回転同値を強制するために、InfoNCEに新しいハイパーパラメータフリーな修正を導入する。
本研究では,rgbおよび近赤外画像のリモートセンシングデータセット上で,重み初期化,トレーニングセット,ハイパーパラメータ設定に関して,達成された回転同分散の程度と表現の安定性を評価する。
我々は,鮮視野および第2高調波発生顕微鏡画像のバイオメディカルデータセットの登録による学習表現の評価を行った。
提案手法は,GANをベースとしたイメージ・ツー・イメージ翻訳による表現の登録や,データに関するさらなる知識を考慮に入れた最先端のアプリケーション固有手法よりも優れている。
コードは、https://github.com/MIDA-group/CoMIRで入手できる。
関連論文リスト
- MsMorph: An Unsupervised pyramid learning network for brain image registration [4.000367245594772]
MsMorphは、イメージペアを登録する手動プロセスの模倣を目的とした、イメージ登録フレームワークである。
異なるスケールで意味情報をデコードし、予測された変形場に対して連続的に合成する。
提案手法は,画像ペアとその近傍の異なる領域に着目し,手動による登録手法をシミュレートする。
論文 参考訳（メタデータ） (2024-10-23T19:20:57Z) - NeuroPictor: Refining fMRI-to-Image Reconstruction via Multi-individual Pretraining and Multi-level Modulation [55.51412454263856]
本稿では,fMRI信号を用いた拡散モデル生成過程を直接変調することを提案する。
様々な個人から約67,000 fMRI-imageペアのトレーニングを行うことで,fMRI-to-imageデコーディング能力に優れたモデルが得られた。
論文 参考訳（メタデータ） (2024-03-27T02:42:52Z) - Rotated Multi-Scale Interaction Network for Referring Remote Sensing Image Segmentation [63.15257949821558]
Referring Remote Sensing Image (RRSIS)は、コンピュータビジョンと自然言語処理を組み合わせた新しい課題である。
従来の参照画像(RIS)アプローチは、空中画像に見られる複雑な空間スケールと向きによって妨げられている。
本稿ではRMSIN(Rotated Multi-Scale Interaction Network)を紹介する。
論文 参考訳（メタデータ） (2023-12-19T08:14:14Z) - Unified Frequency-Assisted Transformer Framework for Detecting and
Grounding Multi-Modal Manipulation [109.1912721224697]
本稿では、DGM4問題に対処するため、UFAFormerという名前のUnified Frequency-Assisted TransFormerフレームワークを提案する。
離散ウェーブレット変換を利用して、画像を複数の周波数サブバンドに分解し、リッチな顔偽造品をキャプチャする。
提案する周波数エンコーダは、帯域内およびバンド間自己アテンションを組み込んだもので、多種多様なサブバンド内および多種多様なフォージェリー特徴を明示的に集約する。
論文 参考訳（メタデータ） (2023-09-18T11:06:42Z) - Breaking Modality Disparity: Harmonized Representation for Infrared and
Visible Image Registration [66.33746403815283]
シーン適応型赤外線と可視画像の登録を提案する。
我々は、異なる平面間の変形をシミュレートするためにホモグラフィーを用いる。
我々は、まず、赤外線と可視画像のデータセットが不一致であることを示す。
論文 参考訳（メタデータ） (2023-04-12T06:49:56Z) - Unsupervised Multi-Modal Medical Image Registration via
Discriminator-Free Image-to-Image Translation [4.43142018105102]
本稿では,複数モーダル登録問題をモノモーダル画像に変換するための,新しい翻訳に基づく教師なしデフォルマブル画像登録手法を提案する。
提案手法では,登録ネットワークのトレーニングを容易にするために,識別不要な翻訳ネットワークと,オブジェクトの形状を保たせるためのパッチワイドなコントラスト損失が組み込まれている。
論文 参考訳（メタデータ） (2022-04-28T17:18:21Z) - Transformer-empowered Multi-scale Contextual Matching and Aggregation
for Multi-contrast MRI Super-resolution [55.52779466954026]
マルチコントラスト・スーパーレゾリューション (SR) 再構成により, SR画像の高画質化が期待できる。
既存の手法では、これらの特徴をマッチングし、融合させる効果的なメカニズムが欠如している。
そこで本稿では,トランスフォーマーを利用したマルチスケールコンテキストマッチングとアグリゲーション技術を開発することで,これらの問題を解決する新しいネットワークを提案する。
論文 参考訳（メタデータ） (2022-03-26T01:42:59Z) - Semantic similarity metrics for learned image registration [10.355938901584565]
画像登録のための意味的類似度尺度を提案する。
このアプローチは、学習に基づく登録モデルの最適化を促進するデータセット固有の特徴を学習する。
自動エンコーダを用いた非監視的アプローチと、補助セグメンテーションデータを用いた半監督的アプローチの両方をトレーニングし、画像登録のための意味的特徴を抽出します。
論文 参考訳（メタデータ） (2021-04-20T15:23:58Z) - Deep Group-wise Variational Diffeomorphic Image Registration [3.0022455491411653]
本稿では,複数の画像の同時登録を可能にするために,現在の学習ベース画像登録を拡張することを提案する。
本稿では,複数の画像の粘性測地線平均への登録と,利用可能な画像のいずれかを固定画像として使用可能な登録を両立できる汎用的な数学的枠組みを提案する。
論文 参考訳（メタデータ） (2020-10-01T07:37:28Z) - MvMM-RegNet: A new image registration framework based on multivariate
mixture model and neural network estimation [14.36896617430302]
生成モデル(MvMM)とニューラルネットワーク推定に基づく新しい画像登録フレームワークを提案する。
外観と解剖情報を一体化した生成モデルを構築し、グループ登録が可能な新規な損失関数を導出する。
マルチモーダル心画像への様々な応用のためのフレームワークの汎用性を強調した。
論文 参考訳（メタデータ） (2020-06-28T11:19:15Z) - Learning Deformable Image Registration from Optimization: Perspective,
Modules, Bilevel Training and Beyond [62.730497582218284]
マルチスケールの伝搬により微分同相モデルを最適化する,新しいディープラーニングベースのフレームワークを開発した。
我々は,脳MRIデータにおける画像-アトラス登録,肝CTデータにおける画像-画像登録を含む,3次元ボリュームデータセットにおける画像登録実験の2つのグループを実行する。
論文 参考訳（メタデータ） (2020-04-30T03:23:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。