論文の概要: Cross-Modality Sub-Image Retrieval using Contrastive Multimodal Image Representations

• arxiv url: http://arxiv.org/abs/2201.03597v1
• Date: Mon, 10 Jan 2022 19:04:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-12 14:20:20.066753
• Title: Cross-Modality Sub-Image Retrieval using Contrastive Multimodal Image Representations
• Title（参考訳）: コントラストマルチモーダル画像表現を用いたクロスモダリティサブイメージ検索
• Authors: Eva Breznik and Elisabeth Wetzer and Joakim Lindblad and Nata\v{s}a Sladoje
• Abstract要約: 異なるモダリティでキャプチャされた同じコンテンツのイメージは、ほとんど共通情報を表示できないため、モダリティ間の画像検索は特に要求されている。 本稿では,逆(サブ)画像検索のためのコンテンツベース画像検索システム(CBIR)を提案する。 本稿では,古典的,高速,堅牢な特徴抽出器を用いて,両モードを共通空間に埋め込んだ表現を生成することを提案する。
• 参考スコア（独自算出の注目度）: 3.3754780158324564
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In tissue characterization and cancer diagnostics, multimodal imaging has emerged as a powerful technique. Thanks to computational advances, large datasets can be exploited to improve diagnosis and discover patterns in pathologies. However, this requires efficient and scalable image retrieval methods. Cross-modality image retrieval is particularly demanding, as images of the same content captured in different modalities may display little common information. We propose a content-based image retrieval system (CBIR) for reverse (sub-)image search to retrieve microscopy images in one modality given a corresponding image captured by a different modality, where images are not aligned and share only few structures. We propose to combine deep learning to generate representations which embed both modalities in a common space, with classic, fast, and robust feature extractors (SIFT, SURF) to create a bag-of-words model for efficient and reliable retrieval. Our application-independent approach shows promising results on a publicly available dataset of brightfield and second harmonic generation microscopy images. We obtain 75.4% and 83.6% top-10 retrieval success for retrieval in one or the other direction. Our proposed method significantly outperforms both direct retrieval of the original multimodal (sub-)images, as well as their corresponding generative adversarial network (GAN)-based image-to-image translations. We establish that the proposed method performs better in comparison with a recent sub-image retrieval toolkit, GAN-based image-to-image translations, and learnt feature extractors for the downstream task of cross-modal image retrieval. We highlight the shortcomings of the latter methods and observe the importance of equivariance and invariance properties of the learnt representations and feature extractors in the CBIR pipeline. Code will be available at github.com/MIDA-group.
• Abstract（参考訳）: 組織キャラクタリゼーションと癌診断において、マルチモーダルイメージングは強力な技術として現れている。 計算の進歩により、大きなデータセットを利用して診断を改善し、病理のパターンを発見することができる。 しかし、これは効率的でスケーラブルな画像検索方法を必要とする。 異なるモダリティでキャプチャされた同じコンテンツのイメージは、ほとんど共通情報を表示しない可能性があるため、クロスモダリティ画像検索は特に要求される。 本稿では,画像が整列せず,ごくわずかな構造しか共有していない異なるモダリティで撮像された対応する画像に対して,逆(サブ)画像検索を行うコンテンツベース画像検索システム(CBIR)を提案する。 本稿では,共通空間に両方のモダリティを埋め込んだ表現を,古典的,高速,堅牢な特徴抽出器(sift,surf)と組み合わせて,効率的かつ信頼性の高い検索のためのバガ・オブ・ワードモデルを作成することを提案する。 本手法は,brightfield および second harmonic generation microscope 画像の公開データセット上で有望な結果を示す。 検索において75.4%と83.6%の検索成功率を得た。 提案手法は,元のマルチモーダル(サブ)画像の直接検索と,それに対応するgan(generative adversarial network)ベースの画像対画像翻訳の双方を著しく上回っている。 提案手法は,近年のサブイメージ検索ツールキット,ganに基づく画像から画像への変換,およびクロスモーダル画像検索の下流タスクのための学習特徴抽出器と比較して,優れた性能を示す。 後者の手法の欠点を強調し,cbirパイプラインにおける学習表現と特徴抽出器の等分散性と不変性の重要性を観察した。 コードはgithub.com/MIDA-groupで入手できる。

関連論文リスト

• Deep Multimodal Collaborative Learning for Polyp Re-Identification [4.4028428688691905]
  大腸内視鏡によるポリープ再同定は、大きなギャラリーの同じポリープと異なるカメラで撮影された異なるビューの画像とを一致させることを目的としている。 ImageNetデータセットでトレーニングされたCNNモデルを直接適用する従来のオブジェクトReIDの手法は、不満足な検索性能をもたらす。 本稿では,ポリプ再同定のためのDMCLという新しい多モーダル協調学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-12T04:05:19Z)
• Two Approaches to Supervised Image Segmentation [55.616364225463066]
  本研究は、深層学習とマルチセットニューロンのアプローチの比較実験を開発する。 ディープラーニングアプローチは、画像セグメンテーションの実行の可能性を確認した。 代替のマルチセット手法では、計算資源をほとんど必要とせずに精度を向上することができた。
  論文  参考訳（メタデータ） (2023-07-19T16:42:52Z)
• Convolutional neural network based on sparse graph attention mechanism for MRI super-resolution [0.34410212782758043]
  深層学習技術を用いた医用画像超解像(SR)再構成は、病変解析を強化し、診断効率と精度を向上させるために医師を支援する。 既存のディープラーニングベースのSR手法は、これらのモデルの表現能力を本質的に制限する畳み込みニューラルネットワーク(CNN)に依存している。 画像特徴抽出に複数の畳み込み演算子特徴抽出モジュール(MCO)を用いるAネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T06:14:22Z)
• MRIS: A Multi-modal Retrieval Approach for Image Synthesis on Diverse Modalities [19.31577453889188]
  多様なモダリティの画像を合成するために,マルチモーダルなメトリック学習に基づくアプローチを開発する。 3次元磁気共鳴(MR)画像から得られた軟骨厚図を2次元ラジオグラフィーで合成し,そのアプローチを検証した。
  論文  参考訳（メタデータ） (2023-03-17T20:58:55Z)
• Exploring a Fine-Grained Multiscale Method for Cross-Modal Remote Sensing Image Retrieval [21.05804942940532]
  クロスモーダルなテキスト画像検索は、フレキシブルな入力と効率的なクエリの利点により、広く注目を集めている。 RSマルチモーダル検索タスクにおけるマルチスケール不足とターゲット冗長性の問題に対処するため、新しい非対称マルチモーダル特徴マッチングネットワーク(AMFMN)を考案した。 本モデルは,マルチスケールな特徴入力に適応し,マルチソース検索手法を好んで,冗長な特徴を動的にフィルタすることができる。
  論文  参考訳（メタデータ） (2022-04-21T03:53:19Z)
• Multi-modal Aggregation Network for Fast MR Imaging [85.25000133194762]
  我々は,完全サンプル化された補助モダリティから補完表現を発見できる,MANetという新しいマルチモーダル・アグリゲーション・ネットワークを提案する。 我々のMANetでは,完全サンプリングされた補助的およびアンアンサンプされた目標モダリティの表現は,特定のネットワークを介して独立に学習される。 私たちのMANetは、$k$-spaceドメインの周波数信号を同時に回復できるハイブリッドドメイン学習フレームワークに従います。
  論文  参考訳（メタデータ） (2021-10-15T13:16:59Z)
• Modality Completion via Gaussian Process Prior Variational Autoencoders for Multi-Modal Glioma Segmentation [75.58395328700821]
  本稿では,患者スキャンに欠落するサブモダリティを1つ以上のインプットするために,MGP-VAE(Multi-modal Gaussian Process Prior Variational Autoencoder)を提案する。 MGP-VAEは、変分オートエンコーダ(VAE)に先立ってガウス過程(GP)を利用して、被験者/患者およびサブモダリティ相関を利用することができる。 4つのサブモダリティのうち2つ、または3つが欠落している脳腫瘍に対するMGP-VAEの適用性を示す。
  論文  参考訳（メタデータ） (2021-07-07T19:06:34Z)
• A multi-stage GAN for multi-organ chest X-ray image generation and segmentation [2.7561479348365734]
  GAN(Generative Adrial Networks)に基づく新しい多段階生成アルゴリズムを提案する。 他のアプローチとは異なり、生成はいくつかの段階で発生し、手順を単純化し、非常に小さなデータセットで使用することができる。 多段階のアプローチは最先端を実現し、GANを訓練するのに非常に少ない画像を使用する場合、対応する単一段階のアプローチよりも優れる。
  論文  参考訳（メタデータ） (2021-06-09T15:15:19Z)
• Generative Adversarial U-Net for Domain-free Medical Image Augmentation [49.72048151146307]
  注釈付き医用画像の不足は、医用画像コンピューティングの分野における最大の課題の1つだ。 本稿では,生成逆U-Netという新しい生成手法を提案する。 当社の新しいモデルは、ドメインフリーで、さまざまな医療画像に汎用性があります。
  論文  参考訳（メタデータ） (2021-01-12T23:02:26Z)
• Pathological Retinal Region Segmentation From OCT Images Using Geometric Relation Based Augmentation [84.7571086566595]
  本稿では,幾何学と形状の内在的関係を共同で符号化することで,従来のGANベースの医用画像合成法よりも優れた手法を提案する。 提案手法は,取得手順の異なる画像を有する公開RETOUCHデータセット上で,最先端のセグメンテーション手法より優れている。
  論文  参考訳（メタデータ） (2020-03-31T11:50:43Z)
• Learning Enriched Features for Real Image Restoration and Enhancement [166.17296369600774]
  畳み込みニューラルネットワーク(CNN)は、画像復元作業における従来のアプローチよりも劇的に改善されている。 ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とした,新しいアーキテクチャを提案する。 提案手法は,高解像度の空間的詳細を同時に保存しながら,複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
  論文  参考訳（メタデータ） (2020-03-15T11:04:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。