論文の概要: Cross-Modality Sub-Image Retrieval using Contrastive Multimodal Image Representations

• arxiv url: http://arxiv.org/abs/2201.03597v2
• Date: Mon, 20 Mar 2023 08:58:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-24 05:33:09.508468
• Title: Cross-Modality Sub-Image Retrieval using Contrastive Multimodal Image Representations
• Title（参考訳）: コントラストマルチモーダル画像表現を用いたクロスモダリティサブイメージ検索
• Authors: Eva Breznik and Elisabeth Wetzer and Joakim Lindblad and Nata\v{s}a Sladoje
• Abstract要約: 異なるモダリティによってキャプチャされた類似(または同じ)コンテンツのイメージは、共通の構造をほとんど共有しないため、モダリティ間の画像検索は困難である。 本稿では,モダリティ間の逆(サブ)画像検索のためのアプリケーション非依存のコンテンツベース画像検索システムを提案する。
• 参考スコア（独自算出の注目度）: 3.3754780158324564
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In tissue characterization and cancer diagnostics, multimodal imaging has emerged as a powerful technique. Thanks to computational advances, large datasets can be exploited to discover patterns in pathologies and improve diagnosis. However, this requires efficient and scalable image retrieval methods. Cross-modality image retrieval is particularly challenging, since images of similar (or even the same) content captured by different modalities might share few common structures. We propose a new application-independent content-based image retrieval (CBIR) system for reverse (sub-)image search across modalities, which combines deep learning to generate representations (embedding the different modalities in a common space) with classical feature extraction and bag-of-words models for efficient and reliable retrieval. We illustrate its advantages through a replacement study, exploring a number of feature extractors and learned representations, as well as through comparison to recent (cross-modality) CBIR methods. For the task of (sub-)image retrieval on a (publicly available) dataset of brightfield and second harmonic generation microscopy images, the results show that our approach is superior to all tested alternatives. We discuss the shortcomings of the compared methods and observe the importance of equivariance and invariance properties of the learned representations and feature extractors in the CBIR pipeline. Code is available at: \url{https://github.com/MIDA-group/CrossModal_ImgRetrieval}.
• Abstract（参考訳）: 組織キャラクタリゼーションと癌診断において、マルチモーダルイメージングは強力な技術として現れている。 計算の進歩により、大きなデータセットを利用して病理のパターンを発見し、診断を改善することができる。 しかし、これは効率的でスケーラブルな画像検索方法を必要とする。 異なるモダリティによってキャプチャされた類似(または同じ)コンテンツのイメージは、共通の構造をほとんど共有しないため、モダリティ間の画像検索は特に困難である。 そこで本研究では,従来の特徴抽出モデルとバッグ・オブ・ワードモデルとを併用して,深層学習と表現(共通空間に異なるモダリティを埋め込む)を合成し,効率よくかつ信頼性の高い検索を行うアプリケーション非依存型コンテンツベース画像検索システムを提案する。 代替研究を通じてその利点を説明し,いくつかの特徴抽出器と学習表現を探索し,最近の(クロスモダリティ)cbir法との比較を行った。 ブライトフィールドおよび第2高調波発生顕微鏡画像の(公開)データセット上での(サブ)画像検索の課題に対して,本手法が全ての代替案よりも優れていることを示す。 比較手法の欠点を考察し,cbirパイプラインにおける学習表現と特徴抽出器の等分散性と不変性の重要性について考察する。 コードは \url{https://github.com/mida-group/crossmodal_imgretrieval} で入手できる。

関連論文リスト

• Deep Multimodal Collaborative Learning for Polyp Re-Identification [4.4028428688691905]
  大腸内視鏡によるポリープ再同定は、大きなギャラリーの同じポリープと異なるカメラで撮影された異なるビューの画像とを一致させることを目的としている。 ImageNetデータセットでトレーニングされたCNNモデルを直接適用する従来のオブジェクトReIDの手法は、不満足な検索性能をもたらす。 本稿では,ポリプ再同定のためのDMCLという新しい多モーダル協調学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-12T04:05:19Z)
• Two Approaches to Supervised Image Segmentation [55.616364225463066]
  本研究は、深層学習とマルチセットニューロンのアプローチの比較実験を開発する。 ディープラーニングアプローチは、画像セグメンテーションの実行の可能性を確認した。 代替のマルチセット手法では、計算資源をほとんど必要とせずに精度を向上することができた。
  論文  参考訳（メタデータ） (2023-07-19T16:42:52Z)
• Convolutional neural network based on sparse graph attention mechanism for MRI super-resolution [0.34410212782758043]
  深層学習技術を用いた医用画像超解像(SR)再構成は、病変解析を強化し、診断効率と精度を向上させるために医師を支援する。 既存のディープラーニングベースのSR手法は、これらのモデルの表現能力を本質的に制限する畳み込みニューラルネットワーク(CNN)に依存している。 画像特徴抽出に複数の畳み込み演算子特徴抽出モジュール(MCO)を用いるAネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T06:14:22Z)
• MRIS: A Multi-modal Retrieval Approach for Image Synthesis on Diverse Modalities [19.31577453889188]
  多様なモダリティの画像を合成するために,マルチモーダルなメトリック学習に基づくアプローチを開発する。 3次元磁気共鳴(MR)画像から得られた軟骨厚図を2次元ラジオグラフィーで合成し,そのアプローチを検証した。
  論文  参考訳（メタデータ） (2023-03-17T20:58:55Z)
• Exploring a Fine-Grained Multiscale Method for Cross-Modal Remote Sensing Image Retrieval [21.05804942940532]
  クロスモーダルなテキスト画像検索は、フレキシブルな入力と効率的なクエリの利点により、広く注目を集めている。 RSマルチモーダル検索タスクにおけるマルチスケール不足とターゲット冗長性の問題に対処するため、新しい非対称マルチモーダル特徴マッチングネットワーク(AMFMN)を考案した。 本モデルは,マルチスケールな特徴入力に適応し,マルチソース検索手法を好んで,冗長な特徴を動的にフィルタすることができる。
  論文  参考訳（メタデータ） (2022-04-21T03:53:19Z)
• Multi-modal Aggregation Network for Fast MR Imaging [85.25000133194762]
  我々は,完全サンプル化された補助モダリティから補完表現を発見できる,MANetという新しいマルチモーダル・アグリゲーション・ネットワークを提案する。 我々のMANetでは,完全サンプリングされた補助的およびアンアンサンプされた目標モダリティの表現は,特定のネットワークを介して独立に学習される。 私たちのMANetは、$k$-spaceドメインの周波数信号を同時に回復できるハイブリッドドメイン学習フレームワークに従います。
  論文  参考訳（メタデータ） (2021-10-15T13:16:59Z)
• Modality Completion via Gaussian Process Prior Variational Autoencoders for Multi-Modal Glioma Segmentation [75.58395328700821]
  本稿では,患者スキャンに欠落するサブモダリティを1つ以上のインプットするために,MGP-VAE(Multi-modal Gaussian Process Prior Variational Autoencoder)を提案する。 MGP-VAEは、変分オートエンコーダ(VAE)に先立ってガウス過程(GP)を利用して、被験者/患者およびサブモダリティ相関を利用することができる。 4つのサブモダリティのうち2つ、または3つが欠落している脳腫瘍に対するMGP-VAEの適用性を示す。
  論文  参考訳（メタデータ） (2021-07-07T19:06:34Z)
• A multi-stage GAN for multi-organ chest X-ray image generation and segmentation [2.7561479348365734]
  GAN(Generative Adrial Networks)に基づく新しい多段階生成アルゴリズムを提案する。 他のアプローチとは異なり、生成はいくつかの段階で発生し、手順を単純化し、非常に小さなデータセットで使用することができる。 多段階のアプローチは最先端を実現し、GANを訓練するのに非常に少ない画像を使用する場合、対応する単一段階のアプローチよりも優れる。
  論文  参考訳（メタデータ） (2021-06-09T15:15:19Z)
• Generative Adversarial U-Net for Domain-free Medical Image Augmentation [49.72048151146307]
  注釈付き医用画像の不足は、医用画像コンピューティングの分野における最大の課題の1つだ。 本稿では,生成逆U-Netという新しい生成手法を提案する。 当社の新しいモデルは、ドメインフリーで、さまざまな医療画像に汎用性があります。
  論文  参考訳（メタデータ） (2021-01-12T23:02:26Z)
• Pathological Retinal Region Segmentation From OCT Images Using Geometric Relation Based Augmentation [84.7571086566595]
  本稿では,幾何学と形状の内在的関係を共同で符号化することで,従来のGANベースの医用画像合成法よりも優れた手法を提案する。 提案手法は,取得手順の異なる画像を有する公開RETOUCHデータセット上で,最先端のセグメンテーション手法より優れている。
  論文  参考訳（メタデータ） (2020-03-31T11:50:43Z)
• Learning Enriched Features for Real Image Restoration and Enhancement [166.17296369600774]
  畳み込みニューラルネットワーク(CNN)は、画像復元作業における従来のアプローチよりも劇的に改善されている。 ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とした,新しいアーキテクチャを提案する。 提案手法は,高解像度の空間的詳細を同時に保存しながら,複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
  論文  参考訳（メタデータ） (2020-03-15T11:04:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。