論文の概要: Unsupervised Contrastive Hashing for Cross-Modal Retrieval in Remote Sensing

• arxiv url: http://arxiv.org/abs/2204.08707v1
• Date: Tue, 19 Apr 2022 07:25:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-20 22:04:17.925462
• Title: Unsupervised Contrastive Hashing for Cross-Modal Retrieval in Remote Sensing
• Title（参考訳）: リモートセンシングにおけるクロスモーダル検索のための教師なしコントラストハッシュ
• Authors: Georgii Mikriukov, Mahdyar Ravanbakhsh, Beg\"um Demir
• Abstract要約: クロスモーダルテキスト画像検索はリモートセンシングにおいて大きな注目を集めている。 RSにおけるテキスト画像検索のための新しい教師なしクロスモーダルコントラストハッシュ法(DUCH)を提案する。 実験結果から,提案するDUCHは最先端の手法よりも優れていた。
• 参考スコア（独自算出の注目度）: 1.6758573326215689
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The development of cross-modal retrieval systems that can search and retrieve semantically relevant data across different modalities based on a query in any modality has attracted great attention in remote sensing (RS). In this paper, we focus our attention on cross-modal text-image retrieval, where queries from one modality (e.g., text) can be matched to archive entries from another (e.g., image). Most of the existing cross-modal text-image retrieval systems in RS require a high number of labeled training samples and also do not allow fast and memory-efficient retrieval. These issues limit the applicability of the existing cross-modal retrieval systems for large-scale applications in RS. To address this problem, in this paper we introduce a novel unsupervised cross-modal contrastive hashing (DUCH) method for text-image retrieval in RS. To this end, the proposed DUCH is made up of two main modules: 1) feature extraction module, which extracts deep representations of two modalities; 2) hashing module that learns to generate cross-modal binary hash codes from the extracted representations. We introduce a novel multi-objective loss function including: i) contrastive objectives that enable similarity preservation in intra- and inter-modal similarities; ii) an adversarial objective that is enforced across two modalities for cross-modal representation consistency; and iii) binarization objectives for generating hash codes. Experimental results show that the proposed DUCH outperforms state-of-the-art methods. Our code is publicly available at https://git.tu-berlin.de/rsim/duch.
• Abstract（参考訳）: 任意のモダリティの問合せに基づく意味的関連データを検索・検索できるクロスモーダル検索システムの開発は、リモートセンシング(RS)において大きな注目を集めている。 本稿では,あるモダリティ(例えばテキスト)からのクエリを,別のモダリティ(例えば画像)からのアーカイブエントリとマッチングできるクロスモーダルなテキスト画像検索に注目する。 RSの既存のクロスモーダルテキスト画像検索システムの多くは、ラベル付きトレーニングサンプルを大量に必要としており、高速でメモリ効率のよい検索もできない。 これらの問題は、rsにおける大規模アプリケーションに対する既存のクロスモーダル検索システムの適用性を制限している。 この問題に対処するため,本稿では,RSにおけるテキスト画像検索のための新しい教師なしクロスモーダルコントラストハッシュ(DUCH)手法を提案する。 この目的のために提案されたDUCHは2つの主要なモジュールから構成されている。 1) 2つのモードの深部表現を抽出する特徴抽出モジュール 2) 抽出した表現からクロスモーダルなバイナリハッシュコードを生成するハッシュモジュール。 以下を含む新しい多目的損失関数を導入する。 一 モダリティ内及びモダリティ間類似性において類似性保存を可能にする対比目的 二 相互表現の整合性のために二つのモダリティにまたがって施行される敵意 三 ハッシュコードを生成するための二元化目的 実験結果から,提案するDUCHは最先端の手法よりも優れていた。 私たちのコードはhttps://git.tu-berlin.de/rsim/duchで公開しています。

関連論文リスト

• ACE: A Generative Cross-Modal Retrieval Framework with Coarse-To-Fine Semantic Modeling [53.97609687516371]
  我々は、エンドツーエンドのクロスモーダル検索のための先駆的なジェネリッククロスモーダル rEtrieval framework (ACE) を提案する。 ACEは、クロスモーダル検索における最先端のパフォーマンスを達成し、Recall@1の強いベースラインを平均15.27%上回る。
  論文  参考訳（メタデータ） (2024-06-25T12:47:04Z)
• End-to-end Knowledge Retrieval with Multi-modal Queries [50.01264794081951]
  ReMuQは、テキストと画像のクエリからコンテンツを統合することで、大規模なコーパスから知識を取得するシステムを必要とする。 本稿では,入力テキストや画像を直接処理し,関連する知識をエンドツーエンドで検索する検索モデルReViz'を提案する。 ゼロショット設定下での2つのデータセットの検索において,優れた性能を示す。
  論文  参考訳（メタデータ） (2023-06-01T08:04:12Z)
• EDIS: Entity-Driven Image Search over Multimodal Web Content [95.40238328527931]
  textbfEntity-textbfDriven textbfImage textbfSearch (EDIS)は、ニュース領域におけるクロスモーダル画像検索のためのデータセットである。 EDISは、実際の検索エンジンの結果から100万のWebイメージとキュレートされたデータセットで構成され、各イメージはテキスト記述と組み合わせられている。
  論文  参考訳（メタデータ） (2023-05-23T02:59:19Z)
• Exploring a Fine-Grained Multiscale Method for Cross-Modal Remote Sensing Image Retrieval [21.05804942940532]
  クロスモーダルなテキスト画像検索は、フレキシブルな入力と効率的なクエリの利点により、広く注目を集めている。 RSマルチモーダル検索タスクにおけるマルチスケール不足とターゲット冗長性の問題に対処するため、新しい非対称マルチモーダル特徴マッチングネットワーク(AMFMN)を考案した。 本モデルは,マルチスケールな特徴入力に適応し,マルチソース検索手法を好んで,冗長な特徴を動的にフィルタすることができる。
  論文  参考訳（メタデータ） (2022-04-21T03:53:19Z)
• An Unsupervised Cross-Modal Hashing Method Robust to Noisy Training Image-Text Correspondences in Remote Sensing [1.6758573326215689]
  リモートセンシングにおいて,モーダル画像テキスト検索手法が注目されている。 既存の手法の多くは、正確に一致したテキストイメージ対を持つ信頼性の高いマルチモーダルトレーニングセットが存在すると仮定している。 ノイズの多い画像テキスト対応(CHNR)に頑健な新しい教師なしクロスモーダルハッシュ法を提案する。 実験の結果,CHNRは最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-02-26T11:22:24Z)
• Efficient Cross-Modal Retrieval via Deep Binary Hashing and Quantization [5.799838997511804]
  クロスモーダル検索は、異なるコンテンツモダリティにまたがる類似の意味を持つデータを検索することを目的としている。 クロスモーダル検索のための共同学習型ディープハッシュ・量子化ネットワーク(HQ)を提案する。 NUS-WIDE、MIR-Flickr、Amazonデータセットの実験結果は、HQの精度が7%以上向上していることを示している。
  論文  参考訳（メタデータ） (2022-02-15T22:00:04Z)
• Deep Unsupervised Contrastive Hashing for Large-Scale Cross-Modal Text-Image Retrieval in Remote Sensing [1.6758573326215689]
  本稿では,RSテキスト画像検索のための新しい非教師付きクロスモーダルコントラストハッシュ法(DUCH)を提案する。 実験結果から, DUCHは最先端の教師なしクロスモーダルハッシュ法より優れていることがわかった。 私たちのコードはhttps://git.tu-berlin.de/rsim/duch.comで公開されています。
  論文  参考訳（メタデータ） (2022-01-20T12:05:10Z)
• Retrieve Fast, Rerank Smart: Cooperative and Joint Approaches for Improved Cross-Modal Retrieval [80.35589927511667]
  画像中のすべての単語やオブジェクトに係わるクロスアテンション機構を備えたTransformerベースのアーキテクチャを頼りに、クロスモーダル検索プロセスのテキストとビジュアルインプットへの最先端のアプローチ。 事前学習したテキスト画像のマルチモーダルモデルを効率的な検索モデルに変換する新しい微調整フレームワークを提案する。 我々は,モノリンガル,マルチリンガル,ゼロショットにおける一連の標準クロスモーダル検索ベンチマーク実験を行い,最先端クロスエンコーダに対する精度向上と大幅な効率向上を実証した。
  論文  参考訳（メタデータ） (2021-03-22T15:08:06Z)
• Decoupled and Memory-Reinforced Networks: Towards Effective Feature Learning for One-Step Person Search [65.51181219410763]
  歩行者検出と識別サブタスクを1つのネットワークで処理するワンステップ方式を開発しました。 現在のワンステップアプローチには2つの大きな課題があります。 本稿では,これらの問題を解決するために,分離メモリ強化ネットワーク(DMRNet)を提案する。
  論文  参考訳（メタデータ） (2021-02-22T06:19:45Z)
• Unsupervised Deep Cross-modality Spectral Hashing [65.3842441716661]
  このフレームワークは、最適化をバイナリ最適化とハッシュ関数学習に分離する2段階のハッシュアプローチである。 本稿では,単一モダリティと二項相互モダリティを同時に学習するスペクトル埋め込みに基づく新しいアルゴリズムを提案する。 我々は、画像に強力なCNNを活用し、テキストモダリティを学ぶためのCNNベースのディープアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-08-01T09:20:11Z)
• Task-adaptive Asymmetric Deep Cross-modal Hashing [20.399984971442]
  クロスモーダルハッシュは、異質なモダリティデータのセマンティックな相関関係を、識別的なセマンティックラベルを持つバイナリハッシュコードに埋め込むことを目的としている。 本稿では,タスク適応型非対称ディープクロスモーダルハッシュ(TA-ADCMH)法を提案する。 同時モーダル表現と非対称ハッシュ学習により,2つのサブ検索タスクに対するタスク適応型ハッシュ関数を学習することができる。
  論文  参考訳（メタデータ） (2020-04-01T02:09:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。