論文の概要: Self-Supervised Cross-Modal Text-Image Time Series Retrieval in Remote Sensing

• arxiv url: http://arxiv.org/abs/2501.19043v1
• Date: Fri, 31 Jan 2025 11:14:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 14:01:50.595714
• Title: Self-Supervised Cross-Modal Text-Image Time Series Retrieval in Remote Sensing
• Title（参考訳）: リモートセンシングにおける自己監督型クロスモーダルテキスト画像時系列検索
• Authors: Genc Hoxha, Olivér Angyal, Begüm Demir,
• Abstract要約: リモートセンシング(RS)における自己教師型クロスモーダルテキスト画像時系列検索(text-ITSR)手法を提案する。 我々は、テキストITSRに焦点をあてて、一対のイメージ(バイテンポラル画像)に焦点をあてる。 提案手法は,1)バイテンポラル画像とテキスト文の意味内容を識別的特徴でモデル化するモダリティ固有エンコーダ,2)テキスト表現と画像表現を共有埋め込み空間で整列させるモダリティ固有プロジェクションヘッドからなる。
• 参考スコア（独自算出の注目度）: 3.271701183630488
• License:
• Abstract: The development of image time series retrieval (ITSR) methods is a growing research interest in remote sensing (RS). Given a user-defined image time series (i.e., the query time series), the ITSR methods search and retrieve from large archives the image time series that have similar content to the query time series. The existing ITSR methods in RS are designed for unimodal retrieval problems, limiting their usability and versatility. To overcome this issue, as a first time in RS we introduce the task of cross-modal text-ITSR. In particular, we present a self-supervised cross-modal text-image time series retrieval (text-ITSR) method that enables the retrieval of image time series using text sentences as queries, and vice versa. In detail, we focus our attention on text-ITSR in pairs of images (i.e., bitemporal images). The proposed text-ITSR method consists of two key components: 1) modality-specific encoders to model the semantic content of bitemporal images and text sentences with discriminative features; and 2) modality-specific projection heads to align textual and image representations in a shared embedding space. To effectively model the temporal information within the bitemporal images, we introduce two fusion strategies: i) global feature fusion (GFF) strategy that combines global image features through simple yet effective operators; and ii) transformer-based feature fusion (TFF) strategy that leverages transformers for fine-grained temporal integration. Extensive experiments conducted on two benchmark RS archives demonstrate the effectiveness of the proposed method in accurately retrieving semantically relevant bitemporal images (or text sentences) to a query text sentence (or bitemporal image). The code of this work is publicly available at https://git.tu-berlin.de/rsim/cross-modal-text-tsir.
• Abstract（参考訳）: 画像時系列検索(ITSR)手法の開発は、リモートセンシング(RS)への関心が高まっている。 ユーザが定義した画像時系列(すなわちクエリ時系列)が与えられたら、ITSRメソッドは大規模なアーカイブから検索し、クエリ時系列と類似したコンテンツを持つ画像時系列を検索する。 RS の既存の ITSR 法は、そのユーザビリティと汎用性を制限し、一様探索問題のために設計されている。 この問題を克服するために、RSではじめて、クロスモーダルテキストITSRのタスクを紹介します。 特に,テキストを問合せとして画像時系列を検索し,その逆を検索する自己教師型クロスモーダルテキスト画像時系列検索(text-ITSR)手法を提案する。 詳しくは、テキストITSRを2つの画像(バイテンポラル画像)に焦点をあてる。 提案するテキスト-ITSR法は,2つの重要な構成要素から構成される。 1) 両時相画像及び文の意味内容を識別的特徴でモデル化するモダリティ特化エンコーダ 2) 共有埋め込み空間におけるテキスト表現と画像表現の整合をモダリティ特異的な投影ヘッドで行う。 バイテンポラル画像内の時間情報を効果的にモデル化するために,2つの融合戦略を導入する。 一 単純で効果的な演算子によるグローバル画像特徴を組み合わせたグローバル特徴融合(GFF)戦略 二 微粒な時間積分にトランスフォーマーを利用するトランスフォーマーベースの機能融合(TFF)戦略。 2つのベンチマークRSアーカイブで実施された大規模な実験は、クエリテキスト文(またはバイテンポラル画像)に意味論的に関連付けられたバイテンポラル画像(またはテキスト)を正確に検索する手法の有効性を示した。 この作業のコードはhttps://git.tu-berlin.de/rsim/cross-modal-text-tsirで公開されている。

関連論文リスト

• Unified Text-to-Image Generation and Retrieval [96.72318842152148]
  MLLM(Multimodal Large Language Models)の文脈における統一フレームワークを提案する。 まず,MLLMの内在的識別能力について検討し,学習自由な方法で検索を行うための生成的検索手法を提案する。 次に、自動回帰生成方式で生成と検索を統一し、生成した画像と検索した画像の最も適合した画像を選択する自律的決定モジュールを提案する。
  論文  参考訳（メタデータ） (2024-06-09T15:00:28Z)
• Sentence-level Prompts Benefit Composed Image Retrieval [69.78119883060006]
  合成画像検索(CIR)は、参照画像と相対キャプションの両方を含むクエリを用いて、特定の画像を検索するタスクである。 本稿では,事前訓練されたV-Lモデル,例えばBLIP-2を用いて文レベルのプロンプトを生成することを提案する。 提案手法は,Fashion-IQおよびCIRRデータセット上の最先端のCIR手法に対して良好に動作する。
  論文  参考訳（メタデータ） (2023-10-09T07:31:44Z)
• EDIS: Entity-Driven Image Search over Multimodal Web Content [95.40238328527931]
  textbfEntity-textbfDriven textbfImage textbfSearch (EDIS)は、ニュース領域におけるクロスモーダル画像検索のためのデータセットである。 EDISは、実際の検索エンジンの結果から100万のWebイメージとキュレートされたデータセットで構成され、各イメージはテキスト記述と組み合わせられている。
  論文  参考訳（メタデータ） (2023-05-23T02:59:19Z)
• Efficient Image-Text Retrieval via Keyword-Guided Pre-Screening [53.1711708318581]
  現在の画像テキスト検索法は、N$関連時間複雑さに悩まされている。 本稿では,画像テキスト検索のための簡易かつ効果的なキーワード誘導事前スクリーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-14T09:36:42Z)
• Paired Cross-Modal Data Augmentation for Fine-Grained Image-to-Text Retrieval [142.047662926209]
  本稿では,StyleGAN2モデルの隠れセマンティック情報を明らかにすることによって,ペアデータ拡張のための新しいフレームワークを提案する。 ランダムなトークン置換によって拡張テキストを生成し、拡張テキストを潜在空間アライメントモジュールに渡す。 我々は,2つのパブリックなクロスモーダル検索データセットに対する拡張データアプローチの有効性を評価する。
  論文  参考訳（メタデータ） (2022-07-29T01:21:54Z)
• Progressive Learning for Image Retrieval with Hybrid-Modality Queries [48.79599320198615]
  ハイブリッドモダリティクエリによる画像検索(CTI-IR) 我々は、CTI-IRタスクを3段階の学習問題に分解し、ハイブリッドモダリティクエリを用いて画像検索のための複雑な知識を段階的に学習する。 提案モデルは,Fashion-IQおよびShoesベンチマークデータセットにおいて,Recall@K平均の最先端手法を24.9%,9.5%向上させる。
  論文  参考訳（メタデータ） (2022-04-24T08:10:06Z)
• Exploring a Fine-Grained Multiscale Method for Cross-Modal Remote Sensing Image Retrieval [21.05804942940532]
  クロスモーダルなテキスト画像検索は、フレキシブルな入力と効率的なクエリの利点により、広く注目を集めている。 RSマルチモーダル検索タスクにおけるマルチスケール不足とターゲット冗長性の問題に対処するため、新しい非対称マルチモーダル特徴マッチングネットワーク(AMFMN)を考案した。 本モデルは,マルチスケールな特徴入力に適応し,マルチソース検索手法を好んで,冗長な特徴を動的にフィルタすることができる。
  論文  参考訳（メタデータ） (2022-04-21T03:53:19Z)
• Unsupervised Contrastive Hashing for Cross-Modal Retrieval in Remote Sensing [1.6758573326215689]
  クロスモーダルテキスト画像検索はリモートセンシングにおいて大きな注目を集めている。 RSにおけるテキスト画像検索のための新しい教師なしクロスモーダルコントラストハッシュ法(DUCH)を提案する。 実験結果から,提案するDUCHは最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-04-19T07:25:25Z)
• Deep Unsupervised Contrastive Hashing for Large-Scale Cross-Modal Text-Image Retrieval in Remote Sensing [1.6758573326215689]
  本稿では,RSテキスト画像検索のための新しい非教師付きクロスモーダルコントラストハッシュ法(DUCH)を提案する。 実験結果から, DUCHは最先端の教師なしクロスモーダルハッシュ法より優れていることがわかった。 私たちのコードはhttps://git.tu-berlin.de/rsim/duch.comで公開されています。
  論文  参考訳（メタデータ） (2022-01-20T12:05:10Z)
• Towards Efficient Cross-Modal Visual Textual Retrieval using Transformer-Encoder Deep Features [10.163477961551592]
  クロスモーダル検索は、現代の検索エンジンにおいて重要な機能である。 本稿では,画像文検索に焦点をあてる。 我々は最近導入されたTERNアーキテクチャを画像文特徴抽出器として利用する。
  論文  参考訳（メタデータ） (2021-06-01T10:11:46Z)
• Transformer Reasoning Network for Image-Text Matching and Retrieval [14.238818604272751]
  マルチモーダルな大規模情報検索作業における画像テキストマッチングの問題点を考察する。 トランスフォーマー推論ネットワーク(TERN, Transformer Reasoning Network, TERN)は, 現代の関係認識型自己認識型トランスフォーマー(Transformer)のアーキテクチャである。 TERNは2つの異なるモダリティを別々に推論し、最終的な共通抽象概念空間を強制することができる。
  論文  参考訳（メタデータ） (2020-04-20T09:09:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。