論文の概要: PIR: Remote Sensing Image-Text Retrieval with Prior Instruction Representation Learning

• arxiv url: http://arxiv.org/abs/2405.10160v1
• Date: Thu, 16 May 2024 14:53:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-17 13:52:46.356829
• Title: PIR: Remote Sensing Image-Text Retrieval with Prior Instruction Representation Learning
• Title（参考訳）: PIR:事前指導表現学習によるリモートセンシング画像検索
• Authors: Jiancheng Pan, Muyuan Ma, Qing Ma, Cong Bai, Shengyong Chen,
• Abstract要約: 本稿では,視覚とテキスト表現の適応学習を指導するために,事前知識に基づく事前指示表現(PIR)学習パラダイムを提案する。 包括的実験により、PIRは視覚とテキスト表現を強化し、クローズドドメインとオープンドメイン検索の最先端の手法より優れていることが示された。
• 参考スコア（独自算出の注目度）: 21.907749083387042
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Remote sensing image-text retrieval constitutes a foundational aspect of remote sensing interpretation tasks, facilitating the alignment of vision and language representations. This paper introduces a prior instruction representation (PIR) learning paradigm that draws on prior knowledge to instruct adaptive learning of vision and text representations. Based on PIR, a domain-adapted remote sensing image-text retrieval framework PIR-ITR is designed to address semantic noise issues in vision-language understanding tasks. However, with massive additional data for pre-training the vision-language foundation model, remote sensing image-text retrieval is further developed into an open-domain retrieval task. Continuing with the above, we propose PIR-CLIP, a domain-specific CLIP-based framework for remote sensing image-text retrieval, to address semantic noise in remote sensing vision-language representations and further improve open-domain retrieval performance. In vision representation, Vision Instruction Representation (VIR) based on Spatial-PAE utilizes the prior-guided knowledge of the remote sensing scene recognition by building a belief matrix to select key features for reducing the impact of semantic noise. In text representation, Language Cycle Attention (LCA) based on Temporal-PAE uses the previous time step to cyclically activate the current time step to enhance text representation capability. A cluster-wise Affiliation Loss (AL) is proposed to constrain the inter-classes and to reduce the semantic confusion zones in the common subspace. Comprehensive experiments demonstrate that PIR could enhance vision and text representations and outperform the state-of-the-art methods of closed-domain and open-domain retrieval on two benchmark datasets, RSICD and RSITMD.
• Abstract（参考訳）: リモートセンシング画像テキスト検索は、視覚と言語表現のアライメントを容易にするリモートセンシング解釈タスクの基本的な側面を構成する。 本稿では,視覚とテキスト表現の適応学習を指導するために,事前知識に基づく事前指示表現(PIR)学習パラダイムを提案する。 PIRに基づいて、ドメイン適応型リモートセンシング画像テキスト検索フレームワークPIR-ITRは、視覚言語理解タスクにおけるセマンティックノイズ問題に対処するために設計されている。 しかし、視覚言語基礎モデルの事前学習のための膨大なデータにより、リモートセンシング画像テキスト検索はさらにオープンドメイン検索タスクへと発展する。 このようにして、リモートセンシング画像テキスト検索のためのドメイン固有のCLIPベースのフレームワークであるPIR-CLIPを提案し、リモートセンシング視覚言語表現におけるセマンティックノイズに対処し、さらにオープンドメイン検索性能を向上させる。 視覚表現において、空間-PAEに基づく視覚指示表現(VIR)は、信念行列を構築することにより、リモートセンシングシーン認識の事前知識を利用して、セマンティックノイズの影響を低減するための重要な特徴を選択する。 テキスト表現において、Temporal-PAEに基づくLanguage Cycle Attention(LCA)は、以前のタイムステップを使用して現在のタイムステップを循環的に活性化し、テキスト表現能力を高める。 クラスタワイズ・アフィリエレーション・ロス(AL)はクラス間を制約し、共通部分空間における意味的混乱領域を減らすために提案される。 総合的な実験により、PIRはビジョンとテキスト表現を強化し、RSICDとRSITMDの2つのベンチマークデータセット上で、クローズドドメインとオープンドメイン検索の最先端の手法より優れていることが示された。

関連論文リスト

• Semantic Token Reweighting for Interpretable and Controllable Text Embeddings in CLIP [46.53595526049201]
  CLIPのようなVision-Language Models (VLM)内のテキストエンコーダは、画像と共有する埋め込み空間へのテキスト入力の変換において重要な役割を果たす。 解釈可能なテキスト埋め込み(SToRI)を構築するためのセマンティックトークン再重み付けフレームワークを提案する。 SToRIは文脈的重要性に基づいて意味的要素を差分重み付けすることでCLIPのテキスト符号化プロセスを洗練する。
  論文  参考訳（メタデータ） (2024-10-11T02:42:13Z)
• See then Tell: Enhancing Key Information Extraction with Vision Grounding [54.061203106565706]
  STNet(See then Tell Net)は,視覚基盤の正確な答えを提供するために設計された,新しいエンドツーエンドモデルである。 モデルの可視性を高めるため、広範囲に構造化されたテーブル認識データセットを収集する。
  論文  参考訳（メタデータ） (2024-09-29T06:21:05Z)
• Exploring Fine-Grained Image-Text Alignment for Referring Remote Sensing Image Segmentation [27.95875467352853]
  本稿では,視覚的および言語的表現を完全に活用する新たな参照リモートセンシング画像分割手法であるFIANetを提案する。 提案した細粒度画像テキストアライメントモジュール(FIAM)は、入力画像と対応するテキストの特徴を同時に活用する。 本稿では,RefSegRSとRRSIS-Dを含む2つのリモートセンシングデータセットに対する提案手法の有効性を評価する。
  論文  参考訳（メタデータ） (2024-09-20T16:45:32Z)
• Decoder Pre-Training with only Text for Scene Text Recognition [54.93037783663204]
  シーンテキスト認識(STR)事前学習法は,主に合成データセットに依存し,顕著な進歩を遂げている。 STR(DPTR)用テキストのみを用いたDecoder Pre-trainingという新しい手法を提案する。 DPTRはCLIPテキストエンコーダが生成したテキスト埋め込みを擬似視覚埋め込みとして扱い、デコーダの事前訓練に使用する。
  論文  参考訳（メタデータ） (2024-08-11T06:36:42Z)
• Knowledge-aware Text-Image Retrieval for Remote Sensing Images [6.4527372338977]
  クロスモーダルテキストイメージ検索は、しばしばテキストと画像の間の情報非対称性に悩まされる。 外部知識グラフから関連情報をマイニングすることにより,知識を考慮したテキスト画像検索手法を提案する。 提案手法は, 知識認識手法により多様かつ一貫した検索が実現され, 最先端の検索方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-06T11:27:27Z)
• Vision-by-Language for Training-Free Compositional Image Retrieval [78.60509831598745]
  合成画像検索(CIR)は、データベース内の関連する対象画像を検索することを目的としている。 大規模視覚言語モデル(VLM)を用いた最近の研究動向 我々は、CIReVL(Vision-by-Language)による学習自由なCIRへの取り組みを提案する。
  論文  参考訳（メタデータ） (2023-10-13T17:59:38Z)
• Fine-Grained Semantically Aligned Vision-Language Pre-Training [151.7372197904064]
  大規模な視覚言語による事前学習は、幅広い下流タスクにおいて顕著な進歩を見せている。 既存の手法は主に、画像とテキストのグローバルな表現の類似性によって、モーダル間のアライメントをモデル化する。 ゲーム理論的相互作用の新たな視点から, 微粒なセマンティックアライメントを学習する, 微粒なセマンティックなvisiOn-langUage PrEトレーニングフレームワークであるLOを導入する。
  論文  参考訳（メタデータ） (2022-08-04T07:51:48Z)
• Vision-Language Pre-Training for Boosting Scene Text Detectors [57.08046351495244]
  シーンテキスト検出に視覚言語を用いた共同学習を特に応用する。 本稿では,視覚言語による事前学習を通して,文脈化された共同表現を学習することを提案する。 事前訓練されたモデルは、よりリッチなセマンティクスでより情報的な表現を生成することができる。
  論文  参考訳（メタデータ） (2022-04-29T03:53:54Z)
• CRIS: CLIP-Driven Referring Image Segmentation [71.56466057776086]
  エンドツーエンドのCLIP駆動参照画像フレームワーク(CRIS)を提案する。 CRISは、テキストとピクセルのアライメントを達成するために、視覚言語によるデコーディングとコントラスト学習に頼っている。 提案するフレームワークは, 後処理を伴わずに, 最先端の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2021-11-30T07:29:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。