Fugu-MT 論文翻訳(概要): PriorCLIP: Visual Prior Guided Vision-Language Model for Remote Sensing Image-Text Retrieval

論文の概要: PriorCLIP: Visual Prior Guided Vision-Language Model for Remote Sensing Image-Text Retrieval

arxiv url: http://arxiv.org/abs/2405.10160v3
Date: Tue, 09 Sep 2025 20:30:28 GMT
ステータス: 翻訳完了
システム内更新日: 2025-09-11 15:16:51.910433
Title: PriorCLIP: Visual Prior Guided Vision-Language Model for Remote Sensing Image-Text Retrieval
Title（参考訳）: PriorCLIP: リモートセンシング画像-テキスト検索のための視覚的事前案内型視覚言語モデル
Authors: Jiancheng Pan, Muyuan Ma, Qing Ma, Cong Bai, Shengyong Chen,
Abstract要約: 本稿では、偏見のない表現学習と適応型視覚言語アライメントのための、視覚的事前誘導型視覚誘導モデル(PresideledCLIP)を提案する。クローズドドメイン設定では、2つのProgressive Attention Attribution(PAE)構造を導入し、キー機能をフィルタリングし、セマンティックバイアスを軽減する。オープンドメイン設定では、粗い画像とテキストのペアを大規模に事前学習し、次に視覚指導を用いて微細なペアを微調整する2段階の事前表現学習戦略を設計する。
参考スコア（独自算出の注目度）: 34.02888653163804
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Remote sensing image-text retrieval plays a crucial role in remote sensing interpretation, yet remains challenging under both closed-domain and open-domain scenarios due to semantic noise and domain shifts. To address these issues, we propose a visual prior-guided vision-language model, PriorCLIP, which leverages visual priors for unbiased representation learning and adaptive vision-language alignment. In the closed-domain setting, PriorCLIP introduces two Progressive Attention Encoder (PAE) structures: Spatial-PAE constructs a belief matrix with instruction embeddings to filter key features and mitigate semantic bias. At the same time, Temporal-PAE exploits cyclic activation across time steps to enhance text representation. For the open-domain setting, we design a two-stage prior representation learning strategy, consisting of large-scale pre-training on coarse-grained image-text pairs, followed by fine-tuning on fine-grained pairs using vision-instruction, which enables robust retrieval across long-tail concepts and vocabulary shifts. Furthermore, a cluster-based symmetric contrastive Attribution Loss is proposed to constrain inter-class relations and alleviate semantic confusion in the shared embedding space. Extensive experiments on RSICD and RSITMD benchmarks demonstrate that PriorCLIP achieves substantial improvements, outperforming existing methods by 4.9% and 4.0% in closed-domain retrieval, and by 7.3% and 9.4% in open-domain retrieval, respectively.
Abstract（参考訳）: リモートセンシング画像テキスト検索は、リモートセンシングの解釈において重要な役割を果たすが、セマンティックノイズとドメインシフトのため、クローズドドメインとオープンドメインの両方のシナリオでは依然として困難である。これらの問題に対処するために、偏見のない表現学習と適応的な視覚言語アライメントに視覚的事前学習を利用する、視覚的事前誘導型視覚言語モデル(PresideledCLIP)を提案する。クローズドドメイン設定では、PreferCLIPは2つのプログレッシブ・アテンション・エンコーダ(PAE)構造を導入している。同時に、Temporal-PAEは、テキスト表現を強化するために、時間ステップを通して循環的なアクティベーションを利用する。オープンドメイン設定では、粗粒度画像テキスト対を大規模に事前学習し、視覚命令を用いて細粒度ペアを微調整することで、2段階の事前表現学習戦略を設計する。さらに、クラスタベースの対称的コントラスト的帰属損失は、クラス間の関係を制約し、共有埋め込み空間における意味的混乱を軽減するために提案される。 RSICDとRSITMDベンチマークの大規模な実験により、PresideCLIPは、クローズドドメイン検索では4.9%と4.0%、オープンドメイン検索では7.3%と9.4%という、大幅な改善が達成された。

関連論文リスト

DiffRIS: Enhancing Referring Remote Sensing Image Segmentation with Pre-trained Text-to-Image Diffusion Models [9.109484087832058]
DiffRISは、RRSISタスクのための事前訓練されたテキスト-画像拡散モデルのセマンティック理解機能を利用する新しいフレームワークである。我々のフレームワークは、文脈認識アダプタ(CP-adapter)とクロスモーダル推論デコーダ(PCMRD)の2つの重要なイノベーションを導入している。
論文参考訳（メタデータ） (2025-06-23T02:38:56Z)
RSRefSeg: Referring Remote Sensing Image Segmentation with Foundation Models [24.67117013862316]
リモートセンシング画像のセグメンテーションの参照は、きめ細かい視覚的理解の実現に不可欠である。本稿では,参照リモートセンシング画像分割基礎モデルRSRefSegを紹介する。 RRSIS-Dデータセットの実験結果は、RSRefSegが既存の手法より優れていることを示している。
論文参考訳（メタデータ） (2025-01-12T13:22:35Z)
Semantic Token Reweighting for Interpretable and Controllable Text Embeddings in CLIP [46.53595526049201]
CLIPのようなVision-Language Models (VLM)内のテキストエンコーダは、画像と共有する埋め込み空間へのテキスト入力の変換において重要な役割を果たす。解釈可能なテキスト埋め込み(SToRI)を構築するためのセマンティックトークン再重み付けフレームワークを提案する。 SToRIは文脈的重要性に基づいて意味的要素を差分重み付けすることでCLIPのテキスト符号化プロセスを洗練する。
論文参考訳（メタデータ） (2024-10-11T02:42:13Z)
See then Tell: Enhancing Key Information Extraction with Vision Grounding [54.061203106565706]
STNet(See then Tell Net)は,視覚基盤の正確な答えを提供するために設計された,新しいエンドツーエンドモデルである。モデルの可視性を高めるため、広範囲に構造化されたテーブル認識データセットを収集する。
論文参考訳（メタデータ） (2024-09-29T06:21:05Z)
Exploring Fine-Grained Image-Text Alignment for Referring Remote Sensing Image Segmentation [27.95875467352853]
本稿では,視覚的および言語的表現を完全に活用する新たな参照リモートセンシング画像分割手法であるFIANetを提案する。提案した細粒度画像テキストアライメントモジュール(FIAM)は、入力画像と対応するテキストの特徴を同時に活用する。本稿では,RefSegRSとRRSIS-Dを含む2つのリモートセンシングデータセットに対する提案手法の有効性を評価する。
論文参考訳（メタデータ） (2024-09-20T16:45:32Z)
Decoder Pre-Training with only Text for Scene Text Recognition [54.93037783663204]
シーンテキスト認識(STR)事前学習法は,主に合成データセットに依存し,顕著な進歩を遂げている。 STR(DPTR)用テキストのみを用いたDecoder Pre-trainingという新しい手法を提案する。 DPTRはCLIPテキストエンコーダが生成したテキスト埋め込みを擬似視覚埋め込みとして扱い、デコーダの事前訓練に使用する。
論文参考訳（メタデータ） (2024-08-11T06:36:42Z)
Knowledge-aware Text-Image Retrieval for Remote Sensing Images [6.4527372338977]
クロスモーダルテキストイメージ検索は、しばしばテキストと画像の間の情報非対称性に悩まされる。外部知識グラフから関連情報をマイニングすることにより,知識を考慮したテキスト画像検索手法を提案する。提案手法は, 知識認識手法により多様かつ一貫した検索が実現され, 最先端の検索方法よりも優れていることを示す。
論文参考訳（メタデータ） (2024-05-06T11:27:27Z)
Vision-by-Language for Training-Free Compositional Image Retrieval [78.60509831598745]
合成画像検索(CIR)は、データベース内の関連する対象画像を検索することを目的としている。大規模視覚言語モデル(VLM)を用いた最近の研究動向我々は、CIReVL(Vision-by-Language)による学習自由なCIRへの取り組みを提案する。
論文参考訳（メタデータ） (2023-10-13T17:59:38Z)
Fine-Grained Semantically Aligned Vision-Language Pre-Training [151.7372197904064]
大規模な視覚言語による事前学習は、幅広い下流タスクにおいて顕著な進歩を見せている。既存の手法は主に、画像とテキストのグローバルな表現の類似性によって、モーダル間のアライメントをモデル化する。ゲーム理論的相互作用の新たな視点から, 微粒なセマンティックアライメントを学習する, 微粒なセマンティックなvisiOn-langUage PrEトレーニングフレームワークであるLOを導入する。
論文参考訳（メタデータ） (2022-08-04T07:51:48Z)
Vision-Language Pre-Training for Boosting Scene Text Detectors [57.08046351495244]
シーンテキスト検出に視覚言語を用いた共同学習を特に応用する。本稿では,視覚言語による事前学習を通して,文脈化された共同表現を学習することを提案する。事前訓練されたモデルは、よりリッチなセマンティクスでより情報的な表現を生成することができる。
論文参考訳（メタデータ） (2022-04-29T03:53:54Z)
CRIS: CLIP-Driven Referring Image Segmentation [71.56466057776086]
エンドツーエンドのCLIP駆動参照画像フレームワーク(CRIS)を提案する。 CRISは、テキストとピクセルのアライメントを達成するために、視覚言語によるデコーディングとコントラスト学習に頼っている。提案するフレームワークは, 後処理を伴わずに, 最先端の性能を著しく向上させる。
論文参考訳（メタデータ） (2021-11-30T07:29:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。