論文の概要: UrbanCross: Enhancing Satellite Image-Text Retrieval with Cross-Domain Adaptation

• arxiv url: http://arxiv.org/abs/2404.14241v1
• Date: Mon, 22 Apr 2024 14:53:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-23 13:37:25.095794
• Title: UrbanCross: Enhancing Satellite Image-Text Retrieval with Cross-Domain Adaptation
• Title（参考訳）: UrbanCross: クロスドメイン適応による衛星画像検索の強化
• Authors: Siru Zhong, Xixuan Hao, Yibo Yan, Ying Zhang, Yangqiu Song, Yuxuan Liang,
• Abstract要約: UrbanCrossは、クロスドメイン衛星画像テキスト検索のための新しいフレームワークである。 高品質でクロスドメインなデータセットを利用して、3カ国の広範なジオタグを付加する。 実験により、新しい都市環境への検索と適応において、アーバンクロスの優れた効率性が確認された。
• 参考スコア（独自算出の注目度）: 44.14603461930746
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Urbanization challenges underscore the necessity for effective satellite image-text retrieval methods to swiftly access specific information enriched with geographic semantics for urban applications. However, existing methods often overlook significant domain gaps across diverse urban landscapes, primarily focusing on enhancing retrieval performance within single domains. To tackle this issue, we present UrbanCross, a new framework for cross-domain satellite image-text retrieval. UrbanCross leverages a high-quality, cross-domain dataset enriched with extensive geo-tags from three countries to highlight domain diversity. It employs the Large Multimodal Model (LMM) for textual refinement and the Segment Anything Model (SAM) for visual augmentation, achieving a fine-grained alignment of images, segments and texts, yielding a 10% improvement in retrieval performance. Additionally, UrbanCross incorporates an adaptive curriculum-based source sampler and a weighted adversarial cross-domain fine-tuning module, progressively enhancing adaptability across various domains. Extensive experiments confirm UrbanCross's superior efficiency in retrieval and adaptation to new urban environments, demonstrating an average performance increase of 15% over its version without domain adaptation mechanisms, effectively bridging the domain gap.
• Abstract（参考訳）: 都市化の課題は、都市化のための地理的意味論に富んだ特定の情報に迅速にアクセスできる効果的な衛星画像テキスト検索手法の必要性を浮き彫りにするものである。 しかし、既存の手法は、様々な都市景観にまたがる重要なドメインギャップを見落とし、主に単一のドメイン内での検索性能の向上に重点を置いている。 この問題に対処するため,我々は,クロスドメイン衛星画像テキスト検索のための新しいフレームワークであるUrbanCrossを提案する。 UrbanCrossは、ドメインの多様性を強調するために、3つの国の広範なジオタグで強化された高品質なクロスドメインデータセットを活用する。 テキストの洗練にはLarge Multimodal Model(LMM)、ビジュアル拡張にはSegment Anything Model(SAM)を採用し、画像、セグメント、テキストのきめ細かいアライメントを実現し、検索性能は10%向上した。 さらに、UrbanCrossは、適応型カリキュラムベースのソースサンプリングと重み付き対向型クロスドメイン微調整モジュールを組み込み、様々な領域にわたる適応性を徐々に改善している。 大規模な実験により、新しい都市環境への適応と検索において、アーバンクロスの優れた効率性が確認され、ドメイン適応機構を使わずに、そのバージョンの平均性能が15%向上し、ドメインギャップを効果的に埋めることを示した。

関連論文リスト

• Cross Pseudo Supervision Framework for Sparsely Labelled Geospatial Images [0.0]
  土地利用土地被覆(LULC)マッピングは、都市と資源計画にとって重要なツールである。 本研究では,高解像度衛星画像を用いたLULC予測のための半教師付きセグメンテーションモデルを提案する。 粗いラベル付きデータに基づいて画像分割モデルをトレーニングするクロス擬似スーパービジョンフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-05T11:14:23Z)
• Region-aware Distribution Contrast: A Novel Approach to Multi-Task Partially Supervised Learning [50.88504784466931]
  マルチタスク密度予測にはセマンティックセグメンテーション、深さ推定、表面正規推定が含まれる。 既存のソリューションは通常、グローバルなクロスタスク画像マッチングのためのグローバルなイメージ表現の学習に依存している。 本提案では,ガウス分布を用いた地域表現をモデル化する。
  論文  参考訳（メタデータ） (2024-03-15T12:41:30Z)
• Cross-City Matters: A Multimodal Remote Sensing Benchmark Dataset for Cross-City Semantic Segmentation using High-Resolution Domain Adaptation Networks [82.82866901799565]
  我々は,都市間セマンティックセマンティックセグメンテーションタスクの研究を目的とした,新しいマルチモーダルリモートセンシングベンチマークデータセット(ハイパースペクトル,マルチスペクトル,SARを含む)を構築した。 単一都市に留まらず,多都市環境からAIモデルの一般化能力を促進するため,高解像度なドメイン適応ネットワークであるHighDANを提案する。 高DANは, 並列高分解能融合方式で, 都市景観の空間的トポロジカルな構造を良好に維持することができる。
  論文  参考訳（メタデータ） (2023-09-26T23:55:39Z)
• Segmenting across places: The need for fair transfer learning with satellite imagery [24.087993065704527]
  最先端のモデルは、都市部に比べて農村部での全体的な精度が良い。 本研究では, 都市部に比べて, 原産地と対象地域とでは, 生衛星画像が相違点が多いことを示す。
  論文  参考訳（メタデータ） (2022-04-09T02:14:56Z)
• WEDGE: Web-Image Assisted Domain Generalization for Semantic Segmentation [72.88657378658549]
  本稿では,Web画像の多様性を一般化可能なセマンティックセグメンテーションに活用したWEb画像支援ドメインゲネラライゼーション手法を提案する。 また,ウェブクローラー画像のスタイルをトレーニング中のトレーニング画像に注入する手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T05:19:58Z)
• Domain Adaptive Person Re-Identification via Coupling Optimization [58.567492812339566]
  ドメイン適応型人物再識別(ReID)は、ドメインのギャップとターゲットシナリオに対するアノテーションの不足のために困難である。 本稿では,ドメイン不変写像 (DIM) 法とグローバル局所距離最適化 (GLO) を含む結合最適化手法を提案する。 GLOはターゲットドメインの教師なし設定でReIDモデルをトレーニングするために設計されている。
  論文  参考訳（メタデータ） (2020-11-06T14:01:03Z)
• DASGIL: Domain Adaptation for Semantic and Geometric-aware Image-based Localization [27.294822556484345]
  環境変化下での視覚的長期化は、自律走行と移動ロボット工学において難しい問題である。 視覚的位置認識のための多スケール潜在埋め込み表現に幾何学的および意味的情報を融合する新しいマルチタスクアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-10-01T17:44:25Z)
• Weakly Supervised Domain Adaptation for Built-up Region Segmentation in Aerial and Satellite Imagery [3.8508264614798517]
  環境に対する人間の影響,公共政策の影響,一般都市人口分析を理解する上で,構築された地域推定は重要な要素である。 航空や衛星画像の多様性と、この多様性をカバーするラベル付きデータの欠如により、機械学習アルゴリズムの一般化が困難になる。 本稿では,衛星画像と空中画像の課題に対処する新しい領域適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-05T10:05:01Z)
• CrDoCo: Pixel-level Domain Transfer with Cross-Domain Consistency [119.45667331836583]
  教師なしのドメイン適応アルゴリズムは、あるドメインから学んだ知識を別のドメインに転送することを目的としている。 本稿では,新しい画素単位の対向領域適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-01-09T19:00:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。