論文の概要: Scene Graph Generation in Large-Size VHR Satellite Imagery: A Large-Scale Dataset and A Context-Aware Approach

• arxiv url: http://arxiv.org/abs/2406.09410v1
• Date: Thu, 13 Jun 2024 17:59:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-14 15:56:26.604604
• Title: Scene Graph Generation in Large-Size VHR Satellite Imagery: A Large-Scale Dataset and A Context-Aware Approach
• Title（参考訳）: 大規模VHR衛星画像におけるシーングラフ生成:大規模データセットとコンテキスト認識アプローチ
• Authors: Yansheng Li, Linlin Wang, Tingzhu Wang, Xue Yang, Junwei Luo, Qi Wang, Youming Deng, Wenbin Wang, Xian Sun, Haifeng Li, Bo Dang, Yongjun Zhang, Yi Yu, Junchi Yan,
• Abstract要約: 衛星画像(SAI)におけるシーングラフ生成(SGG)は、認識から認知へのシナリオのインテリジェントな理解を促進する。 画像サイズは512 x 768から27,860 x 31,096ピクセルで、RSGと命名され、210,000以上のオブジェクトと40,000以上のトリプルを含む大規模VHR SAIのSGG用データセットを構築した。
• 参考スコア（独自算出の注目度）: 57.98623766568799
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scene graph generation (SGG) in satellite imagery (SAI) benefits promoting intelligent understanding of geospatial scenarios from perception to cognition. In SAI, objects exhibit great variations in scales and aspect ratios, and there exist rich relationships between objects (even between spatially disjoint objects), which makes it necessary to holistically conduct SGG in large-size very-high-resolution (VHR) SAI. However, the lack of SGG datasets with large-size VHR SAI has constrained the advancement of SGG in SAI. Due to the complexity of large-size VHR SAI, mining triplets <subject, relationship, object> in large-size VHR SAI heavily relies on long-range contextual reasoning. Consequently, SGG models designed for small-size natural imagery are not directly applicable to large-size VHR SAI. To address the scarcity of datasets, this paper constructs a large-scale dataset for SGG in large-size VHR SAI with image sizes ranging from 512 x 768 to 27,860 x 31,096 pixels, named RSG, encompassing over 210,000 objects and more than 400,000 triplets. To realize SGG in large-size VHR SAI, we propose a context-aware cascade cognition (CAC) framework to understand SAI at three levels: object detection (OBD), pair pruning and relationship prediction. As a fundamental prerequisite for SGG in large-size SAI, a holistic multi-class object detection network (HOD-Net) that can flexibly integrate multi-scale contexts is proposed. With the consideration that there exist a huge amount of object pairs in large-size SAI but only a minority of object pairs contain meaningful relationships, we design a pair proposal generation (PPG) network via adversarial reconstruction to select high-value pairs. Furthermore, a relationship prediction network with context-aware messaging (RPCM) is proposed to predict the relationship types of these pairs.
• Abstract（参考訳）: 衛星画像(SAI)におけるシーングラフ生成(SGG)は、認識から認識までの地理空間シナリオのインテリジェントな理解を促進する。 SAIでは、物体はスケールとアスペクト比に大きな変化を示し、(空間的に不連続な物体の間であっても)物体の間にリッチな関係があり、大容量超高分解能(VHR)SAIにおいてSGGを水平に行う必要がある。 しかし,大規模VHR SAIによるSGGデータセットの欠如は,SAIにおけるSGGの進歩を妨げている。 大規模VHR SAIの複雑さのため, 大規模VHR SAIにおけるマイニング三重項<subject, relationship, object>は長距離文脈推論に大きく依存している。 したがって、小型の自然画像用に設計されたSGGモデルは、大型のVHR SAIには直接適用されない。 画像サイズは512 x 768から27,860 x 31,096ピクセル(RSG)で,210,000点以上のオブジェクトと40,000点以上のトリプルを含む。 大規模VHR SAIにおいてSGGを実現するために、オブジェクト検出(OBD)、ペアプルーニング、関係予測という3つのレベルでSAIを理解する文脈認識カスケード認知(CAC)フレームワークを提案する。 大規模SAIにおけるSGGの基本的な前提条件として,マルチスケールコンテキストを柔軟に統合可能な総合的多クラスオブジェクト検出ネットワーク(HOD-Net)を提案する。 大規模SAIには多数のオブジェクトペアが存在するが、意味のある関係を持つオブジェクトペアは少数に限られているため、高値ペアを選択するために対提案生成(PPG)ネットワークを設計する。 さらに、これらのペアの関係型を予測するために、コンテキスト対応メッセージング(RPCM)を用いた関係予測ネットワークを提案する。

関連論文リスト

• ReCon1M:A Large-scale Benchmark Dataset for Relation Comprehension in Remote Sensing Imagery [18.764245751372712]
  本稿では,リモートセンシング画像の分野における大規模・百万レベルの関係データセットについて紹介する。 60のカテゴリにまたがる855,751のオブジェクトバウンディングボックスのアノテーションと、これらのバウンディングボックスに基づいて64のカテゴリにまたがる1,149,342のトリプルリレーションが含まれている。
  論文  参考訳（メタデータ） (2024-06-10T05:40:03Z)
• AUG: A New Dataset and An Efficient Model for Aerial Image Urban Scene Graph Generation [40.149652254414185]
  本稿では,航空画像都市景観グラフ生成(AUG)データセットを構築し,公開する。 AUGデータセットの画像は、低高度のオーバーヘッドビューでキャプチャされる。 複雑な都市景観において局地的な状況が過大評価されるのを避けるため,本稿では,新たな局地性保存グラフ畳み込みネットワーク(LPG)を提案する。
  論文  参考訳（メタデータ） (2024-04-11T14:29:30Z)
• Expanding Scene Graph Boundaries: Fully Open-vocabulary Scene Graph Generation via Visual-Concept Alignment and Retention [74.42036028592705]
  SGG(Scene Graph Generation)は、多くのコンピュータビジョンアプリケーションにおいて重要な構造化された表現を提供する。 我々はOvSGTRという名前の統一フレームワークを全体的視点から完全にオープンな語彙SGGに向けて提案する。 関係関連を持つオープンボキャブラリSGGのより困難な設定のために,提案手法は,画像キャプチャデータを利用した関係対応事前学習を統合する。
  論文  参考訳（メタデータ） (2023-11-18T06:49:17Z)
• Adaptive Visual Scene Understanding: Incremental Scene Graph Generation [20.255178648494756]
  シーングラフ生成(SGG)は、画像を分析して、オブジェクトとその関係に関する意味のある情報を抽出する。 SGGにおける連続学習手法の欠如に対処するために,連続ScenEグラフ生成データセットを包括的に導入する。
  論文  参考訳（メタデータ） (2023-10-02T21:02:23Z)
• Simple, Effective and General: A New Backbone for Cross-view Image Geo-localization [9.687328460113832]
  我々は、シンプルな注意に基づく画像ジオローカライゼーションネットワーク(SAIG)という新しいバックボーンネットワークを提案する。 提案したSAIGは、パッチ間の長距離相互作用と、マルチヘッド・セルフアテンション・レイヤとのクロスビュー対応を効果的に表現する。 我々のSAIGは、従来よりもはるかにシンプルでありながら、クロスビューなジオローカライゼーションにおける最先端の成果を達成している。
  論文  参考訳（メタデータ） (2023-02-03T06:50:51Z)
• Towards Open-vocabulary Scene Graph Generation with Prompt-based Finetuning [84.39787427288525]
  シーングラフ生成(SGG)は、画像内のオブジェクト間の視覚的関係を検出するための基本的なタスクである。 オープンボキャブラリシーングラフ生成は,モデルが一連のベースオブジェクトクラスでトレーニングされる,斬新で現実的で困難な設定である。 我々のメソッドは、既存のメソッドが処理できない、完全に見えないオブジェクトクラスに対する推論をサポートすることができる。
  論文  参考訳（メタデータ） (2022-08-17T09:05:38Z)
• Relation Regularized Scene Graph Generation [206.76762860019065]
  SGG(Scene Graph Generation)は、検出されたオブジェクトの上に構築され、オブジェクトのペアの視覚的関係を予測する。 本稿では,2つのオブジェクト間の関係を予測できる関係正規化ネットワーク(R2-Net)を提案する。 我々のR2-Netはオブジェクトラベルを効果的に洗練し、シーングラフを生成する。
  論文  参考訳（メタデータ） (2022-02-22T11:36:49Z)
• Spatial-Spectral Clustering with Anchor Graph for Hyperspectral Image [88.60285937702304]
  本稿では、HSIデータクラスタリングのための空間スペクトルクラスタリングとアンカーグラフ(SSCAG)という新しい非監視アプローチを提案する。 提案されたSSCAGは最先端のアプローチと競合する。
  論文  参考訳（メタデータ） (2021-04-24T08:09:27Z)
• Re-thinking Co-Salient Object Detection [170.44471050548827]
  Co-Salient Object Detection (CoSOD) は、画像群において共起するサルエントオブジェクトを検出することを目的としている。 既存のCoSODデータセットは、画像の各グループに類似した視覚的外観の有能なオブジェクトが含まれていると仮定して、深刻なデータバイアスを持つことが多い。 我々はCoSOD3kと呼ばれる新しいベンチマークを野生で導入し、大量の意味的コンテキストを必要とする。
  論文  参考訳（メタデータ） (2020-07-07T12:20:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。