論文の概要: Remote Sensing Semantic Segmentation Quality Assessment based on Vision Language Model

• arxiv url: http://arxiv.org/abs/2502.13990v1
• Date: Wed, 19 Feb 2025 02:28:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 14:26:55.273203
• Title: Remote Sensing Semantic Segmentation Quality Assessment based on Vision Language Model
• Title（参考訳）: 視覚言語モデルに基づくリモートセンシングセマンティックセマンティックセマンティックセマンティック品質評価
• Authors: Huiying Shi, Zhihong Tan, Zhihan Zhang, Hongchen Wei, Yaosi Hu, Yingxue Zhang, Zhenzhong Chen,
• Abstract要約: シーンの複雑さと画質の変動は、セマンティックセグメンテーション法の性能において大きな変動をもたらす。 視覚言語モデル(VLM)に基づく意味的セグメンテーションのための教師なし品質評価モデルRS-SQAを提案する。 RS-SQAは、最先端の品質評価モデルよりも大幅に優れていることを示す。
• 参考スコア（独自算出の注目度）: 39.648034545050535
• License:
• Abstract: The complexity of scenes and variations in image quality result in significant variability in the performance of semantic segmentation methods of remote sensing imagery (RSI) in supervised real-world scenarios. This makes the evaluation of semantic segmentation quality in such scenarios an issue to be resolved. However, most of the existing evaluation metrics are developed based on expert-labeled object-level annotations, which are not applicable in such scenarios. To address this issue, we propose RS-SQA, an unsupervised quality assessment model for RSI semantic segmentation based on vision language model (VLM). This framework leverages a pre-trained RS VLM for semantic understanding and utilizes intermediate features from segmentation methods to extract implicit information about segmentation quality. Specifically, we introduce CLIP-RS, a large-scale pre-trained VLM trained with purified text to reduce textual noise and capture robust semantic information in the RS domain. Feature visualizations confirm that CLIP-RS can effectively differentiate between various levels of segmentation quality. Semantic features and low-level segmentation features are effectively integrated through a semantic-guided approach to enhance evaluation accuracy. To further support the development of RS semantic segmentation quality assessment, we present RS-SQED, a dedicated dataset sampled from four major RS semantic segmentation datasets and annotated with segmentation accuracy derived from the inference results of 8 representative segmentation methods. Experimental results on the established dataset demonstrate that RS-SQA significantly outperforms state-of-the-art quality assessment models. This provides essential support for predicting segmentation accuracy and high-quality semantic segmentation interpretation, offering substantial practical value.
• Abstract（参考訳）: シーンの複雑さと画質の変動は、実世界におけるリモートセンシング画像のセマンティックセグメンテーション法(RSI)の性能に大きな変動をもたらす。 これにより、このようなシナリオにおけるセマンティックセグメンテーションの品質の評価が解決すべき問題となる。 しかし、既存の評価指標のほとんどは、専門家にラベル付けされたオブジェクトレベルのアノテーションに基づいて開発されており、そのようなシナリオでは適用できない。 本稿では、視覚言語モデル(VLM)に基づくRSIセマンティックセグメンテーションのための教師なし品質評価モデルRS-SQAを提案する。 本フレームワークは,意味理解のための事前学習されたRS VLMを活用し,セグメンテーション手法の中間的特徴を利用してセグメンテーション品質に関する暗黙的な情報を抽出する。 具体的には、テキストノイズを低減し、RSドメイン内のロバストなセマンティック情報をキャプチャするために、清浄テキストで訓練された大規模事前訓練VLMであるCLIP-RSを紹介する。 特徴視覚化は、CLIP-RSが様々なセグメンテーション品質を効果的に区別できることを確認する。 セマンティック特徴と低レベルセグメンテーション特徴は、セマンティックガイダンスアプローチによって効果的に統合され、評価精度が向上する。 RSセマンティックセマンティック・セマンティック・セマンティック・セマンティック・クオリティ・アセスメント(RS-SQED)の開発を支援するため、4つの主要なRSセマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・アセスメント・アセスメント・アセスメント・アセスメント(RS-SQED)を提案する。 確立されたデータセットの実験結果から,RS-SQAは最先端の品質評価モデルを大幅に上回っていることが示された。 これは、セグメンテーションの精度と高品質なセグメンテーションの解釈を予測するための重要なサポートを提供し、実質的な価値を提供する。

関連論文リスト

• SSA-Seg: Semantic and Spatial Adaptive Pixel-level Classifier for Semantic Segmentation [11.176993272867396]
  本稿ではセマンティック・空間適応(SSA-Seg)を提案し,セマンティックセグメンテーションの課題に対処する。 具体的には、固定されたプロトタイプから得られた粗いマスクを用いて、テスト画像のセマンティック領域と空間領域の中心に向けて固定されたプロトタイプを調整する。 その結果,提案したSSA-Segは,計算コストを最小限に抑えながら,ベースラインモデルのセグメンテーション性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2024-05-10T15:14:23Z)
• Context-Semantic Quality Awareness Network for Fine-Grained Visual Categorization [30.92656780805478]
  細粒度視覚分類のための弱教師付き文脈意味品質認識ネットワーク(CSQA-Net)を提案する。 リッチな部分記述子とグローバルセマンティクスの空間的関係をモデル化するため,我々は新しい多部・多スケールクロスアテンション(MPMSCA)モジュールを開発した。 また、バックボーンネットワークの異なるレベルからの階層的セマンティクスを段階的に監視し、強化する汎用的マルチレベルセマンティクス評価モジュール(MLSQE)を提案する。
  論文  参考訳（メタデータ） (2024-03-15T13:40:44Z)
• What a MESS: Multi-Domain Evaluation of Zero-Shot Semantic Segmentation [2.7036595757881323]
  セマンティック(MESS)のマルチドメイン評価のためのベンチマークを構築した。 MESSは、幅広いドメイン固有のデータセットにわたるパフォーマンスの全体的な分析を可能にする。 提案したMESSベンチマークを用いて,最近発表された8つのモデルを評価し,ゼロショット転送モデルの性能評価を行った。
  論文  参考訳（メタデータ） (2023-06-27T14:47:43Z)
• Exploring Open-Vocabulary Semantic Segmentation without Human Labels [76.15862573035565]
  我々は、既存の事前学習された視覚言語モデル(VL)を利用して意味的セグメンテーションモデルを訓練するZeroSegを提案する。 ZeroSegは、VLモデルで学んだ視覚概念をセグメントトークンの集合に蒸留することでこれを克服し、それぞれが対象画像の局所化領域を要約する。 提案手法は,他のゼロショットセグメンテーション法と比較して,同じトレーニングデータを用いた場合と比較して,最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-06-01T08:47:06Z)
• Advancing Incremental Few-shot Semantic Segmentation via Semantic-guided Relation Alignment and Adaptation [98.51938442785179]
  増分的な数ショットセマンティックセマンティックセマンティクスは、セマンティクスセマンティクスモデルを新しいクラスに漸進的に拡張することを目的としている。 このタスクは、データ不均衡のため、ベースクラスと新しいクラスの間で深刻な意味認識の問題に直面します。 本稿では,従来の意味情報のガイダンスを完全に考慮した意味誘導型関係調整適応法を提案する。
  論文  参考訳（メタデータ） (2023-05-18T10:40:52Z)
• Generalized Semantic Segmentation by Self-Supervised Source Domain Projection and Multi-Level Contrastive Learning [79.0660895390689]
  ソースドメインでトレーニングされたディープネットワークは、未確認のターゲットドメインデータでテストした場合、パフォーマンスが低下している。 汎用セマンティックセグメンテーションのためのドメイン・プロジェクションとコントラシブ・ラーニング(DPCL)手法を提案する。
  論文  参考訳（メタデータ） (2023-03-03T13:07:14Z)
• Self-supervised Pre-training for Semantic Segmentation in an Indoor Scene [8.357801312689622]
  本稿ではセグメンテーションモデルの自己教師型事前学習手法であるRegConsistを提案する。 我々は,対象環境におけるRGBビューからのセマンティックセグメンテーションを予測するために,コントラスト学習の変種を用いてDCNNモデルを訓練する。 提案手法は、ImageNetで事前訓練されたモデルよりも優れており、全く同じタスクでトレーニングされたモデルと異なるデータセットでトレーニングされたモデルを使用する場合の競合性能を実現する。
  論文  参考訳（メタデータ） (2022-10-04T20:10:14Z)
• Real-Time Scene Text Detection with Differentiable Binarization and Adaptive Scale Fusion [62.269219152425556]
  セグメンテーションに基づくシーンテキスト検出手法はシーンテキスト検出分野において大きな注目を集めている。 本稿では,二項化処理をセグメンテーションネットワークに統合する分散二項化(DB)モジュールを提案する。 アダプティブ・スケール・フュージョン (ASF) モジュールは, 異なるスケールの特徴を適応的に融合させることにより, スケールのロバスト性を向上させる。
  論文  参考訳（メタデータ） (2022-02-21T15:30:14Z)
• Improving Semi-Supervised and Domain-Adaptive Semantic Segmentation with Self-Supervised Depth Estimation [94.16816278191477]
  本稿では,セミアダプティブなセマンティックセマンティックセマンティックセグメンテーションのためのフレームワークを提案する。 ラベルのない画像シーケンスでのみ訓練された自己教師付き単眼深度推定によって強化される。 提案したモデルをCityscapesデータセット上で検証する。
  論文  参考訳（メタデータ） (2021-08-28T01:33:38Z)
• A Benchmark for LiDAR-based Panoptic Segmentation based on KITTI [44.79849028988664]
  本稿では,レーザーによるパノプティックセグメンテーションのトレーニングと評価のためのセマンティックキッティの拡張について述べる。 データを提供し、時間的に一貫したインスタンス情報で与えられたセマンティックアノテーションを強化するために必要な処理手順について議論する。 我々は、最先端LiDARに基づくセマンティックセグメンテーションアプローチと最先端検出器を組み合わせた2つの強力なベースラインを提案する。
  論文  参考訳（メタデータ） (2020-03-04T23:44:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。