論文の概要: Adapting Vision Foundation Models for Robust Cloud Segmentation in Remote Sensing Images

• arxiv url: http://arxiv.org/abs/2411.13127v1
• Date: Wed, 20 Nov 2024 08:37:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:12:10.984638
• Title: Adapting Vision Foundation Models for Robust Cloud Segmentation in Remote Sensing Images
• Title（参考訳）: リモートセンシング画像におけるロバストクラウドセグメンテーションのためのビジョン基礎モデルの適用
• Authors: Xuechao Zou, Shun Zhang, Kai Li, Shiying Wang, Junliang Xing, Lei Jin, Congyan Lang, Pin Tao,
• Abstract要約: クラウドセグメンテーションはリモートセンシング画像解釈において重要な課題である。 本稿では,クラウドセグメンテーションの精度とロバスト性を高めるために,Cloud-Adapterと呼ばれるパラメータ効率適応手法を提案する。
• 参考スコア（独自算出の注目度）: 22.054023867495722
• License:
• Abstract: Cloud segmentation is a critical challenge in remote sensing image interpretation, as its accuracy directly impacts the effectiveness of subsequent data processing and analysis. Recently, vision foundation models (VFM) have demonstrated powerful generalization capabilities across various visual tasks. In this paper, we present a parameter-efficient adaptive approach, termed Cloud-Adapter, designed to enhance the accuracy and robustness of cloud segmentation. Our method leverages a VFM pretrained on general domain data, which remains frozen, eliminating the need for additional training. Cloud-Adapter incorporates a lightweight spatial perception module that initially utilizes a convolutional neural network (ConvNet) to extract dense spatial representations. These multi-scale features are then aggregated and serve as contextual inputs to an adapting module, which modulates the frozen transformer layers within the VFM. Experimental results demonstrate that the Cloud-Adapter approach, utilizing only 0.6% of the trainable parameters of the frozen backbone, achieves substantial performance gains. Cloud-Adapter consistently attains state-of-the-art (SOTA) performance across a wide variety of cloud segmentation datasets from multiple satellite sources, sensor series, data processing levels, land cover scenarios, and annotation granularities. We have released the source code and pretrained models at https://github.com/XavierJiezou/Cloud-Adapter to support further research.
• Abstract（参考訳）: クラウドセグメンテーションはリモートセンシング画像解釈において重要な課題であり、その精度はその後のデータ処理と分析の有効性に直接影響する。 近年,視覚基礎モデル (VFM) は様々な視覚的タスクにまたがる強力な一般化能力を実証している。 本稿では,クラウドセグメンテーションの精度とロバスト性を高めるために,Cloud-Adapterと呼ばれるパラメータ効率適応手法を提案する。 本手法では, 一般領域データに事前学習したVFMを凍結したまま利用し, 追加訓練の必要性を排除した。 Cloud-Adapterは、最初は畳み込みニューラルネットワーク(ConvNet)を使用して、密集した空間表現を抽出する軽量な空間知覚モジュールを組み込んでいる。 これらのマルチスケール機能は集約され、適応モジュールへのコンテキスト入力として機能し、VFM内の冷凍変圧器層を変調する。 実験の結果,凍結したバックボーンのトレーニング可能なパラメータの0.6%しか利用していないCloud-Adapterアプローチは,大幅な性能向上を実現していることがわかった。 Cloud-Adapterは、複数のサテライトソース、センサーシリーズ、データ処理レベル、ランドカバーシナリオ、アノテーションの粒度から、さまざまなクラウドセグメンテーションデータセットにわたる、最先端(SOTA)のパフォーマンスを一貫して達成する。 我々は、さらなる研究をサポートするために、https://github.com/XavierJiezou/Cloud-Adapterでソースコードと事前訓練されたモデルをリリースした。

関連論文リスト

• PGCS: Physical Law embedded Generative Cloud Synthesis in Remote Sensing Images [9.655563155560658]
  物理法則組み込みクラウド合成法 (PGCS) は, 実データを改善するために, 多様な現実的なクラウド画像を生成するために提案されている。 2つの雲補正法がPGCSから開発され、雲補正作業における最先端手法と比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-22T12:36:03Z)
• Parameter-Efficient Fine-Tuning in Spectral Domain for Point Cloud Learning [49.91297276176978]
  私たちは小説を提案します。 ポイントGST (Point GST) と呼ばれる点雲の効率的な微細調整法。 ポイントGSTは事前トレーニングされたモデルを凍結し、スペクトル領域のパラメータを微調整するためのトレーニング可能なポイントクラウドスペクトルアダプタ(PCSA)を導入する。 挑戦的なポイントクラウドデータセットに関する大規模な実験は、ポイントGSTが完全に微調整されたデータセットを上回るだけでなく、トレーニング可能なパラメータを大幅に削減することを示した。
  論文  参考訳（メタデータ） (2024-10-10T17:00:04Z)
• Dynamic Adapter Meets Prompt Tuning: Parameter-Efficient Transfer Learning for Point Cloud Analysis [51.14136878142034]
  ポイントクラウド分析は、事前訓練されたモデルのポイントクラウドの転送によって、優れたパフォーマンスを実現している。 モデル適応のための既存の方法は通常、高い計算コストに依存するため、非効率な全てのモデルパラメータを更新する。 本稿では,タスク性能とパラメータ効率のトレードオフを考慮した,ポイントクラウド解析のためのパラメータ効率変換学習を提案する。
  論文  参考訳（メタデータ） (2024-03-03T08:25:04Z)
• Point Cloud Pre-training with Diffusion Models [62.12279263217138]
  我々は、ポイントクラウド拡散事前学習(PointDif)と呼ばれる新しい事前学習手法を提案する。 PointDifは、分類、セグメンテーション、検出など、さまざまな下流タスクのために、さまざまな現実世界のデータセット間で大幅に改善されている。
  論文  参考訳（メタデータ） (2023-11-25T08:10:05Z)
• Creating and Leveraging a Synthetic Dataset of Cloud Optical Thickness Measures for Cloud Detection in MSI [3.4764766275808583]
  雲の形成は、しばしば地球の地表を観測する光学衛星による不明瞭な観測である。 雲の光学的厚さ推定のための新しい合成データセットを提案する。 信頼性と汎用性を備えたクラウドマスクを実データで取得するために活用する。
  論文  参考訳（メタデータ） (2023-11-23T14:28:28Z)
• Detecting Cloud Presence in Satellite Images Using the RGB-based CLIP Vision-Language Model [0.0]
  この研究は、雲によって影響を受ける衛星画像を特定するために、事前訓練されたCLIPビジョン言語モデルの能力を探求する。 このモデルを用いて雲の存在検知を行うためのいくつかの手法を提案し,評価した。 以上の結果から,CLIPモデルで学習した表現は,雲を含む衛星画像処理作業に有用であることが示唆された。
  論文  参考訳（メタデータ） (2023-08-01T13:36:46Z)
• Instance-aware Dynamic Prompt Tuning for Pre-trained Point Cloud Models [64.49254199311137]
  本稿では,事前学習点クラウドモデルのための新しいインスタンス対応動的プロンプトチューニング(IDPT)戦略を提案する。 IDPTの本質は、各ポイントクラウドインスタンスのセマンティックな事前特徴を知覚する動的プロンプト生成モジュールを開発することである。 実験では、IDPTはトレーニング可能なパラメータのわずか7%で、ほとんどのタスクにおいて完全な微調整よりも優れています。
  論文  参考訳（メタデータ） (2023-04-14T16:03:09Z)
• AdaPoinTr: Diverse Point Cloud Completion with Adaptive Geometry-Aware Transformers [94.11915008006483]
  本稿では,ポイントクラウドの完了をセット・ツー・セットの翻訳問題として再定義する手法を提案する。 我々は、ポイントクラウド補完のためにTransformerエンコーダデコーダアーキテクチャを採用したPoinTrと呼ばれる新しいモデルを設計する。 本手法は,PCNで6.53 CD,ShapeNet-55で0.81 CD,現実世界のKITTIで0.392 MMDを実現する。
  論文  参考訳（メタデータ） (2023-01-11T16:14:12Z)
• Effective Utilisation of Multiple Open-Source Datasets to Improve Generalisation Performance of Point Cloud Segmentation Models [0.0]
  航空点雲データのセマンティックセグメンテーションは、地面、建物、植生などのクラスに属するポイントを区別するために利用することができる。 ドローンや飛行機に搭載された空中センサーから発生する点雲は、LIDARセンサーやカメラと光度計を利用することができる。 そこで本研究では,データセットの単純な組み合わせが,期待通りに一般化性能を向上したモデルを生成することを示す。
  論文  参考訳（メタデータ） (2022-11-29T02:31:01Z)
• Self-Supervised Pre-Training for Transformer-Based Person Re-Identification [54.55281692768765]
  トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。 この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
  論文  参考訳（メタデータ） (2021-11-23T18:59:08Z)
• Point Cloud Pre-training by Mixing and Disentangling [35.18101910728478]
  Mixing and Disentangling (MD)は、ポイントクラウド事前トレーニングのための自己教師付き学習アプローチである。 我々は,エンコーダ+我々の(MD)が,スクラッチから訓練したエンコーダを著しく上回り,迅速に収束することを示す。 この自己教師型学習によるポイントクラウドの試みが、大規模ラベル付きデータへの深い学習モデル依存を減らす道を開くことを願っている。
  論文  参考訳（メタデータ） (2021-09-01T15:52:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。