論文の概要: A New Learning Paradigm for Foundation Model-based Remote Sensing Change
Detection
- arxiv url: http://arxiv.org/abs/2312.01163v2
- Date: Sun, 11 Feb 2024 06:09:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 21:33:15.497521
- Title: A New Learning Paradigm for Foundation Model-based Remote Sensing Change
Detection
- Title（参考訳）: 基礎モデルに基づくリモートセンシング変化検出のための新しい学習パラダイム
- Authors: Kaiyu Li, Xiangyong Cao, Deyu Meng
- Abstract要約: 変化検出(CD)は、土地被覆の動的過程を観察し解析するための重要な課題である。
本稿では,基盤モデルに基づくCD適応フレームワークであるBi-Temporal Adapter Network (BAN)を提案する。
- 参考スコア（独自算出の注目度）: 54.01158175996638
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Change detection (CD) is a critical task to observe and analyze dynamic
processes of land cover. Although numerous deep learning-based CD models have
performed excellently, their further performance improvements are constrained
by the limited knowledge extracted from the given labelled data. On the other
hand, the foundation models that emerged recently contain a huge amount of
knowledge by scaling up across data modalities and proxy tasks. In this paper,
we propose a Bi-Temporal Adapter Network (BAN), which is a universal foundation
model-based CD adaptation framework aiming to extract the knowledge of
foundation models for CD. The proposed BAN contains three parts, i.e. frozen
foundation model (e.g., CLIP), bi-temporal adapter branch (Bi-TAB), and
bridging modules between them. Specifically, BAN extracts general features
through a frozen foundation model, which are then selected, aligned, and
injected into Bi-TAB via the bridging modules. Bi-TAB is designed as a
model-agnostic concept to extract task/domain-specific features, which can be
either an existing arbitrary CD model or some hand-crafted stacked blocks.
Beyond current customized models, BAN is the first extensive attempt to adapt
the foundation model to the CD task. Experimental results show the
effectiveness of our BAN in improving the performance of existing CD methods
(e.g., up to 4.08\% IoU improvement) with only a few additional learnable
parameters. More importantly, these successful practices show us the potential
of foundation models for remote sensing CD. The code is available at
\url{https://github.com/likyoo/BAN} and will be supported in our Open-CD.
- Abstract（参考訳）: 変化検出(CD)は、土地被覆の動的過程を観察し解析するための重要な課題である。
多くの深層学習型CDモデルは優れた性能を発揮しているが、そのさらなる性能向上は、与えられたラベル付きデータから抽出された限られた知識によって制限される。
一方で、最近登場した基盤モデルには、データモダリティとプロキシタスクをまたいでスケールアップすることで、膨大な知識が含まれている。
本稿では,CDの基盤モデルの知識を抽出することを目的とした,共通基盤モデルに基づくCD適応フレームワークであるBi-Temporal Adapter Network (BAN)を提案する。
提案したBANには、凍結基礎モデル(例えばCLIP)、バイテンポラルアダプタブランチ(Bi-TAB)、モジュール間のブリッジングという3つの部分が含まれている。
具体的には、BANは凍結基礎モデルを通じて一般的な特徴を抽出し、ブリッジモジュールを介してBi-TABに選択、アライメント、注入する。
Bi-TABはタスク/ドメイン固有の特徴を抽出するためのモデルに依存しない概念として設計されている。
現在のカスタマイズモデル以外にも、BANはCDタスクにファンデーションモデルを適用するための最初の大規模な試みである。
実験の結果,既存のcd法(最大4.08\%iou改善など)の性能向上に,学習可能なパラメータの追加が有効であった。
さらに重要なのは、これらの成功事例がリモートセンシングCDの基礎モデルの可能性を示していることだ。
コードは \url{https://github.com/likyoo/ban} で利用可能です。
関連論文リスト
- High-Performance Few-Shot Segmentation with Foundation Models: An Empirical Study [64.06777376676513]
基礎モデルに基づく数ショットセグメンテーション(FSS)フレームワークを開発した。
具体的には、基礎モデルから暗黙的な知識を抽出し、粗い対応を構築するための簡単なアプローチを提案する。
2つの広く使われているデータセットの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2024-09-10T08:04:11Z) - ChangeAnywhere: Sample Generation for Remote Sensing Change Detection via Semantic Latent Diffusion Model [4.677012401985776]
ChangeAnywhereはセマンティック潜伏拡散モデルと単一時間画像を用いた新しいCDサンプル生成手法である。
ChangeAnywhereは2つのCDサンプルをキャプチャする。つまり、変更は意味的に異なることを意味し、非変更は同じ意味的制約の下で合理的な変更を意味する。
ChangeAnywhere-100Kは、さまざまなディープラーニングベースのCDモデルのための2つのCDベンチマークデータセットにおいて、ゼロショットと少数ショットの両方のパフォーマンスを著しく改善した。
論文 参考訳（メタデータ） (2024-04-13T03:46:35Z) - Cross-Domain Few-Shot Object Detection via Enhanced Open-Set Object Detector [72.05791402494727]
本稿では,CD-FSODを用いたクロスドメイン小ショット検出法について検討する。
最小限のラベル付き例で、新しいドメインのための正確なオブジェクト検出器を開発することを目的としている。
論文 参考訳（メタデータ） (2024-02-05T15:25:32Z) - An Exploratory Study on Automatic Identification of Assumptions in the Development of Deep Learning Frameworks [3.457512613793633]
既存の仮定管理のためのアプローチとツールは通常、仮定のマニュアル識別に依存する。
本研究は,開発者とユーザの観点から,仮定を識別する目的で,異なる分類モデルを評価することを目的とする。
論文 参考訳（メタデータ） (2024-01-08T03:50:03Z) - TaCA: Upgrading Your Visual Foundation Model with Task-agnostic
Compatible Adapter [21.41170708560114]
視覚基盤モデルに基づくアプリケーションが増えている。
システムのアップグレードを伴う状況では、新しい基盤モデルに適応するために、下流モジュールを再訓練することが不可欠です。
パラメータ効率とタスク非依存のアダプタであるTaCAを導入し,異なる基礎モデル間の互換性を実現する。
論文 参考訳（メタデータ） (2023-06-22T03:00:24Z) - Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。
CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。
単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文 参考訳（メタデータ） (2023-05-18T16:28:29Z) - PADA: Pruning Assisted Domain Adaptation for Self-Supervised Speech
Representations [1.2031796234206138]
PADA(Pruning Assisted Domain Adaptation)と、大量のドメイン外(OOD)データに基づいて事前訓練されたモデルから余剰重量をゼロにする。
冗長ウェイトは、この研究の一部として詳細に議論された様々なプルーニング戦略を通じて特定することができる。
具体的には、最近発見されたタスク非依存およびタスク認識プルーニングがPADに与える影響を調査し、後者に基づく新しいプルーニングパラダイムを提案する。
提案したCD-TAW法は,Switchの2時間サブセットを微調整した場合,ベースラインよりも20.6%の相対的なWER改善を実現する。
論文 参考訳（メタデータ） (2022-03-31T11:34:58Z) - Meta-FDMixup: Cross-Domain Few-Shot Learning Guided by Labeled Target
Data [95.47859525676246]
最近の研究では、ソースドメインで訓練された既存の数発の学習手法が、ドメインギャップが観測されると、新しいターゲットドメインに一般化できないことが判明している。
本稿では,クロスドメインFew-Shot Learningにおけるラベル付き目標データが,学習プロセスを支援するために利用されていないことに気付いた。
論文 参考訳（メタデータ） (2021-07-26T06:15:45Z) - DGSAC: Density Guided Sampling and Consensus [4.808421423598809]
Kernel Residual Densityは、inlierとoutlierの主な差別化要因である。
本稿では,2つのモデル選択アルゴリズム,最適2次プログラム,および欲求性を提案する。
平面分割, 運動分割, 点推定, 3次元点雲への平面整合, 直線, 円環整合など, 様々なタスクについて評価を行った。
論文 参考訳（メタデータ） (2020-06-03T17:42:53Z) - Model Reuse with Reduced Kernel Mean Embedding Specification [70.044322798187]
現在のアプリケーションで有用なモデルを見つけるための2段階のフレームワークを提案する。
アップロードフェーズでは、モデルがプールにアップロードされている場合、モデルの仕様としてカーネル平均埋め込み(RKME)を縮小する。
デプロイフェーズでは、RKME仕様の値に基づいて、現在のタスクと事前訓練されたモデルの関連性を測定する。
論文 参考訳（メタデータ） (2020-01-20T15:15:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。