論文の概要: A New Learning Paradigm for Foundation Model-based Remote Sensing Change
Detection
- arxiv url: http://arxiv.org/abs/2312.01163v2
- Date: Sun, 11 Feb 2024 06:09:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 21:33:15.497521
- Title: A New Learning Paradigm for Foundation Model-based Remote Sensing Change
Detection
- Title(参考訳): 基礎モデルに基づくリモートセンシング変化検出のための新しい学習パラダイム
- Authors: Kaiyu Li, Xiangyong Cao, Deyu Meng
- Abstract要約: 変化検出(CD)は、土地被覆の動的過程を観察し解析するための重要な課題である。
本稿では,基盤モデルに基づくCD適応フレームワークであるBi-Temporal Adapter Network (BAN)を提案する。
- 参考スコア(独自算出の注目度): 54.01158175996638
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Change detection (CD) is a critical task to observe and analyze dynamic
processes of land cover. Although numerous deep learning-based CD models have
performed excellently, their further performance improvements are constrained
by the limited knowledge extracted from the given labelled data. On the other
hand, the foundation models that emerged recently contain a huge amount of
knowledge by scaling up across data modalities and proxy tasks. In this paper,
we propose a Bi-Temporal Adapter Network (BAN), which is a universal foundation
model-based CD adaptation framework aiming to extract the knowledge of
foundation models for CD. The proposed BAN contains three parts, i.e. frozen
foundation model (e.g., CLIP), bi-temporal adapter branch (Bi-TAB), and
bridging modules between them. Specifically, BAN extracts general features
through a frozen foundation model, which are then selected, aligned, and
injected into Bi-TAB via the bridging modules. Bi-TAB is designed as a
model-agnostic concept to extract task/domain-specific features, which can be
either an existing arbitrary CD model or some hand-crafted stacked blocks.
Beyond current customized models, BAN is the first extensive attempt to adapt
the foundation model to the CD task. Experimental results show the
effectiveness of our BAN in improving the performance of existing CD methods
(e.g., up to 4.08\% IoU improvement) with only a few additional learnable
parameters. More importantly, these successful practices show us the potential
of foundation models for remote sensing CD. The code is available at
\url{https://github.com/likyoo/BAN} and will be supported in our Open-CD.
- Abstract(参考訳): 変化検出(CD)は、土地被覆の動的過程を観察し解析するための重要な課題である。
多くの深層学習型CDモデルは優れた性能を発揮しているが、そのさらなる性能向上は、与えられたラベル付きデータから抽出された限られた知識によって制限される。
一方で、最近登場した基盤モデルには、データモダリティとプロキシタスクをまたいでスケールアップすることで、膨大な知識が含まれている。
本稿では,CDの基盤モデルの知識を抽出することを目的とした,共通基盤モデルに基づくCD適応フレームワークであるBi-Temporal Adapter Network (BAN)を提案する。
提案したBANには、凍結基礎モデル(例えばCLIP)、バイテンポラルアダプタブランチ(Bi-TAB)、モジュール間のブリッジングという3つの部分が含まれている。
具体的には、BANは凍結基礎モデルを通じて一般的な特徴を抽出し、ブリッジモジュールを介してBi-TABに選択、アライメント、注入する。
Bi-TABはタスク/ドメイン固有の特徴を抽出するためのモデルに依存しない概念として設計されている。
現在のカスタマイズモデル以外にも、BANはCDタスクにファンデーションモデルを適用するための最初の大規模な試みである。
実験の結果,既存のcd法(最大4.08\%iou改善など)の性能向上に,学習可能なパラメータの追加が有効であった。
さらに重要なのは、これらの成功事例がリモートセンシングCDの基礎モデルの可能性を示していることだ。
コードは \url{https://github.com/likyoo/ban} で利用可能です。
関連論文リスト
- Diffusion Cross-domain Recommendation [0.0]
コールドスタートユーザに高品質な結果を提供するために拡散クロスドメイン勧告(DiffCDR)を提案する。
まず、DPMの理論を採用し、ターゲットドメインにユーザの埋め込みを生成する拡散モジュール(DIM)を設計する。
さらに、ターゲットドメインのラベルデータを検討し、タスク指向の損失関数を作成し、DiffCDRが特定のタスクに適応できるようにする。
論文 参考訳(メタデータ) (2024-02-03T15:14:51Z) - TaCA: Upgrading Your Visual Foundation Model with Task-agnostic
Compatible Adapter [21.41170708560114]
視覚基盤モデルに基づくアプリケーションが増えている。
システムのアップグレードを伴う状況では、新しい基盤モデルに適応するために、下流モジュールを再訓練することが不可欠です。
パラメータ効率とタスク非依存のアダプタであるTaCAを導入し,異なる基礎モデル間の互換性を実現する。
論文 参考訳(メタデータ) (2023-06-22T03:00:24Z) - Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。
CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。
単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文 参考訳(メタデータ) (2023-05-18T16:28:29Z) - Boundary-aware Backward-Compatible Representation via Adversarial
Learning in Image Retrieval [17.995993499100017]
後方互換性トレーニング(BCT)は、検索性能に悪影響を与えることなく、2つのモデルの互換性を改善する。
本稿では,弾性境界制約付き逆向き学習法AdvBCTを紹介する。
本手法は,互換性と差別性の両方において,他のBCT法よりも優れる。
論文 参考訳(メタデータ) (2023-05-04T07:37:07Z) - PADA: Pruning Assisted Domain Adaptation for Self-Supervised Speech
Representations [1.2031796234206138]
PADA(Pruning Assisted Domain Adaptation)と、大量のドメイン外(OOD)データに基づいて事前訓練されたモデルから余剰重量をゼロにする。
冗長ウェイトは、この研究の一部として詳細に議論された様々なプルーニング戦略を通じて特定することができる。
具体的には、最近発見されたタスク非依存およびタスク認識プルーニングがPADに与える影響を調査し、後者に基づく新しいプルーニングパラダイムを提案する。
提案したCD-TAW法は,Switchの2時間サブセットを微調整した場合,ベースラインよりも20.6%の相対的なWER改善を実現する。
論文 参考訳(メタデータ) (2022-03-31T11:34:58Z) - Meta-FDMixup: Cross-Domain Few-Shot Learning Guided by Labeled Target
Data [95.47859525676246]
最近の研究では、ソースドメインで訓練された既存の数発の学習手法が、ドメインギャップが観測されると、新しいターゲットドメインに一般化できないことが判明している。
本稿では,クロスドメインFew-Shot Learningにおけるラベル付き目標データが,学習プロセスを支援するために利用されていないことに気付いた。
論文 参考訳(メタデータ) (2021-07-26T06:15:45Z) - Batch Coherence-Driven Network for Part-aware Person Re-Identification [79.33809815035127]
既存のパートアウェアの人物再識別方法は、通常、ボディ部分の検出と部分レベルの特徴抽出という2つのステップを使用する。
トレーニングフェーズとテストフェーズの両方で身体の一部をバイパスし,セマンティックに整合した機能を実現するNetworkBCDNetを提案する。
論文 参考訳(メタデータ) (2020-09-21T09:04:13Z) - DGSAC: Density Guided Sampling and Consensus [4.808421423598809]
Kernel Residual Densityは、inlierとoutlierの主な差別化要因である。
本稿では,2つのモデル選択アルゴリズム,最適2次プログラム,および欲求性を提案する。
平面分割, 運動分割, 点推定, 3次元点雲への平面整合, 直線, 円環整合など, 様々なタスクについて評価を行った。
論文 参考訳(メタデータ) (2020-06-03T17:42:53Z) - Searching Central Difference Convolutional Networks for Face
Anti-Spoofing [68.77468465774267]
顔認識システムにおいて、顔の反偽造(FAS)が重要な役割を担っている。
最先端のFASメソッドの多くは、スタック化された畳み込みと専門家が設計したネットワークに依存している。
ここでは、中央差分畳み込み(CDC)に基づくフレームレベルの新しいFAS手法を提案する。
論文 参考訳(メタデータ) (2020-03-09T12:48:37Z) - Model Reuse with Reduced Kernel Mean Embedding Specification [70.044322798187]
現在のアプリケーションで有用なモデルを見つけるための2段階のフレームワークを提案する。
アップロードフェーズでは、モデルがプールにアップロードされている場合、モデルの仕様としてカーネル平均埋め込み(RKME)を縮小する。
デプロイフェーズでは、RKME仕様の値に基づいて、現在のタスクと事前訓練されたモデルの関連性を測定する。
論文 参考訳(メタデータ) (2020-01-20T15:15:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。