論文の概要: A New Learning Paradigm for Foundation Model-based Remote Sensing Change Detection

• arxiv url: http://arxiv.org/abs/2312.01163v1
• Date: Sat, 2 Dec 2023 15:57:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 18:54:09.851715
• Title: A New Learning Paradigm for Foundation Model-based Remote Sensing Change Detection
• Title（参考訳）: 基礎モデルに基づくリモートセンシング変化検出のための新しい学習パラダイム
• Authors: Kaiyu Li, Xiangyong Cao, Deyu Meng
• Abstract要約: 変化検出(CD)は、土地被覆の動的過程を観察し解析するための重要な課題である。 本稿では,基盤モデルに基づくCD適応フレームワークであるBi-Temporal Adapter Network (BAN)を提案する。
• 参考スコア（独自算出の注目度）: 54.01158175996638
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Change detection (CD) is a critical task to observe and analyze dynamic processes of land cover. Although numerous deep learning-based CD models have performed excellently, their further performance improvements are constrained by the limited knowledge extracted from the given labelled data. On the other hand, the foundation models that emerged recently contain a huge amount of knowledge by scaling up across data modalities and proxy tasks. In this paper, we propose a Bi-Temporal Adapter Network (BAN), which is a universal foundation model-based CD adaptation framework aiming to extract the knowledge of foundation models for CD. The proposed BAN contains three parts, i.e. frozen foundation model (e.g., CLIP), bitemporal adapter branch (Bi-TAB), and bridging modules between them. Specifically, the Bi-TAB can be either an existing arbitrary CD model or some hand-crafted stacked blocks. The bridging modules are designed to align the general features with the task/domain-specific features and inject the selected general knowledge into the Bi-TAB. To our knowledge, this is the first universal framework to adapt the foundation model to the CD task. Extensive experiments show the effectiveness of our BAN in improving the performance of existing CD methods (e.g., up to 4.08\% IoU improvement) with only a few additional learnable parameters. More importantly, these successful practices show us the potential of foundation models for remote sensing CD. The code is available at \url{https://github.com/likyoo/BAN} and will be supported in our Open-CD \url{https://github.com/likyoo/open-cd}.
• Abstract（参考訳）: 変化検出(CD)は、土地被覆の動的過程を観察し解析するための重要な課題である。 多くの深層学習型CDモデルは優れた性能を発揮しているが、そのさらなる性能向上は、与えられたラベル付きデータから抽出された限られた知識によって制限される。 一方で、最近登場した基盤モデルには、データモダリティとプロキシタスクをまたいでスケールアップすることで、膨大な知識が含まれている。 本稿では,CDの基盤モデルの知識を抽出することを目的とした,共通基盤モデルに基づくCD適応フレームワークであるBi-Temporal Adapter Network (BAN)を提案する。 提案したBANには、凍結基礎モデル(例えばCLIP)、バイテンポラルアダプタブランチ(Bi-TAB)、それらの間のブリッジモジュールの3つの部分が含まれる。 具体的には、Bi-TABは既存の任意のCDモデルか手作りの積み重ねブロックのいずれかである。 ブリッジモジュールは、一般的な特徴をタスク/ドメイン固有の特徴と整合させ、選択した一般的な知識をBi-TABに注入するように設計されている。 私たちの知る限り、これは基盤モデルをcdタスクに適用する最初の普遍的なフレームワークです。 広範な実験により,学習可能なパラメータをほんの数個加えるだけで,既存のcd法(最大4.08\%iou改善など)の性能向上に本禁止の有効性が示された。 さらに重要なのは、これらの成功事例がリモートセンシングCDの基礎モデルの可能性を示していることだ。 コードは \url{https://github.com/likyoo/BAN} で利用可能で、Open-CD \url{https://github.com/likyoo/open-cd} でサポートされます。

関連論文リスト

• High-Performance Few-Shot Segmentation with Foundation Models: An Empirical Study [64.06777376676513]
  基礎モデルに基づく数ショットセグメンテーション(FSS)フレームワークを開発した。 具体的には、基礎モデルから暗黙的な知識を抽出し、粗い対応を構築するための簡単なアプローチを提案する。 2つの広く使われているデータセットの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2024-09-10T08:04:11Z)
• ChangeAnywhere: Sample Generation for Remote Sensing Change Detection via Semantic Latent Diffusion Model [4.677012401985776]
  ChangeAnywhereはセマンティック潜伏拡散モデルと単一時間画像を用いた新しいCDサンプル生成手法である。 ChangeAnywhereは2つのCDサンプルをキャプチャする。つまり、変更は意味的に異なることを意味し、非変更は同じ意味的制約の下で合理的な変更を意味する。 ChangeAnywhere-100Kは、さまざまなディープラーニングベースのCDモデルのための2つのCDベンチマークデータセットにおいて、ゼロショットと少数ショットの両方のパフォーマンスを著しく改善した。
  論文  参考訳（メタデータ） (2024-04-13T03:46:35Z)
• Cross-Domain Few-Shot Object Detection via Enhanced Open-Set Object Detector [72.05791402494727]
  本稿では,CD-FSODを用いたクロスドメイン小ショット検出法について検討する。 最小限のラベル付き例で、新しいドメインのための正確なオブジェクト検出器を開発することを目的としている。
  論文  参考訳（メタデータ） (2024-02-05T15:25:32Z)
• An Exploratory Study on Automatic Identification of Assumptions in the Development of Deep Learning Frameworks [3.457512613793633]
  既存の仮定管理のためのアプローチとツールは通常、仮定のマニュアル識別に依存する。 本研究は,開発者とユーザの観点から,仮定を識別する目的で,異なる分類モデルを評価することを目的とする。
  論文  参考訳（メタデータ） (2024-01-08T03:50:03Z)
• TaCA: Upgrading Your Visual Foundation Model with Task-agnostic Compatible Adapter [21.41170708560114]
  視覚基盤モデルに基づくアプリケーションが増えている。 システムのアップグレードを伴う状況では、新しい基盤モデルに適応するために、下流モジュールを再訓練することが不可欠です。 パラメータ効率とタスク非依存のアダプタであるTaCAを導入し,異なる基礎モデル間の互換性を実現する。
  論文  参考訳（メタデータ） (2023-06-22T03:00:24Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• PADA: Pruning Assisted Domain Adaptation for Self-Supervised Speech Representations [1.2031796234206138]
  PADA(Pruning Assisted Domain Adaptation)と、大量のドメイン外(OOD)データに基づいて事前訓練されたモデルから余剰重量をゼロにする。 冗長ウェイトは、この研究の一部として詳細に議論された様々なプルーニング戦略を通じて特定することができる。 具体的には、最近発見されたタスク非依存およびタスク認識プルーニングがPADに与える影響を調査し、後者に基づく新しいプルーニングパラダイムを提案する。 提案したCD-TAW法は,Switchの2時間サブセットを微調整した場合,ベースラインよりも20.6%の相対的なWER改善を実現する。
  論文  参考訳（メタデータ） (2022-03-31T11:34:58Z)
• Meta-FDMixup: Cross-Domain Few-Shot Learning Guided by Labeled Target Data [95.47859525676246]
  最近の研究では、ソースドメインで訓練された既存の数発の学習手法が、ドメインギャップが観測されると、新しいターゲットドメインに一般化できないことが判明している。 本稿では,クロスドメインFew-Shot Learningにおけるラベル付き目標データが,学習プロセスを支援するために利用されていないことに気付いた。
  論文  参考訳（メタデータ） (2021-07-26T06:15:45Z)
• DGSAC: Density Guided Sampling and Consensus [4.808421423598809]
  Kernel Residual Densityは、inlierとoutlierの主な差別化要因である。 本稿では,2つのモデル選択アルゴリズム,最適2次プログラム,および欲求性を提案する。 平面分割, 運動分割, 点推定, 3次元点雲への平面整合, 直線, 円環整合など, 様々なタスクについて評価を行った。
  論文  参考訳（メタデータ） (2020-06-03T17:42:53Z)
• Model Reuse with Reduced Kernel Mean Embedding Specification [70.044322798187]
  現在のアプリケーションで有用なモデルを見つけるための2段階のフレームワークを提案する。 アップロードフェーズでは、モデルがプールにアップロードされている場合、モデルの仕様としてカーネル平均埋め込み(RKME)を縮小する。 デプロイフェーズでは、RKME仕様の値に基づいて、現在のタスクと事前訓練されたモデルの関連性を測定する。
  論文  参考訳（メタデータ） (2020-01-20T15:15:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。