論文の概要: DiffMatch: Visual-Language Guidance Makes Better Semi-supervised Change Detector

• arxiv url: http://arxiv.org/abs/2405.04788v1
• Date: Wed, 8 May 2024 03:43:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-09 15:24:34.048285
• Title: DiffMatch: Visual-Language Guidance Makes Better Semi-supervised Change Detector
• Title（参考訳）: DiffMatch:ビジュアルランゲージガイダンスは、半教師付き変更検出器を改善
• Authors: Kaiyu Li, Xiangyong Cao, Yupeng Deng, Deyu Meng,
• Abstract要約: Change Detection (CD) は、画像間のセマンティックな変化でピクセルを識別することを目的としている。 本稿では,VLM誘導に基づく半教師付きCD手法,すなわちDiffMatchを提案する。
• 参考スコア（独自算出の注目度）: 43.991262005295596
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Change Detection (CD) aims to identify pixels with semantic changes between images. However, annotating massive numbers of pixel-level images is labor-intensive and costly, especially for multi-temporal images, which require pixel-wise comparisons by human experts. Considering the excellent performance of visual language models (VLMs) for zero-shot, open-vocabulary, etc. with prompt-based reasoning, it is promising to utilize VLMs to make better CD under limited labeled data. In this paper, we propose a VLM guidance-based semi-supervised CD method, namely DiffMatch. The insight of DiffMatch is to synthesize free change labels using VLMs to provide additional supervision signals for unlabeled data. However, almost all current VLMs are designed for single-temporal images and cannot be directly applied to bi- or multi-temporal images. Motivated by this, we first propose a VLM-based mixed change event generation (CEG) strategy to yield pseudo labels for unlabeled CD data. Since the additional supervised signals provided by these VLM-driven pseudo labels may conflict with the pseudo labels from the consistency regularization paradigm (e.g. FixMatch), we propose the dual projection head for de-entangling different signal sources. Further, we explicitly decouple the bi-temporal images semantic representation through two auxiliary segmentation decoders, which are also guided by VLM. Finally, to make the model more adequately capture change representations, we introduce metric-aware supervision by feature-level contrastive loss in auxiliary branches. Extensive experiments show the advantage of DiffMatch. For instance, DiffMatch improves the FixMatch baseline by +5.3 IoU on WHU-CD and by +2.4 IoU on LEVIR-CD with 5% labels. In addition, our CEG strategy, in an un-supervised manner, can achieve performance far superior to state-of-the-art un-supervised CD methods.
• Abstract（参考訳）: Change Detection (CD) は、画像間のセマンティックな変化でピクセルを識別することを目的としている。 しかし、大量のピクセルレベルの画像に注釈を付けることは、特に人間の専門家によるピクセルレベルの比較を必要とするマルチテンポラリ画像に対して、労働集約的でコストがかかる。 ゼロショットやオープンボキャブラリなどにおける視覚言語モデル(VLM)の性能を即時推論で向上させることを考えると,VLMを利用してラベル付きデータでより良いCDを作成することが期待できる。 本稿では,VLM誘導に基づく半教師付きCD手法,すなわちDiffMatchを提案する。 DiffMatchの洞察は、VLMを使用して自由な変更ラベルを合成し、ラベルなしデータに対するさらなる監視信号を提供することである。 しかしながら、現在のほとんどのVLMは単一時間画像用に設計されており、バイ時間画像や複数時間画像に直接適用することはできない。 そこで我々はまず,VLMに基づく混合変化イベント生成(CEG)戦略を提案し,ラベルなしCDデータに擬似ラベルを付与する。 これらのVLM駆動型擬似ラベルによって提供される追加の教師付き信号は、整合正則化パラダイム(例えば FixMatch)の擬似ラベルと矛盾する可能性があるため、異なる信号源を分離するための二重投影ヘッドを提案する。 さらに、VLMによってガイドされる2つの補助セグメント化デコーダを通して、両時間画像の意味表現を明示的に分離する。 最後に、モデルが変化表現をより適切にキャプチャするために、補助枝における特徴レベルのコントラスト損失によるメトリクス認識の監視を導入する。 大規模な実験はDiffMatchの利点を示している。 例えば、DiffMatchはFixMatchベースラインをWHU-CDで+5.3 IoU、LEVIR-CDで+2.4 IoUで5%改善している。 さらに、当社のCEG戦略は、教師なしの方法で、最先端の教師なしCD手法よりもはるかに優れた性能を達成することができる。

関連論文リスト

• AVG-LLaVA: A Large Multimodal Model with Adaptive Visual Granularity [85.44800864697464]
  入力画像と命令に基づいて適切な視覚的粒度を適応的に選択できるLMMであるAVG-LLaVAを導入する。 AVG-LLaVAは11のベンチマークで優れた性能を示し、視覚トークンの数を大幅に削減し、推論を高速化する。
  論文  参考訳（メタデータ） (2024-09-20T10:50:21Z)
• SSLChange: A Self-supervised Change Detection Framework Based on Domain Adaptation [13.186214312979912]
  SSLChangeは、変更検出のための自己監督型コントラストフレームワークである。 単時間サンプルを取るだけで、自己学習ができる。 フレキシブルにメインストリームのCDベースラインに転送できる。
  論文  参考訳（メタデータ） (2024-05-28T14:34:51Z)
• Pixel-Level Change Detection Pseudo-Label Learning for Remote Sensing Change Captioning [28.3763053922823]
  リモートセンシング画像変化キャプション(RSICC)の手法は、単純なシーンではうまく機能するが、複雑なシーンでは性能が劣る。 画素レベルのCDは言語による画像の違いを説明する上で重要であると我々は信じている。 提案手法は最先端の性能を達成し,学習用画素レベルのCD擬似ラベルがキャプションの変更に大きく貢献することを示す。
  論文  参考訳（メタデータ） (2023-12-23T17:58:48Z)
• TransY-Net:Learning Fully Transformer Networks for Change Detection of Remote Sensing Images [64.63004710817239]
  リモートセンシング画像CDのためのトランスフォーマーベース学習フレームワークTransY-Netを提案する。 グローバルな視点からの特徴抽出を改善し、ピラミッド方式で多段階の視覚的特徴を組み合わせる。 提案手法は,4つの光学式および2つのSAR画像CDベンチマーク上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-10-22T07:42:19Z)
• UCDFormer: Unsupervised Change Detection Using a Transformer-driven Image Translation [20.131754484570454]
  両時間画像の比較による変化検出(CD)は,リモートセンシングにおいて重要な課題である。 リモートセンシング画像に対する領域シフト設定による変更検出を提案する。 UCDFormerと呼ばれる軽量トランスを用いた新しい教師なしCD方式を提案する。
  論文  参考訳（メタデータ） (2023-08-02T13:39:08Z)
• Exploring Effective Priors and Efficient Models for Weakly-Supervised Change Detection [9.229278131265124]
  弱教師付き変化検出(WSCD)は、画像レベルのアノテーションだけでピクセルレベルの変化を検出することを目的としている。 Dilated Prior (DP) デコーダと Label Gated (LG) 制約の2つのコンポーネントを提案する。 提案したTransWCDとTransWCD-DLは,WHU-CDデータセットの最先端手法に比べて,有意な+6.33%,+9.55%のF1スコア向上を実現している。
  論文  参考訳（メタデータ） (2023-07-20T13:16:10Z)
• Revisiting Consistency Regularization for Semi-supervised Change Detection in Remote Sensing Images [60.89777029184023]
  教師付きクロスエントロピー(CE)損失に加えて、教師なしCD損失を定式化する半教師付きCDモデルを提案する。 2つの公開CDデータセットを用いて実験を行った結果,提案手法は教師付きCDの性能に近づきやすいことがわかった。
  論文  参考訳（メタデータ） (2022-04-18T17:59:01Z)
• Semi-Supervised Domain Adaptation with Prototypical Alignment and Consistency Learning [86.6929930921905]
  本稿では,いくつかの対象サンプルがラベル付けされていれば,ドメインシフトに対処するのにどの程度役立つか検討する。 ランドマークの可能性を最大限に追求するために、ランドマークから各クラスのターゲットプロトタイプを計算するプロトタイプアライメント(PA)モジュールを組み込んでいます。 具体的には,ラベル付き画像に深刻な摂動を生じさせ,PAを非自明にし,モデル一般化性を促進する。
  論文  参考訳（メタデータ） (2021-04-19T08:46:08Z)
• Semantics-Guided Clustering with Deep Progressive Learning for Semi-Supervised Person Re-identification [58.01834972099855]
  人物の再識別(re-ID)は、同一人物の画像とカメラビューを一致させる必要がある。 本稿では,SGC-DPL(Deep Progressive Learning)を用いたセマンティックスガイドクラスタリング(Semantics-Guided Clustering)の新たなフレームワークを提案する。 我々のアプローチは、半教師付き環境でラベル付きトレーニングデータを増強することができる。
  論文  参考訳（メタデータ） (2020-10-02T18:02:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。