論文の概要: Robust Scene Change Detection Using Visual Foundation Models and Cross-Attention Mechanisms

• arxiv url: http://arxiv.org/abs/2409.16850v1
• Date: Wed, 25 Sep 2024 11:55:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-27 03:55:18.796525
• Title: Robust Scene Change Detection Using Visual Foundation Models and Cross-Attention Mechanisms
• Title（参考訳）: ビジュアルファンデーションモデルとクロスアテンション機構を用いたロバストなシーン変化検出
• Authors: Chun-Jung Lin, Sourav Garg, Tat-Jun Chin, Feras Dayoub,
• Abstract要約: 本稿では,視覚基礎モデルDINOv2の頑健な特徴抽出機能を活用したシーン変化検出手法を提案する。 我々は,VL-CMU-CDとPSCDの2つのベンチマークデータセットに対するアプローチと,その視点評価バージョンについて検討した。 実験では,F1スコアにおいて,特に画像ペア間の幾何学的変化を伴うシナリオにおいて,顕著な改善が示された。
• 参考スコア（独自算出の注目度）: 27.882122236282054
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a novel method for scene change detection that leverages the robust feature extraction capabilities of a visual foundational model, DINOv2, and integrates full-image cross-attention to address key challenges such as varying lighting, seasonal variations, and viewpoint differences. In order to effectively learn correspondences and mis-correspondences between an image pair for the change detection task, we propose to a) ``freeze'' the backbone in order to retain the generality of dense foundation features, and b) employ ``full-image'' cross-attention to better tackle the viewpoint variations between the image pair. We evaluate our approach on two benchmark datasets, VL-CMU-CD and PSCD, along with their viewpoint-varied versions. Our experiments demonstrate significant improvements in F1-score, particularly in scenarios involving geometric changes between image pairs. The results indicate our method's superior generalization capabilities over existing state-of-the-art approaches, showing robustness against photometric and geometric variations as well as better overall generalization when fine-tuned to adapt to new environments. Detailed ablation studies further validate the contributions of each component in our architecture. Source code will be made publicly available upon acceptance.
• Abstract（参考訳）: 本稿では,視覚基礎モデルの頑健な特徴抽出機能であるDINOv2を活用するシーン変化検出手法を提案する。 変化検出タスクのイメージペア間の対応や対応の誤りを効果的に学習するために,提案手法を提案する。 a) 濃厚な基礎特徴の一般性を維持するために背骨の「凍結」 b) 'full-image' のクロスアテンションを使用して、イメージペア間の視点のばらつきに対処する。 我々は,VL-CMU-CDとPSCDの2つのベンチマークデータセットに対するアプローチと,その視点評価バージョンについて検討した。 実験では,F1スコアにおいて,特に画像ペア間の幾何学的変化を伴うシナリオにおいて,顕著な改善が示された。 提案手法は既存の最先端手法よりも優れた一般化能力を示し,光度および幾何学的変動に対する堅牢性を示すとともに,新しい環境に適応するように微調整された場合の全体的な一般化性も向上した。 詳細なアブレーション研究は、アーキテクチャにおける各コンポーネントの貢献をさらに検証します。 ソースコードは受理時に公開されます。

関連論文リスト

• Dual-Image Enhanced CLIP for Zero-Shot Anomaly Detection [58.228940066769596]
  本稿では,統合視覚言語スコアリングシステムを活用したデュアルイメージ強化CLIP手法を提案する。 提案手法は,画像のペアを処理し,それぞれを視覚的参照として利用することにより,視覚的コンテキストによる推論プロセスを強化する。 提案手法は視覚言語による関節異常検出の可能性を大幅に活用し,従来のSOTA法と同等の性能を示す。
  論文  参考訳（メタデータ） (2024-05-08T03:13:20Z)
• Fiducial Focus Augmentation for Facial Landmark Detection [4.433764381081446]
  本稿では,モデルによる顔構造理解を高めるために,新しい画像強調手法を提案する。 我々は,Deep Canonical correlation Analysis (DCCA) に基づく損失を考慮した,シームズアーキテクチャに基づくトレーニング機構を採用している。 提案手法は,様々なベンチマークデータセットにおいて,最先端のアプローチよりも優れている。
  論文  参考訳（メタデータ） (2024-02-23T01:34:00Z)
• Forgery-aware Adaptive Transformer for Generalizable Synthetic Image Detection [106.39544368711427]
  本研究では,様々な生成手法から偽画像を検出することを目的とした,一般化可能な合成画像検出の課題について検討する。 本稿では,FatFormerという新しいフォージェリー適応トランスフォーマー手法を提案する。 提案手法は, 平均98%の精度でGANを観測し, 95%の精度で拡散モデルを解析した。
  論文  参考訳（メタデータ） (2023-12-27T17:36:32Z)
• Explicit Correspondence Matching for Generalizable Neural Radiance Fields [49.49773108695526]
  本稿では,新たな未知のシナリオに一般化し,2つのソースビューで新規なビュー合成を行う新しいNeRF手法を提案する。 明瞭な対応マッチングは、異なるビュー上の3Dポイントの2次元投影でサンプリングされた画像特徴間のコサイン類似度と定量化される。 実験では,実験結果から得られたコサイン特徴の類似性と体積密度との間に強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-04-24T17:46:01Z)
• Background-Mixed Augmentation for Weakly Supervised Change Detection [18.319961338185458]
  変化検出(CD)とは、背景の変化(環境の変化など)からオブジェクトの変更(オブジェクトの欠落や出現)を分離することである。 近年の深層学習に基づく手法は,ペア学習を用いた新しいネットワークアーキテクチャや最適化戦略を開発している。 我々は,画像レベルのラベルのみを必要とする,弱教師付きトレーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-11-21T14:12:53Z)
• dual unet:a novel siamese network for change detection with cascade differential fusion [4.651756476458979]
  本稿では,変化検出タスク,すなわちDual-UNetのための新しいSiameseニューラルネットワークを提案する。 従来のバイテンポラル画像の符号化とは対照的に,画素の空間的差分関係に着目したエンコーダ差分アテンションモジュールを設計する。 実験により、提案手法は、一般的な季節変化検出データセットにおいて、常に最も高度な手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-08-12T14:24:09Z)
• A Model for Multi-View Residual Covariances based on Perspective Deformation [88.21738020902411]
  マルチビューSfM, オードメトリ, SLAMセットアップにおける視覚的残差の共分散モデルの導出を行う。 我々は、合成データと実データを用いてモデルを検証し、それを光度および特徴量に基づくバンドル調整に統合する。
  論文  参考訳（メタデータ） (2022-02-01T21:21:56Z)
• Semantic Change Detection with Asymmetric Siamese Networks [71.28665116793138]
  2つの空中画像が与えられた場合、セマンティックチェンジ検出は、土地被覆のバリエーションを特定し、それらの変化タイプをピクセルワイド境界で識別することを目的としている。 この問題は、正確な都市計画や天然資源管理など、多くの地球ビジョンに関連するタスクにおいて不可欠である。 本研究では, 広く異なる構造を持つモジュールから得られた特徴対を用いて意味変化を同定し, 同定するための非対称システマネットワーク(ASN)を提案する。
  論文  参考訳（メタデータ） (2020-10-12T13:26:30Z)
• Co-Attention for Conditioned Image Matching [91.43244337264454]
  照明, 視点, コンテキスト, 素材に大きな変化がある場合, 野生のイメージペア間の対応性を決定するための新しい手法を提案する。 他のアプローチでは、イメージを個別に扱うことで、画像間の対応を見出すが、その代わりに、画像間の差異を暗黙的に考慮するよう、両画像に条件を付ける。
  論文  参考訳（メタデータ） (2020-07-16T17:32:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。