論文の概要: Towards Generalizable Scene Change Detection
- arxiv url: http://arxiv.org/abs/2409.06214v3
- Date: Mon, 03 Mar 2025 01:46:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-04 13:05:05.481560
- Title: Towards Generalizable Scene Change Detection
- Title(参考訳): 一般化可能なシーン変化検出に向けて
- Authors: Jaewoo Kim, Uehwan Kim,
- Abstract要約: 現在の環境変化検出手法は、目に見えない環境と異なる時間条件下では信頼性が低い。
本稿では,SCDの需要増加に対応するため,GeSCF(Generalizable Scene Change Detection Framework)を提案する。
GeSCFは、既存のSCDデータセットで平均19.2%、ChangeVPRデータセットで30.0%のパフォーマンス向上を達成した。
- 参考スコア(独自算出の注目度): 4.527270266697462
- License:
- Abstract: While current state-of-the-art Scene Change Detection (SCD) approaches achieve impressive results in well-trained research data, they become unreliable under unseen environments and different temporal conditions; in-domain performance drops from 77.6\% to 8.0\% in a previously unseen environment and to 4.6\% under a different temporal condition -- calling for generalizable SCD and benchmark. In this work, we propose the Generalizable Scene Change Detection Framework (GeSCF), which addresses unseen domain performance and temporal consistency -- to meet the growing demand for anything SCD. Our method leverages the pre-trained Segment Anything Model (SAM) in a zero-shot manner. For this, we design Initial Pseudo-mask Generation and Geometric-Semantic Mask Matching -- seamlessly turning user-guided prompt and single-image based segmentation into scene change detection for a pair of inputs without guidance. Furthermore, we define the Generalizable Scene Change Detection (GeSCD) benchmark along with novel metrics and an evaluation protocol to facilitate SCD research in generalizability. In the process, we introduce the ChangeVPR dataset, a collection of challenging image pairs with diverse environmental scenarios -- including urban, suburban, and rural settings. Extensive experiments across various datasets demonstrate that GeSCF achieves an average performance gain of 19.2\% on existing SCD datasets and 30.0\% on the ChangeVPR dataset, nearly doubling the prior art performance. We believe our work can lay a solid foundation for robust and generalizable SCD research.
- Abstract(参考訳): 現在の最先端のシーン変更検出(SCD)アプローチは、よく訓練された研究データにおいて印象的な結果を達成する一方で、未確認環境と異なる時間的条件下では信頼性が低い。ドメイン内のパフォーマンスは、これまで見られなかった環境で77.6\%から8.0\%に低下し、異なる時間的条件下では4.6\%に低下する。これは、一般化可能なSCDとベンチマークを要求する。この記事では、ドメインのパフォーマンスと時間的整合性に対処するGeneralizable Scene Change Detection Framework(GeSCF)を提案する。
本手法は,事前訓練されたセグメンテーションモデル(SAM)をゼロショット方式で活用する。
そこで我々は,ユーザガイド付きプロンプトと単一イメージベースのセグメンテーションをシームレスに変換する初期擬似マスク生成と幾何意味マスクマッチングを,誘導のない2つの入力に対するシーン変更検出に設計する。
さらに,ジェネラライザブル・シーン・チェンジ検出(GeSCD)ベンチマークを,新しいメトリクスと評価プロトコルとともに定義し,一般化可能性におけるSCD研究を容易にする。
このプロセスでは、都市、郊外、田舎の設定など、さまざまな環境シナリオを持つ課題の画像ペアの集合であるChangeVPRデータセットを導入します。
さまざまなデータセットにわたる大規模な実験により、GeSCFは既存のSCDデータセットで19.2\%、ChangeVPRデータセットで30.0\%という平均的なパフォーマンス向上を達成した。
我々は、我々の研究が堅牢で一般化可能なSCD研究の基盤となると信じている。
関連論文リスト
- Not All Data are Good Labels: On the Self-supervised Labeling for Time Series Forecasting [18.25649205265032]
本稿では,候補データセットを自然に構築することで,時系列データセットを再ラベルする新たな自己教師型アプローチについて検討する。
単純な再構成ネットワークの最適化において、中間体は自己管理パラダイムの擬似ラベルとして使用される。
実世界の11のデータセットに対する実験により、SCAMは様々なバックボーンモデルの性能を一貫して改善することを示した。
論文 参考訳(メタデータ) (2025-02-20T16:29:37Z) - Feature-Space Semantic Invariance: Enhanced OOD Detection for Open-Set Domain Generalization [10.38552112657656]
本稿では、FSI(Feature-space Semantic Invariance)を導入して、オープンセット領域の一般化のための統一的なフレームワークを提案する。
FSIは機能領域内の異なるドメイン間のセマンティック一貫性を維持しており、見えないドメイン内のOODインスタンスをより正確に検出することができる。
また、新しいドメインスタイルやクラスラベルで合成データを生成するために生成モデルを採用し、モデルロバスト性を高めます。
論文 参考訳(メタデータ) (2024-11-11T21:51:45Z) - Generalize or Detect? Towards Robust Semantic Segmentation Under Multiple Distribution Shifts [56.57141696245328]
斬新なクラスとドメインの両方が存在するようなオープンワールドシナリオでは、理想的なセグメンテーションモデルは安全のために異常なクラスを検出する必要がある。
既存の方法はドメインレベルとセマンティックレベルの分散シフトを区別するのに苦労することが多い。
論文 参考訳(メタデータ) (2024-11-06T11:03:02Z) - GM-DF: Generalized Multi-Scenario Deepfake Detection [49.072106087564144]
既存の偽造検出は、通常、単一のドメインでのトレーニングモデルのパラダイムに従う。
本稿では,複数の顔偽造検出データセットを共同で訓練した場合のディープフェイク検出モデルの一般化能力について詳しく検討する。
論文 参考訳(メタデータ) (2024-06-28T17:42:08Z) - PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection [51.20479454379662]
私たちはaを提案します。
フェデレートされた異常検出フレームワークであるPeFADは、プライバシーの懸念が高まっている。
我々は、4つの実際のデータセットに対して広範な評価を行い、PeFADは既存の最先端ベースラインを最大28.74%上回っている。
論文 参考訳(メタデータ) (2024-06-04T13:51:08Z) - Activate and Reject: Towards Safe Domain Generalization under Category
Shift [71.95548187205736]
カテゴリーシフト(DGCS)下における領域一般化の実践的問題について検討する。
未知のクラスサンプルを同時に検出し、ターゲットドメイン内の既知のクラスサンプルを分類することを目的としている。
従来のDGと比較すると,1)ソースクラスのみを用いたトレーニングにおいて,未知の概念を学習する方法,2)ソーストレーニングされたモデルを未知の環境に適応する方法,の2つの新しい課題に直面している。
論文 参考訳(メタデータ) (2023-10-07T07:53:12Z) - S-Adapter: Generalizing Vision Transformer for Face Anti-Spoofing with Statistical Tokens [45.06704981913823]
Face Anti-Spoofing (FAS) は、スプーフされた顔を表示することによって、顔認識システムに侵入しようとする悪意のある試みを検出することを目的としている。
本稿では,局所的なトークンヒストグラムから局所的な識別や統計情報を収集する新しい統計適応器(S-Adapter)を提案する。
統計的トークンの一般化をさらに改善するために,新しいトークンスタイル正規化(TSR)を提案する。
提案したS-AdapterとTSRは、ゼロショットと少数ショットのクロスドメインテストの両方において、いくつかのベンチマークテストにおいて、最先端の手法よりも優れた、大きなメリットをもたらすことを示した。
論文 参考訳(メタデータ) (2023-09-07T22:36:22Z) - Consistency Regularization for Generalizable Source-free Domain
Adaptation [62.654883736925456]
ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。
既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。
より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-03T07:45:53Z) - Unsupervised Domain Adaptation for Spatio-Temporal Action Localization [69.12982544509427]
S時間動作の局所化はコンピュータビジョンにおいて重要な問題である。
本稿では、エンドツーエンドの教師なしドメイン適応アルゴリズムを提案する。
空間的特徴と時間的特徴を別々にあるいは共同的に適応した場合に,顕著な性能向上が達成できることを示す。
論文 参考訳(メタデータ) (2020-10-19T04:25:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。