論文の概要: BACS: Background Aware Continual Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2404.13148v1
• Date: Fri, 19 Apr 2024 19:25:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-23 20:08:39.572323
• Title: BACS: Background Aware Continual Semantic Segmentation
• Title（参考訳）: BACS: 継続的セマンティックセグメンテーションを背景として
• Authors: Mostafa ElAraby, Ali Harakeh, Liam Paull,
• Abstract要約: 自律運転では、デプロイされたエージェントの運用環境がより複雑になるにつれて、新しいクラスを統合する必要がある。 アノテーションの効率を高めるために、理想的には、新しいクラスに属するピクセルだけが注釈付けされる。 本稿では,以前に観測されたクラスを検出するための後方背景シフト検出器(BACS)を提案する。
• 参考スコア（独自算出の注目度）: 15.821935479975343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semantic segmentation plays a crucial role in enabling comprehensive scene understanding for robotic systems. However, generating annotations is challenging, requiring labels for every pixel in an image. In scenarios like autonomous driving, there's a need to progressively incorporate new classes as the operating environment of the deployed agent becomes more complex. For enhanced annotation efficiency, ideally, only pixels belonging to new classes would be annotated. This approach is known as Continual Semantic Segmentation (CSS). Besides the common problem of classical catastrophic forgetting in the continual learning setting, CSS suffers from the inherent ambiguity of the background, a phenomenon we refer to as the "background shift'', since pixels labeled as background could correspond to future classes (forward background shift) or previous classes (backward background shift). As a result, continual learning approaches tend to fail. This paper proposes a Backward Background Shift Detector (BACS) to detect previously observed classes based on their distance in the latent space from the foreground centroids of previous steps. Moreover, we propose a modified version of the cross-entropy loss function, incorporating the BACS detector to down-weight background pixels associated with formerly observed classes. To combat catastrophic forgetting, we employ masked feature distillation alongside dark experience replay. Additionally, our approach includes a transformer decoder capable of adjusting to new classes without necessitating an additional classification head. We validate BACS's superior performance over existing state-of-the-art methods on standard CSS benchmarks.
• Abstract（参考訳）: セマンティックセグメンテーションは、ロボットシステムの総合的なシーン理解を可能にする上で重要な役割を担っている。 しかし、アノテーションの生成は困難であり、画像の各ピクセルにラベルが必要である。 自律運転のようなシナリオでは、デプロイされたエージェントの運用環境がより複雑になるにつれて、新しいクラスを段階的に組み込む必要がある。 アノテーションの効率を高めるために、理想的には、新しいクラスに属するピクセルだけが注釈付けされる。 このアプローチは連続セマンティックセグメンテーション(Continuous Semantic Segmentation, CSS)として知られている。 連続的な学習環境での古典的破滅的な忘れ込みの一般的な問題に加えて、CSSは背景の本来の曖昧さ、つまり、背景としてラベル付けされたピクセルが将来のクラス(前方の背景シフト)や以前のクラス(後方の背景シフト)に対応できるため、「背景シフト」と呼ばれる現象に悩まされている。 その結果、継続的な学習アプローチは失敗する傾向にある。 本稿では,先行ステップの前景セントロイドから潜伏空間内の距離に基づいて,従来観測されていたクラスを検出するための後方背景シフト検出器(BACS)を提案する。 さらに,従来観測されていたクラスに関連付けられた背景画素にBACS検出器を組み込んだクロスエントロピー損失関数の修正版を提案する。 破滅的な忘れ物と戦うために,暗黒体験リプレイとマスク付き特徴蒸留を併用した。 さらに,本手法では,新たなクラスに適応するトランスフォーマーデコーダを,追加の分類ヘッドを必要とせずに実装する。 標準的なCSSベンチマークにおいて,既存の最先端手法よりもBACSの方が優れた性能を示す。

関連論文リスト

• Mitigating Background Shift in Class-Incremental Semantic Segmentation [18.604420743751643]
  クラスインクリメンタルセマンティック(CISS)は、古いクラスを忘れずに新しいクラスを学習することを目的としている。 CISSのためのバックグラウンドクラス分離フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-16T15:44:37Z)
• DiffusePast: Diffusion-based Generative Replay for Class Incremental Semantic Segmentation [73.54038780856554]
  クラスインクリメンタルセマンティック(CISS)は、新たに追加されたクラスを漸進的に学習することで、従来のセグメンテーションタスクを拡張する。 これは、事前訓練されたGANから生成された古いクラスサンプルを再生するものである。 そこで我々はDiffusePastを提案する。DiffusePastは拡散型生成再生モジュールを特徴とする新しいフレームワークで、異なる命令でより信頼性の高いマスクで意味論的に正確な画像を生成する。
  論文  参考訳（メタデータ） (2023-08-02T13:13:18Z)
• TVTSv2: Learning Out-of-the-box Spatiotemporal Visual Representations at Scale [59.01246141215051]
  言語指導の観点から,その劣化要因を分析した。 本稿では,テキストエンコーダの一般化能力を維持するために,教師なし事前学習戦略を提案する。 最大10億のパラメータを持つTVTSv2と呼ばれる一連のモデルを作成します。
  論文  参考訳（メタデータ） (2023-05-23T15:44:56Z)
• RBC: Rectifying the Biased Context in Continual Semantic Segmentation [10.935529209436929]
  本稿では,コンテキスト修正された画像-duplet学習方式とバイアステキスト-非感性一貫性損失を用いたバイアスコンテキスト修正CSSフレームワークを提案する。 当社のアプローチは,既存のCSSシナリオにおいて,最先端のメソッドよりもはるかに優れています。
  論文  参考訳（メタデータ） (2022-03-16T05:39:32Z)
• Weakly Supervised Semantic Segmentation using Out-of-Distribution Data [50.45689349004041]
  弱教師付きセマンティックセグメンテーション(WSSS)法は、しばしばピクセルレベルのローカライゼーションマップ上に構築される。 本稿では,背景と背景を区別する新たな情報源を提案する。
  論文  参考訳（メタデータ） (2022-03-08T05:33:35Z)
• Modeling the Background for Incremental and Weakly-Supervised Semantic Segmentation [39.025848280224785]
  セマンティックセグメンテーションのための新しい漸進的なクラス学習手法を提案する。 各トレーニングステップは、すべての可能なクラスのサブセットにのみアノテーションを提供するので、バックグラウンドクラスのピクセルはセマンティックシフトを示す。 本研究では,Pascal-VOC,ADE20K,Cityscapesのデータセットを広範囲に評価し,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2022-01-31T16:33:21Z)
• Tackling Catastrophic Forgetting and Background Shift in Continual Semantic Segmentation [35.2461834832935]
  セマンティックセグメンテーション(CSS)の継続的な学習は、新しいクラスを逐次追加することによって古いモデルを更新する、新たなトレンドである。 本稿では,長期・短距離空間関係を保存する多スケールプール蒸留方式であるLocal PODを提案する。 また,セグメンテーションに適した新しいリハーサル手法も導入する。
  論文  参考訳（メタデータ） (2021-06-29T11:57:21Z)
• Half-Real Half-Fake Distillation for Class-Incremental Semantic Segmentation [84.1985497426083]
  畳み込みニューラルネットワークは漸進的な学習に不適である。 新しいクラスは利用できるが、初期トレーニングデータは保持されない。 訓練されたセグメンテーションネットワークを「反転」して、ランダムノイズから始まる入力画像の合成を試みる。
  論文  参考訳（メタデータ） (2021-04-02T03:47:16Z)
• PLOP: Learning without Forgetting for Continual Semantic Segmentation [44.49799311137856]
  セマンティックセグメンテーション(CSS)の継続的な学習は、新しいクラスを逐次追加することによって古いモデルを更新する、新たなトレンドである。 本稿では,長大かつ短大な空間関係を特徴レベルで保存する多スケールプール蒸留方式であるLocal PODを提案する。 また,従来のモデルが予測した背景w.r.t.クラスのエントロピーに基づく擬似ラベリングを設計し,背景シフトに対処し,旧クラスの破滅的忘れを避ける。
  論文  参考訳（メタデータ） (2020-11-23T13:35:03Z)
• Distilling Localization for Self-Supervised Representation Learning [82.79808902674282]
  コントラスト学習は教師なし表現学習に革命をもたらした。 現在のコントラストモデルでは、前景オブジェクトのローカライズには効果がない。 本稿では,背景変化を学習するためのデータ駆動型手法を提案する。
  論文  参考訳（メタデータ） (2020-04-14T16:29:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。