論文の概要: Causes of Catastrophic Forgetting in Class-Incremental Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2209.08010v1
• Date: Fri, 16 Sep 2022 15:48:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-19 13:01:18.853334
• Title: Causes of Catastrophic Forgetting in Class-Incremental Semantic Segmentation
• Title（参考訳）: クラスインクリメンタルセマンティックセグメンテーションにおけるカタストロフィックフォーミングの原因
• Authors: Tobias Kalb, J\"urgen Beyerer
• Abstract要約: セマンティックセグメンテーションのためのクラスインクリメンタル学習(CiSS)は,セマンティックセグメンテーションモデルの更新を目的として,セマンティッククラスを逐次学習する。 破滅的な忘れ物は、モデルが新しいクラスのセットで訓練された後、以前に学んだクラスの突然の精度の低下を記述します。 背景クラスの意味的変化と新しいクラスへの偏見が,CiSSにおける忘れの要因であることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Class-incremental learning for semantic segmentation (CiSS) is presently a highly researched field which aims at updating a semantic segmentation model by sequentially learning new semantic classes. A major challenge in CiSS is overcoming the effects of catastrophic forgetting, which describes the sudden drop of accuracy on previously learned classes after the model is trained on a new set of classes. Despite latest advances in mitigating catastrophic forgetting, the underlying causes of forgetting specifically in CiSS are not well understood. Therefore, in a set of experiments and representational analyses, we demonstrate that the semantic shift of the background class and a bias towards new classes are the major causes of forgetting in CiSS. Furthermore, we show that both causes mostly manifest themselves in deeper classification layers of the network, while the early layers of the model are not affected. Finally, we demonstrate how both causes are effectively mitigated utilizing the information contained in the background, with the help of knowledge distillation and an unbiased cross-entropy loss.
• Abstract（参考訳）: セマンティックセグメンテーションのためのクラスインクリメンタルラーニング(CiSS)は、現在、セマンティックセグメンテーションモデルの更新を目的とした高度に研究されている分野である。 CiSSにおける大きな課題は、モデルが新しいクラスでトレーニングされた後、学習済みのクラスに対する突然の精度低下を記述した破滅的な忘れ込みの影響を克服することである。 破滅的な忘れを緩和する最近の進歩にもかかわらず、CiSSで特に忘れることの根本的な原因はよく分かっていない。 そこで,一連の実験と表現分析において,CiSSにおける背景クラスの意味的変化と新しいクラスへの偏りが,忘れる主な原因であることを実証した。 さらに,2つの原因がネットワークのより深い分類層に現れるのに対して,モデルの初期層は影響を受けていないことを示す。 最後に、知識蒸留と非バイアスのクロスエントロピー損失の助けを借りて、背景に含まれる情報を活用することにより、両方の原因が効果的に緩和されることを示す。

関連論文リスト

• Bayesian Learning-driven Prototypical Contrastive Loss for Class-Incremental Learning [42.14439854721613]
  本稿では,クラス増分学習シナリオに特化して,ベイズ学習駆動型コントラスト損失(BLCL)を持つプロトタイプネットワークを提案する。 提案手法は,ベイズ学習手法を用いて,クロスエントロピーとコントラスト損失関数のバランスを動的に適用する。
  論文  参考訳（メタデータ） (2024-05-17T19:49:02Z)
• Balancing the Causal Effects in Class-Incremental Learning [23.35478989162079]
  CIL(Class-Incremental Learning)は、汎用人工知能を実現するための実践的で困難な問題である。 新たなデータと古いデータの間に不均衡な因果関係があることを示す。 本稿では,この問題を緩和するために,CILにおける因果効果(BaCE)のバランスをとることを提案する。
  論文  参考訳（メタデータ） (2024-02-15T16:30:45Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Gradient-Semantic Compensation for Incremental Semantic Segmentation [43.00965727428193]
  インクリメンタルセマンティックセマンティクスは、以前に学習したクラスのトレーニングデータにアクセスすることなく、新しいクラスのセマンティクスを継続的に学習することを目的としている。 グラディエント・セマンティック補償モデルを提案し, グラディエント・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・パースペクティブの両面からインクリメンタル・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・モデルを提案する。
  論文  参考訳（メタデータ） (2023-07-20T12:32:25Z)
• Activating the Discriminability of Novel Classes for Few-shot Segmentation [48.542627940781095]
  本稿では,特徴符号化段階とセグメンテーションの予測段階の両方において,新規クラスの識別可能性を明示的に活性化することを提案する。 セグメンテーションの予測段階では、クエリ画像の高信頼画素を用いて自分自身を洗練できる自己修正オンラインフォアグラウンド分類器(SROFB)を学習する。
  論文  参考訳（メタデータ） (2022-12-02T12:22:36Z)
• Mining Unseen Classes via Regional Objectness: A Simple Baseline for Incremental Segmentation [57.80416375466496]
  画像分類タスクにおいて、破滅的な忘れを緩和するために、増分的あるいは連続的な学習が広く研究されている。 本稿では,マイニングのための地域目的性(MicroSeg)を通した未確認クラスという,シンプルで効果的な手法を提案する。 われわれのMicroSegは、強い客観性を持つ背景領域が、歴史的または将来の段階においてそれらの概念に属するという仮定に基づいている。 このように、特徴空間における古い概念を特徴付ける分布は、背景シフトによる破滅的な忘れを軽減し、よりよく認識される。
  論文  参考訳（メタデータ） (2022-11-13T10:06:17Z)
• Improving Replay-Based Continual Semantic Segmentation with Smart Data Selection [0.0]
  セマンティックセグメンテーションにおける様々なリプレイ戦略の影響について検討し,クラス・インクリメンタル・セッティングとドメイン・インクリメンタル・セッティングで評価する。 本研究は,クラス増分設定において,バッファ内の異なるクラスに対して一様分布を実現することが重要であることを示唆する。 ドメインインクリメンタルな設定では、学習した特徴表現の分布から一様にサンプリングしたり、中央値のエントロピーを持つサンプルを選択することでバッファサンプルを選択することが最も効果的である。
  論文  参考訳（メタデータ） (2022-09-20T16:32:06Z)
• Towards the Semantic Weak Generalization Problem in Generative Zero-Shot Learning: Ante-hoc and Post-hoc [89.68803484284408]
  生成ゼロショット学習(ZSL)の性能上限を制限した未探索要素を簡易かつ効果的に削減する戦略を提案する。 まず、意味的一般化を正式に定義し、その後、意味的弱一般化問題を減らそうとするアプローチを検討する。 アンテホック相では、ジェネレータのセマンティック入力を増強し、ジェネレータの適合ターゲットを緩和する。
  論文  参考訳（メタデータ） (2022-04-24T13:54:42Z)
• Learning Debiased and Disentangled Representations for Semantic Segmentation [52.35766945827972]
  セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。 各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。 提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
  論文  参考訳（メタデータ） (2021-10-31T16:15:09Z)
• SSUL: Semantic Segmentation with Unknown Label for Exemplar-based Class-Incremental Learning [19.152041362805985]
  クラスインクリメンタルセマンティックセグメンテーション(CISS)問題を考える。 本稿では,セマンティックセグメンテーションに適した複数の手法を慎重に組み合わせ,SSUL-M(Semantic with Unknown Label with Memory)と呼ばれる新しい手法を提案する。 提案手法は,最新の標準ベンチマークデータセットのベースラインよりも性能が大幅に向上していることを示す。
  論文  参考訳（メタデータ） (2021-06-22T06:40:26Z)
• The Break-Even Point on Optimization Trajectories of Deep Neural Networks [64.7563588124004]
  この軌道上の「破滅的な」点の存在を論じる。 トレーニングの初期段階での大きな学習率を用いることで、勾配のばらつきが軽減されることを示す。 また, バッチ正規化層を有するニューラルネットワークにおいても, 低学習率を用いることで損失面の条件が悪くなることを示す。
  論文  参考訳（メタデータ） (2020-02-21T22:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。