論文の概要: Continual Attentive Fusion for Incremental Learning in Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2202.00432v1
• Date: Tue, 1 Feb 2022 14:38:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-02 14:42:18.060042
• Title: Continual Attentive Fusion for Incremental Learning in Semantic Segmentation
• Title（参考訳）: セマンティクスセグメンテーションにおけるインクリメンタル学習のための連続的注意融合
• Authors: Guanglei Yang, Enrico Fini, Dan Xu, Paolo Rota, Mingli Ding, Hao Tang, Xavier Alameda-Pineda, Elisa Ricci
• Abstract要約: 勾配に基づくテクニックで訓練された深いアーキテクチャは、破滅的な忘れに苦しむ。 破滅的忘れを緩和するための新しい注意的特徴蒸留手法を導入する。 また, 蒸留損失の背景を考慮に入れた新たな手法を導入し, 偏りの予測を防止した。
• 参考スコア（独自算出の注目度）: 43.98082955427662
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Over the past years, semantic segmentation, as many other tasks in computer vision, benefited from the progress in deep neural networks, resulting in significantly improved performance. However, deep architectures trained with gradient-based techniques suffer from catastrophic forgetting, which is the tendency to forget previously learned knowledge while learning new tasks. Aiming at devising strategies to counteract this effect, incremental learning approaches have gained popularity over the past years. However, the first incremental learning methods for semantic segmentation appeared only recently. While effective, these approaches do not account for a crucial aspect in pixel-level dense prediction problems, i.e. the role of attention mechanisms. To fill this gap, in this paper we introduce a novel attentive feature distillation approach to mitigate catastrophic forgetting while accounting for semantic spatial- and channel-level dependencies. Furthermore, we propose a {continual attentive fusion} structure, which takes advantage of the attention learned from the new and the old tasks while learning features for the new task. Finally, we also introduce a novel strategy to account for the background class in the distillation loss, thus preventing biased predictions. We demonstrate the effectiveness of our approach with an extensive evaluation on Pascal-VOC 2012 and ADE20K, setting a new state of the art.
• Abstract（参考訳）: 過去数年間、コンピュータビジョンにおける多くのタスクと同様にセマンティックセグメンテーションは、ディープニューラルネットワークの進歩から恩恵を受け、パフォーマンスが大幅に向上した。 しかし、勾配に基づく手法で訓練された深いアーキテクチャは破滅的な忘れ込みに悩まされ、これは新しいタスクを学習しながら学習した知識を忘れる傾向にある。 この効果に対抗する戦略を考案することを目指して、インクリメンタルな学習アプローチがここ数年で人気を集めている。 しかし、意味セグメンテーションのための最初のインクリメンタルな学習方法が最近登場した。 効果的ではあるが、これらのアプローチはピクセルレベルの密集した予測問題、すなわち注意メカニズムの役割において重要な側面を考慮しない。 このギャップを埋めるため,本稿では,空間的およびチャネルレベルの意味的依存関係を考慮しつつ,壊滅的忘れを緩和する新しい注意的特徴蒸留手法を提案する。 さらに,新しいタスクの特徴を学習しながら,新しいタスクと古いタスクから得られた注意を生かした,連続的注意融合構造を提案する。 最後に,蒸留損失の背景クラスを考慮し,バイアスド予測を防止するための新しい戦略を提案する。 われわれはPascal-VOC 2012 とADE20K を広範囲に評価し,本手法の有効性を実証した。

関連論文リスト

• FALCON: Fairness Learning via Contrastive Attention Approach to Continual Semantic Scene Understanding [28.880226459932146]
  本稿では,意味的場面理解における連続的学習へのコントラスト的意図的アプローチによるフェアネス学習を提案する。 まず、破滅的な忘れと公平さの問題に対処するために、新しいフェアネス・コントラスト・クラスタリング・ロスを導入する。 そこで本研究では,バックグラウンドシフト問題と未知のクラスを効果的にモデル化する,注目に基づく視覚文法手法を提案する。
  論文  参考訳（メタデータ） (2023-11-27T16:07:39Z)
• Uncertainty-aware Contrastive Distillation for Incremental Semantic Segmentation [46.14545656625703]
  破滅的な忘れ物とは、ニューラルネットワークが、新しいタスクを学ぶときに、古いタスクから得た知識を保存できない傾向があることです。 我々は新しい蒸留フレームワークである不確かさを意識したコントラスト蒸留法(メソッド)を提案する。 本研究は, 従来のIL法と相乗効果を持つ蒸留法の利点を実証するものである。
  論文  参考訳（メタデータ） (2022-03-26T15:32:12Z)
• On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
  ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。 提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
  論文  参考訳（メタデータ） (2022-03-08T09:57:48Z)
• Modeling the Background for Incremental and Weakly-Supervised Semantic Segmentation [39.025848280224785]
  セマンティックセグメンテーションのための新しい漸進的なクラス学習手法を提案する。 各トレーニングステップは、すべての可能なクラスのサブセットにのみアノテーションを提供するので、バックグラウンドクラスのピクセルはセマンティックシフトを示す。 本研究では,Pascal-VOC,ADE20K,Cityscapesのデータセットを広範囲に評価し,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2022-01-31T16:33:21Z)
• Continual Semantic Segmentation via Repulsion-Attraction of Sparse and Disentangled Latent Representations [18.655840060559168]
  本稿では,セマンティックセグメンテーションにおけるクラス連続学習に着目した。 新しいカテゴリは時間とともに利用可能になり、以前のトレーニングデータは保持されない。 提案された連続学習スキームは、潜在空間を形作り、新しいクラスの認識を改善しながら忘れを減らす。
  論文  参考訳（メタデータ） (2021-03-10T21:02:05Z)
• Untangling tradeoffs between recurrence and self-attention in neural networks [81.30894993852813]
  本稿では,再帰的ネットワークにおける自己注意が勾配伝播に与える影響を公式に分析する。 長期的な依存関係を捉えようとするとき、勾配をなくすことの問題を緩和することを証明する。 本稿では,スパース自己アテンションを反復的にスケーラブルに利用するための関連性スクリーニング機構を提案する。
  論文  参考訳（メタデータ） (2020-06-16T19:24:25Z)
• Continual Deep Learning by Functional Regularisation of Memorable Past [95.97578574330934]
  知的システムにとって、新しいスキルを継続的に学習することは重要だが、標準的なディープラーニング手法は、過去の破滅的な忘れ物に悩まされている。 本稿では, 過去の記憶に残るいくつかの例を, 忘れることを避けるために活用する機能正規化手法を提案する。 提案手法は,標準ベンチマーク上での最先端性能を実現し,正規化とメモリベースの手法を自然に組み合わせた生涯学習の新たな方向性を開拓する。
  論文  参考訳（メタデータ） (2020-04-29T10:47:54Z)
• Incremental Object Detection via Meta-Learning [77.55310507917012]
  本稿では,段階的タスク間の情報を最適に共有するように,モデル勾配を再形成するメタラーニング手法を提案する。 既存のメタ学習法と比較して,本手法はタスク非依存であり,オブジェクト検出のための高容量モデルに新たなクラスやスケールを段階的に追加することができる。
  論文  参考訳（メタデータ） (2020-03-17T13:40:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。