論文の概要: ECLIPSE: Efficient Continual Learning in Panoptic Segmentation with Visual Prompt Tuning
- arxiv url: http://arxiv.org/abs/2403.20126v1
- Date: Fri, 29 Mar 2024 11:31:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-01 15:54:04.653316
- Title: ECLIPSE: Efficient Continual Learning in Panoptic Segmentation with Visual Prompt Tuning
- Title(参考訳): ECLIPSE:ビジュアル・プロンプト・チューニングによるパノプティック・セグメンテーションにおける効果的な継続的学習
- Authors: Beomyoung Kim, Joonsang Yu, Sung Ju Hwang,
- Abstract要約: パノプティカルセグメンテーション(英: Panoptic segmentation)は、コンピュータビジョンの最先端タスクである。
ECLIPSE と呼ばれる Visual Prompt Tuning をベースとした,新規で効率的なパノプティカルセグメンテーション手法を提案する。
我々のアプローチは、基本モデルのパラメータを凍結し、小さなプロンプト埋め込みだけを微調整することであり、破滅的な忘れ物と塑性の両方に対処する。
- 参考スコア(独自算出の注目度): 54.68180752416519
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Panoptic segmentation, combining semantic and instance segmentation, stands as a cutting-edge computer vision task. Despite recent progress with deep learning models, the dynamic nature of real-world applications necessitates continual learning, where models adapt to new classes (plasticity) over time without forgetting old ones (catastrophic forgetting). Current continual segmentation methods often rely on distillation strategies like knowledge distillation and pseudo-labeling, which are effective but result in increased training complexity and computational overhead. In this paper, we introduce a novel and efficient method for continual panoptic segmentation based on Visual Prompt Tuning, dubbed ECLIPSE. Our approach involves freezing the base model parameters and fine-tuning only a small set of prompt embeddings, addressing both catastrophic forgetting and plasticity and significantly reducing the trainable parameters. To mitigate inherent challenges such as error propagation and semantic drift in continual segmentation, we propose logit manipulation to effectively leverage common knowledge across the classes. Experiments on ADE20K continual panoptic segmentation benchmark demonstrate the superiority of ECLIPSE, notably its robustness against catastrophic forgetting and its reasonable plasticity, achieving a new state-of-the-art. The code is available at https://github.com/clovaai/ECLIPSE.
- Abstract(参考訳): セグメンテーションとインスタンスセグメンテーションを組み合わせたパノプティックセグメンテーションは、最先端のコンピュータビジョンタスクである。
ディープラーニングモデルの最近の進歩にもかかわらず、現実世界のアプリケーションの動的な性質は継続的な学習を必要とし、モデルは古いもの(破滅的な忘れ物)を忘れずに、時間とともに新しいクラス(塑性)に適応する。
現在の連続セグメンテーション法は、知識蒸留や擬似ラベル法のような蒸留戦略に頼っていることが多いが、これは効果的であるが、結果として訓練の複雑さと計算オーバーヘッドが増大する。
本稿では,Visual Prompt Tuningをベースとした新規かつ効率的なパノプティカルセグメンテーション手法について紹介する。
提案手法では, 基本モデルのパラメータを凍結し, 少量のプロンプト埋め込みのみを微調整し, 破滅的忘れと塑性の両方に対処し, トレーニング可能なパラメータを著しく削減する。
逐次セグメンテーションにおけるエラー伝播やセマンティックドリフトといった固有の課題を軽減するため,クラス間の共通知識を効果的に活用するためのロジット操作を提案する。
ADE20K連続パノプティクスセグメンテーションベンチマークの実験では、ESLIPSEの優位性、特に破滅的な忘れ方に対する頑丈さと合理的な可塑性が示され、新しい最先端技術が達成された。
コードはhttps://github.com/clovaai/ECLIPSEで公開されている。
関連論文リスト
- Test-Time Training for Semantic Segmentation with Output Contrastive
Loss [12.535720010867538]
ディープラーニングベースのセグメンテーションモデルは、公開ベンチマークで印象的なパフォーマンスを達成したが、目に見えない環境にうまく一般化することは、依然として大きな課題である。
本稿では、適応過程を安定させるために、頑健で一般化された表現を学習する能力で知られるコントラストロス(OCL)を紹介する。
本手法は,テスト領域データに対するドメイン適応法を用いて事前学習したモデルに適用した場合においても優れ,そのレジリエンスと適応性を示す。
論文 参考訳(メタデータ) (2023-11-14T03:13:47Z) - RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。
本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
論文 参考訳(メタデータ) (2023-07-05T12:49:02Z) - CoMFormer: Continual Learning in Semantic and Panoptic Segmentation [45.66711231393775]
セグメンテーションと汎視的セグメンテーションの両方で操作できる最初の連続学習モデルを提案する。
提案手法はトランスフォーマーアーキテクチャの特性を利用して,時間とともに新しいクラスを学習する。
私たちのCoMFormerは、古いクラスを忘れるだけでなく、より効果的に新しいクラスを学ぶことで、既存のすべてのベースラインを上回ります。
論文 参考訳(メタデータ) (2022-11-25T10:15:06Z) - FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。
本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
論文 参考訳(メタデータ) (2022-04-10T11:38:33Z) - Modeling the Background for Incremental and Weakly-Supervised Semantic
Segmentation [39.025848280224785]
セマンティックセグメンテーションのための新しい漸進的なクラス学習手法を提案する。
各トレーニングステップは、すべての可能なクラスのサブセットにのみアノテーションを提供するので、バックグラウンドクラスのピクセルはセマンティックシフトを示す。
本研究では,Pascal-VOC,ADE20K,Cityscapesのデータセットを広範囲に評価し,提案手法の有効性を実証する。
論文 参考訳(メタデータ) (2022-01-31T16:33:21Z) - DenseCLIP: Extract Free Dense Labels from CLIP [130.3830819077699]
対照的に、CLIP(Contrastive Language- Image Pre-Training)は、オープンボキャブラリゼロショット画像認識において画期的な進歩を遂げた。
DenseCLIP+はSOTAトランスダクティブなゼロショットセマンティックセグメンテーション法を大きなマージンで上回る。
我々の発見は、DenseCLIPが高密度予測タスクの信頼性の高い新たな監視源となることを示唆している。
論文 参考訳(メタデータ) (2021-12-02T09:23:01Z) - A Simple Baseline for Semi-supervised Semantic Segmentation with Strong
Data Augmentation [74.8791451327354]
セマンティックセグメンテーションのためのシンプルで効果的な半教師付き学習フレームワークを提案する。
単純な設計とトレーニングのテクニックのセットは、半教師付きセマンティックセグメンテーションの性能を大幅に向上させることができる。
本手法は,Cityscapes と Pascal VOC データセットの半教師付き設定において,最先端の処理結果を実現する。
論文 参考訳(メタデータ) (2021-04-15T06:01:39Z) - Half-Real Half-Fake Distillation for Class-Incremental Semantic
Segmentation [84.1985497426083]
畳み込みニューラルネットワークは漸進的な学習に不適である。
新しいクラスは利用できるが、初期トレーニングデータは保持されない。
訓練されたセグメンテーションネットワークを「反転」して、ランダムノイズから始まる入力画像の合成を試みる。
論文 参考訳(メタデータ) (2021-04-02T03:47:16Z) - Continual Semantic Segmentation via Repulsion-Attraction of Sparse and
Disentangled Latent Representations [18.655840060559168]
本稿では,セマンティックセグメンテーションにおけるクラス連続学習に着目した。
新しいカテゴリは時間とともに利用可能になり、以前のトレーニングデータは保持されない。
提案された連続学習スキームは、潜在空間を形作り、新しいクラスの認識を改善しながら忘れを減らす。
論文 参考訳(メタデータ) (2021-03-10T21:02:05Z) - Modeling the Background for Incremental Learning in Semantic
Segmentation [39.025848280224785]
深いアーキテクチャは破滅的な忘れ方に弱い。
本稿では,意味的セグメンテーションの文脈においてこの問題に対処する。
本稿では,このシフトを明示的に考慮した蒸留法に基づく新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2020-02-03T13:30:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。