論文の概要: ECLIPSE: Efficient Continual Learning in Panoptic Segmentation with Visual Prompt Tuning

• arxiv url: http://arxiv.org/abs/2403.20126v1
• Date: Fri, 29 Mar 2024 11:31:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-01 15:54:04.653316
• Title: ECLIPSE: Efficient Continual Learning in Panoptic Segmentation with Visual Prompt Tuning
• Title（参考訳）: ECLIPSE:ビジュアル・プロンプト・チューニングによるパノプティック・セグメンテーションにおける効果的な継続的学習
• Authors: Beomyoung Kim, Joonsang Yu, Sung Ju Hwang,
• Abstract要約: パノプティカルセグメンテーション(英: Panoptic segmentation)は、コンピュータビジョンの最先端タスクである。 ECLIPSE と呼ばれる Visual Prompt Tuning をベースとした,新規で効率的なパノプティカルセグメンテーション手法を提案する。 我々のアプローチは、基本モデルのパラメータを凍結し、小さなプロンプト埋め込みだけを微調整することであり、破滅的な忘れ物と塑性の両方に対処する。
• 参考スコア（独自算出の注目度）: 54.68180752416519
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Panoptic segmentation, combining semantic and instance segmentation, stands as a cutting-edge computer vision task. Despite recent progress with deep learning models, the dynamic nature of real-world applications necessitates continual learning, where models adapt to new classes (plasticity) over time without forgetting old ones (catastrophic forgetting). Current continual segmentation methods often rely on distillation strategies like knowledge distillation and pseudo-labeling, which are effective but result in increased training complexity and computational overhead. In this paper, we introduce a novel and efficient method for continual panoptic segmentation based on Visual Prompt Tuning, dubbed ECLIPSE. Our approach involves freezing the base model parameters and fine-tuning only a small set of prompt embeddings, addressing both catastrophic forgetting and plasticity and significantly reducing the trainable parameters. To mitigate inherent challenges such as error propagation and semantic drift in continual segmentation, we propose logit manipulation to effectively leverage common knowledge across the classes. Experiments on ADE20K continual panoptic segmentation benchmark demonstrate the superiority of ECLIPSE, notably its robustness against catastrophic forgetting and its reasonable plasticity, achieving a new state-of-the-art. The code is available at https://github.com/clovaai/ECLIPSE.
• Abstract（参考訳）: セグメンテーションとインスタンスセグメンテーションを組み合わせたパノプティックセグメンテーションは、最先端のコンピュータビジョンタスクである。 ディープラーニングモデルの最近の進歩にもかかわらず、現実世界のアプリケーションの動的な性質は継続的な学習を必要とし、モデルは古いもの(破滅的な忘れ物)を忘れずに、時間とともに新しいクラス(塑性)に適応する。 現在の連続セグメンテーション法は、知識蒸留や擬似ラベル法のような蒸留戦略に頼っていることが多いが、これは効果的であるが、結果として訓練の複雑さと計算オーバーヘッドが増大する。 本稿では,Visual Prompt Tuningをベースとした新規かつ効率的なパノプティカルセグメンテーション手法について紹介する。 提案手法では, 基本モデルのパラメータを凍結し, 少量のプロンプト埋め込みのみを微調整し, 破滅的忘れと塑性の両方に対処し, トレーニング可能なパラメータを著しく削減する。 逐次セグメンテーションにおけるエラー伝播やセマンティックドリフトといった固有の課題を軽減するため,クラス間の共通知識を効果的に活用するためのロジット操作を提案する。 ADE20K連続パノプティクスセグメンテーションベンチマークの実験では、ESLIPSEの優位性、特に破滅的な忘れ方に対する頑丈さと合理的な可塑性が示され、新しい最先端技術が達成された。 コードはhttps://github.com/clovaai/ECLIPSEで公開されている。

関連論文リスト

• Context-aware Prompt Tuning: Advancing In-Context Learning with Adversarial Methods [69.36397993451742]
  In this work introduced Context-aware Prompt Tuning (CPT) - ICL, PT, and adversarial attack。 入力および出力フォーマットのユニークな構造を考慮して、特定のコンテキストトークンを変更する。 敵の攻撃にインスパイアされた我々は、損失を最大化するのではなく、最小化に焦点をあてて、コンテキストに存在するラベルに基づいて入力を調整する。
  論文  参考訳（メタデータ） (2024-10-22T17:45:47Z)
• SLCA++: Unleash the Power of Sequential Fine-tuning for Continual Learning with Pre-training [68.7896349660824]
  本稿では,Seq FTのレンズからの進行オーバーフィッティング問題を詳細に解析する。 過度に高速な表現学習と偏りのある分類層がこの問題を構成することを考慮し、先進的なSlow Learner with Alignment(S++)フレームワークを導入する。 提案手法は,バックボーンパラメータの学習率を選択的に減少させるスローラーナーと,ポストホック方式で不規則な分類層を整列させるアライメントを含む。
  論文  参考訳（メタデータ） (2024-08-15T17:50:07Z)
• Visual Prompt Tuning in Null Space for Continual Learning [51.96411454304625]
  既存のプロンプトチューニング手法は、継続学習(CL)における印象的な性能を示す。 本稿では,従来のタスクの特徴に代表される部分空間に直交する方向のプロンプトを調整し,各タスクを学習することを目的とする。 実際には、即時勾配予測を実装するために、実効的なヌル空間に基づく近似解が提案されている。
  論文  参考訳（メタデータ） (2024-06-09T05:57:40Z)
• Test-Time Training for Semantic Segmentation with Output Contrastive Loss [12.535720010867538]
  ディープラーニングベースのセグメンテーションモデルは、公開ベンチマークで印象的なパフォーマンスを達成したが、目に見えない環境にうまく一般化することは、依然として大きな課題である。 本稿では、適応過程を安定させるために、頑健で一般化された表現を学習する能力で知られるコントラストロス(OCL)を紹介する。 本手法は,テスト領域データに対するドメイン適応法を用いて事前学習したモデルに適用した場合においても優れ,そのレジリエンスと適応性を示す。
  論文  参考訳（メタデータ） (2023-11-14T03:13:47Z)
• CoMFormer: Continual Learning in Semantic and Panoptic Segmentation [45.66711231393775]
  セグメンテーションと汎視的セグメンテーションの両方で操作できる最初の連続学習モデルを提案する。 提案手法はトランスフォーマーアーキテクチャの特性を利用して,時間とともに新しいクラスを学習する。 私たちのCoMFormerは、古いクラスを忘れるだけでなく、より効果的に新しいクラスを学ぶことで、既存のすべてのベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-11-25T10:15:06Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)
• Modeling the Background for Incremental and Weakly-Supervised Semantic Segmentation [39.025848280224785]
  セマンティックセグメンテーションのための新しい漸進的なクラス学習手法を提案する。 各トレーニングステップは、すべての可能なクラスのサブセットにのみアノテーションを提供するので、バックグラウンドクラスのピクセルはセマンティックシフトを示す。 本研究では,Pascal-VOC,ADE20K,Cityscapesのデータセットを広範囲に評価し,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2022-01-31T16:33:21Z)
• Half-Real Half-Fake Distillation for Class-Incremental Semantic Segmentation [84.1985497426083]
  畳み込みニューラルネットワークは漸進的な学習に不適である。 新しいクラスは利用できるが、初期トレーニングデータは保持されない。 訓練されたセグメンテーションネットワークを「反転」して、ランダムノイズから始まる入力画像の合成を試みる。
  論文  参考訳（メタデータ） (2021-04-02T03:47:16Z)
• Continual Semantic Segmentation via Repulsion-Attraction of Sparse and Disentangled Latent Representations [18.655840060559168]
  本稿では,セマンティックセグメンテーションにおけるクラス連続学習に着目した。 新しいカテゴリは時間とともに利用可能になり、以前のトレーニングデータは保持されない。 提案された連続学習スキームは、潜在空間を形作り、新しいクラスの認識を改善しながら忘れを減らす。
  論文  参考訳（メタデータ） (2021-03-10T21:02:05Z)
• Modeling the Background for Incremental Learning in Semantic Segmentation [39.025848280224785]
  深いアーキテクチャは破滅的な忘れ方に弱い。 本稿では,意味的セグメンテーションの文脈においてこの問題に対処する。 本稿では,このシフトを明示的に考慮した蒸留法に基づく新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-03T13:30:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。