論文の概要: DiffusePast: Diffusion-based Generative Replay for Class Incremental Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2308.01127v1
• Date: Wed, 2 Aug 2023 13:13:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-03 13:02:36.767067
• Title: DiffusePast: Diffusion-based Generative Replay for Class Incremental Semantic Segmentation
• Title（参考訳）: diffusepast:クラスインクリメンタルセグメンテーションのための拡散型生成リプレイ
• Authors: Jingfan Chen, Yuxi Wang, Pengfei Wang, Xiao Chen, Zhaoxiang Zhang, Zhen Lei and Qing Li
• Abstract要約: クラスインクリメンタルセマンティック(CISS)は、新たに追加されたクラスを漸進的に学習することで、従来のセグメンテーションタスクを拡張する。 これは、事前訓練されたGANから生成された古いクラスサンプルを再生するものである。 そこで我々はDiffusePastを提案する。DiffusePastは拡散型生成再生モジュールを特徴とする新しいフレームワークで、異なる命令でより信頼性の高いマスクで意味論的に正確な画像を生成する。
• 参考スコア（独自算出の注目度）: 73.54038780856554
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Class Incremental Semantic Segmentation (CISS) extends the traditional segmentation task by incrementally learning newly added classes. Previous work has introduced generative replay, which involves replaying old class samples generated from a pre-trained GAN, to address the issues of catastrophic forgetting and privacy concerns. However, the generated images lack semantic precision and exhibit out-of-distribution characteristics, resulting in inaccurate masks that further degrade the segmentation performance. To tackle these challenges, we propose DiffusePast, a novel framework featuring a diffusion-based generative replay module that generates semantically accurate images with more reliable masks guided by different instructions (e.g., text prompts or edge maps). Specifically, DiffusePast introduces a dual-generator paradigm, which focuses on generating old class images that align with the distribution of downstream datasets while preserving the structure and layout of the original images, enabling more precise masks. To adapt to the novel visual concepts of newly added classes continuously, we incorporate class-wise token embedding when updating the dual-generator. Moreover, we assign adequate pseudo-labels of old classes to the background pixels in the new step images, further mitigating the forgetting of previously learned knowledge. Through comprehensive experiments, our method demonstrates competitive performance across mainstream benchmarks, striking a better balance between the performance of old and novel classes.
• Abstract（参考訳）: CISS(Class Incremental Semantic Segmentation)は、新たに追加されたクラスを漸進的に学習することで、従来のセグメンテーションタスクを拡張する。 以前の作業では、破滅的な忘れ物やプライバシーの問題に対処するために、事前訓練されたGANから生成された古いクラスサンプルを再生する、生成的リプレイが導入されていた。 しかし, 生成した画像は意味的精度に欠け, 分布特性が発現し, セグメンテーション性能をさらに劣化させる不正確なマスクが生じる。 そこで本研究では,異なる指示(テキストプロンプトやエッジマップなど)によって導かれるより信頼性の高いマスクを用いて,意味的に正確な画像を生成する拡散型生成リプレイモジュールを特徴とする新しいフレームワークであるdividatepastを提案する。 具体的には、DiffusePastがデュアルジェネレータパラダイムを導入し、ダウンストリームデータセットの分布に合わせて、元のイメージの構造とレイアウトを保存しながら、より正確なマスクを可能にする、古いクラスのイメージを生成する。 新たに追加されたクラスの新しい視覚概念に継続的に適応するために、デュアルジェネレータを更新する際、クラスワイズトークンを埋め込みます。 さらに,新しいステップ画像の背景画素に古いクラスの適切な擬似ラベルを割り当て,学習前の知識の忘れを緩和する。 総合的な実験を通じて,本手法は主要なベンチマーク間での競合性能を示し,古いクラスと新しいクラスのパフォーマンスのバランスを良くする。

関連論文リスト

• Enhance Image Classification via Inter-Class Image Mixup with Diffusion Model [80.61157097223058]
  画像分類性能を高めるための一般的な戦略は、T2Iモデルによって生成された合成画像でトレーニングセットを増強することである。 本研究では,既存のデータ拡張技術の欠点について検討する。 Diff-Mixと呼ばれる革新的なクラス間データ拡張手法を導入する。
  論文  参考訳（メタデータ） (2024-03-28T17:23:45Z)
• SDDGR: Stable Diffusion-based Deep Generative Replay for Class Incremental Object Detection [8.423544221521201]
  クラスインクリメンタルオブジェクト検出(CIOD)のためのSDDGRと呼ばれる新しい手法を提案する。 本手法は,事前学習したテキスト-拡散ネットワークを用いた拡散モデルを用いて,現実的で多様な合成画像を生成する。 我々のアプローチには、新しいタスクイメージ内の古いオブジェクトの擬似ラベル付けが含まれており、背景要素としての誤分類を防ぐ。
  論文  参考訳（メタデータ） (2024-02-27T09:01:03Z)
• Boosting Semantic Segmentation from the Perspective of Explicit Class Embeddings [19.997929884477628]
  クラス埋め込みのメカニズムを探求し、クラスマスクに基づいてより明示的で意味のあるクラス埋め込みを生成することができるという知見を得る。 マルチステージ画像特徴との相互作用において,クラス埋め込みを明示的に獲得・拡張する新たなセグメンテーションパラダイムであるECENetを提案する。 ECENetはADE20Kデータセットよりもはるかに少ない計算コストでパフォーマンスを向上し、PASCAL-Contextデータセット上で新たな最先端結果を達成する。
  論文  参考訳（メタデータ） (2023-08-24T16:16:10Z)
• RaSP: Relation-aware Semantic Prior for Weakly Supervised Incremental Segmentation [28.02204928717511]
  本稿では,事前学習したクラスから新しいクラスにオブジェクトを移すための弱い教師付きアプローチを提案する。 クラス間の単純なペアインタラクションでさえ、古いクラスと新しいクラスのセグメンテーションマスクの品質を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-05-31T14:14:21Z)
• Effective Data Augmentation With Diffusion Models [65.09758931804478]
  我々は、事前訓練されたテキスト・画像拡散モデルによりパラメータ化された画像・画像変換によるデータ拡張の多様性の欠如に対処する。 本手法は,市販の拡散モデルを用いて画像のセマンティクスを編集し,いくつかのラベル付き例から新しい視覚概念に一般化する。 本手法は,実世界の雑草認識タスクと数ショット画像分類タスクにおいて評価し,テスト領域における精度の向上を観察する。
  論文  参考訳（メタデータ） (2023-02-07T20:42:28Z)
• Weak-shot Semantic Segmentation via Dual Similarity Transfer [33.18870478560099]
  MaskFormer上で2つの類似性転送を行うSimFormerを提案する。 提案セグメンテーションにより、プロポーザルピクセルの類似性をベースクラスから新しいクラスに転送できる。 また,基本クラスからピクセル・ピクセル類似性を学習し,新しいクラスのセマンティックマスクとそのようなクラスに依存しないセマンティック類似性を蒸留する。
  論文  参考訳（メタデータ） (2022-10-05T13:54:34Z)
• Local and Global GANs with Semantic-Aware Upsampling for Image Generation [201.39323496042527]
  ローカルコンテキストを用いて画像を生成することを検討する。 セマンティックマップをガイダンスとして用いたクラス固有の生成ネットワークを提案する。 最後に,セマンティック・アウェア・アップサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2022-02-28T19:24:25Z)
• Modeling the Background for Incremental and Weakly-Supervised Semantic Segmentation [39.025848280224785]
  セマンティックセグメンテーションのための新しい漸進的なクラス学習手法を提案する。 各トレーニングステップは、すべての可能なクラスのサブセットにのみアノテーションを提供するので、バックグラウンドクラスのピクセルはセマンティックシフトを示す。 本研究では,Pascal-VOC,ADE20K,Cityscapesのデータセットを広範囲に評価し,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2022-01-31T16:33:21Z)
• Half-Real Half-Fake Distillation for Class-Incremental Semantic Segmentation [84.1985497426083]
  畳み込みニューラルネットワークは漸進的な学習に不適である。 新しいクラスは利用できるが、初期トレーニングデータは保持されない。 訓練されたセグメンテーションネットワークを「反転」して、ランダムノイズから始まる入力画像の合成を試みる。
  論文  参考訳（メタデータ） (2021-04-02T03:47:16Z)
• Memory-Efficient Incremental Learning Through Feature Adaptation [71.1449769528535]
  本稿では,以前学習したクラスから,画像の特徴記述子を保存するインクリメンタルラーニングのアプローチを提案する。 画像のより低次元の機能埋め込みを維持することで、メモリフットプリントが大幅に削減される。 実験の結果,インクリメンタルラーニングベンチマークにおいて,最先端の分類精度が得られた。
  論文  参考訳（メタデータ） (2020-04-01T21:16:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。