論文の概要: Dynamic Y-KD: A Hybrid Approach to Continual Instance Segmentation
- arxiv url: http://arxiv.org/abs/2303.06015v2
- Date: Mon, 13 Mar 2023 00:32:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-14 11:10:46.359929
- Title: Dynamic Y-KD: A Hybrid Approach to Continual Instance Segmentation
- Title(参考訳): 動的Y-KD:連続インスタンスセグメンテーションへのハイブリッドアプローチ
- Authors: Mathieu Pag\'e-Fortin, Brahim Chaib-draa
- Abstract要約: 本稿では,教師と学生のネットワーク間で共通の特徴抽出器を共有する知識蒸留戦略を提案する。
第二に、我々のY-KDアプローチは、タスクごとに新しいモジュールを成長させる動的アーキテクチャ手法によってサポートされています。
第三に、チェックポイント平均化を、様々なクラスのパフォーマンス間のトレードオフを手動でバランスさせる単純な方法として活用することで、アプローチを完了します。
- 参考スコア(独自算出の注目度): 4.340338299803562
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite the success of deep learning methods on instance segmentation, these
models still suffer from catastrophic forgetting in continual learning
scenarios. In this paper, our contributions for continual instance segmentation
are threefold. First, we propose the Y-knowledge distillation (Y-KD), a
knowledge distillation strategy that shares a common feature extractor between
the teacher and student networks. As the teacher is also updated with new data
in Y-KD, the increased plasticity results in new modules that are specialized
on new classes. Second, our Y-KD approach is supported by a dynamic
architecture method that grows new modules for each task and uses all of them
for inference with a unique instance segmentation head, which significantly
reduces forgetting. Third, we complete our approach by leveraging checkpoint
averaging as a simple method to manually balance the trade-off between the
performance on the various sets of classes, thus increasing the control over
the model's behavior without any additional cost. These contributions are
united in our model that we name the Dynamic Y-KD network.
We perform extensive experiments on several single-step and multi-steps
scenarios on Pascal-VOC, and we show that our approach outperforms previous
methods both on past and new classes. For instance, compared to recent work,
our method obtains +2.1% mAP on old classes in 15-1, +7.6% mAP on new classes
in 19-1 and reaches 91.5% of the mAP obtained by joint-training on all classes
in 15-5.
- Abstract(参考訳): インスタンスセグメンテーションにおけるディープラーニング手法の成功にもかかわらず、これらのモデルは継続的な学習シナリオにおける破滅的な忘れに苦しむ。
本稿では,連続インスタンスセグメンテーションに対する我々の貢献が3倍になる。
まず,教師と学生のネットワーク間で共通の特徴抽出器を共有する知識蒸留戦略であるY-knowledge distillation(Y-KD)を提案する。
教師がY-KDの新しいデータで更新されるにつれて、新しいクラスに特化している新しいモジュールの可塑性が増大する。
第二に、我々のY-KDアプローチは動的アーキテクチャ手法でサポートされており、タスクごとに新しいモジュールを成長させ、それら全てをユニークなインスタンスセグメンテーションヘッドで推論するために使用します。
第三に、チェックポイント平均化を単純な方法として活用して、様々なクラスのパフォーマンス間のトレードオフを手動でバランスさせ、追加コストなしでモデルの振る舞いを制御することで、アプローチを完了します。
これらのコントリビューションは、動的Y-KDネットワークと呼ばれるモデルで統合されています。
本研究では,Pascal-VOCにおける複数ステップおよび複数ステップのシナリオについて広範な実験を行った。
例えば、最近の研究と比較すると、15-1では古いクラスで2.1% mAP、19-1では新しいクラスで7.6% mAP、そして15-5では全てのクラスで共同トレーニングによって得られたmAPの91.5%に達する。
関連論文リスト
- Adapt Your Teacher: Improving Knowledge Distillation for Exemplar-free
Continual Learning [14.379472108242235]
正規化戦略として知識蒸留(KD)を併用した模範自由クラスインクリメンタルラーニング(CIL)について検討した。
KDベースの手法はCILでうまく使われているが、以前のタスクからトレーニングデータの例にアクセスできることなくモデルを規則化するのに苦労することが多い。
近年の試験時間適応法に触発されて,インクリメンタルトレーニング中に教師と主要モデルを同時に更新する手法であるTeacher Adaptation (TA)を紹介した。
論文 参考訳(メタデータ) (2023-08-18T13:22:59Z) - Continual Learning with Optimal Transport based Mixture Model [17.398605698033656]
成熟最適輸送理論(OT-MM)の優れた性質に基づくオンライン混合モデル学習手法を提案する。
提案手法は,現在の最先端のベースラインを大きく上回ることができる。
論文 参考訳(メタデータ) (2022-11-30T06:40:29Z) - Weighted Ensemble Self-Supervised Learning [67.24482854208783]
組み立ては、モデルパフォーマンスを高めるための強力なテクニックであることが証明されている。
我々は,データ依存型重み付きクロスエントロピー損失を許容するフレームワークを開発した。
提案手法は、ImageNet-1K上での複数の評価指標において、両者に優れる。
論文 参考訳(メタデータ) (2022-11-18T02:00:17Z) - Modeling Inter-Class and Intra-Class Constraints in Novel Class
Discovery [20.67503042774617]
新たなクラス発見(NCD)は、クラス非結合なラベル付きデータセットから別の非ラベル付きデータセットへ共通の知識を転送するモデルを学ぶことを目的としている。
対称KKLD(Kullback-Leibler divergence)に基づくNCDにおけるクラス間制約とクラス内制約の両方をモデル化する。
論文 参考訳(メタデータ) (2022-10-07T14:46:32Z) - FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。
本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
論文 参考訳(メタデータ) (2022-04-10T11:38:33Z) - Static-Dynamic Co-Teaching for Class-Incremental 3D Object Detection [71.18882803642526]
ディープラーニングアプローチは、3Dオブジェクト検出タスクにおいて顕著なパフォーマンスを示している。
古いデータを再考することなく、新しいクラスを漸進的に学習するときに、破滅的なパフォーマンス低下に悩まされる。
この「破滅的な忘れ物」現象は、現実世界のシナリオにおける3Dオブジェクト検出アプローチの展開を妨げる。
SDCoTは,新しい静的なコティーチング手法である。
論文 参考訳(メタデータ) (2021-12-14T09:03:41Z) - Mimicking the Oracle: An Initial Phase Decorrelation Approach for Class
Incremental Learning [140.1133727112409]
本研究では,Na"訓練初期相モデルとオラクルモデルとの相違について検討する。
より均一に散らばるように,各クラスの表現を効果的に正規化するクラスワイド・デコレーション(CwD)を提案する。
私たちのCwDは実装が簡単で、既存のメソッドに簡単にプラグインできます。
論文 参考訳(メタデータ) (2021-12-09T07:20:32Z) - Self-Promoted Prototype Refinement for Few-Shot Class-Incremental
Learning [81.10531943939365]
クラスインクリメンタルな学習は、サンプルが少ないと新しいクラスを認識し、古いクラスを忘れないことである。
本稿では,様々なエピソードに特徴表現を適応させる新しいインクリメンタルなプロトタイプ学習手法を提案する。
3つのベンチマークデータセットの実験では、上記の段階的なパフォーマンスを示し、それぞれ13%、17%、11%のマージンで最先端のメソッドを上回っている。
論文 参考訳(メタデータ) (2021-07-19T14:31:33Z) - Ada-Segment: Automated Multi-loss Adaptation for Panoptic Segmentation [95.31590177308482]
我々は,トレーニング期間中に複数のトレーニング損失を柔軟に調整する自動マルチロス適応(ada-segment)を提案する。
エンドツーエンドアーキテクチャにより、ada-segmentはハイパーパラメータを再チューニングすることなく、異なるデータセットに一般化する。
Ada-Segmentは、バニラベースラインからCOCOval分割に2.7%のパノラマ品質(PQ)改善をもたらし、COCOテストデブ分割に最新の48.5%PQ、ADE20Kデータセットに32.9%PQを達成しました。
論文 参考訳(メタデータ) (2020-12-07T11:43:10Z) - Cognitively-Inspired Model for Incremental Learning Using a Few Examples [11.193504036335503]
増分学習は、異なるクラスに分離されたデータのストリームから連続的に学習する分類器の開発を試みる。
ディープラーニングアプローチは、クラスを漸進的に学習する際の破滅的な忘れ込みに悩まされる一方、ほとんどのインクリメンタル学習アプローチは、クラス毎に大量のトレーニングデータを必要とします。
本研究では,海馬と新皮質の概念学習モデルから着想を得た新しいアプローチを提案する。
論文 参考訳(メタデータ) (2020-02-27T19:52:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。