論文の概要: Density Map Distillation for Incremental Object Counting

• arxiv url: http://arxiv.org/abs/2304.05255v1
• Date: Tue, 11 Apr 2023 14:46:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-12 14:34:50.624547
• Title: Density Map Distillation for Incremental Object Counting
• Title（参考訳）: インクリメンタルオブジェクトカウントのための密度マップ蒸留
• Authors: Chenshen Wu and Joost van de Weijer
• Abstract要約: インクリメンタルなオブジェクトカウントに対するナイーブなアプローチは、破滅的な忘れ込みに悩まされ、以前のタスクに対する劇的なパフォーマンス低下に悩まされる。 密度マップ蒸留法 (DMD) と呼ばれる, 先例のない関数正規化手法を提案する。 トレーニング中,各タスクに新しいカウンタヘッドを導入し,従来のタスクを忘れないように蒸留損失を導入する。
• 参考スコア（独自算出の注目度）: 37.982124268097
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate the problem of incremental learning for object counting, where a method must learn to count a variety of object classes from a sequence of datasets. A na\"ive approach to incremental object counting would suffer from catastrophic forgetting, where it would suffer from a dramatic performance drop on previous tasks. In this paper, we propose a new exemplar-free functional regularization method, called Density Map Distillation (DMD). During training, we introduce a new counter head for each task and introduce a distillation loss to prevent forgetting of previous tasks. Additionally, we introduce a cross-task adaptor that projects the features of the current backbone to the previous backbone. This projector allows for the learning of new features while the backbone retains the relevant features for previous tasks. Finally, we set up experiments of incremental learning for counting new objects. Results confirm that our method greatly reduces catastrophic forgetting and outperforms existing methods.
• Abstract（参考訳）: 本研究では,データ列から様々なオブジェクトクラスを数える方法を学ぶ必要があるオブジェクトカウントのためのインクリメンタル学習の問題について検討する。 漸進的なオブジェクトの数え上げに対するna\" なアプローチは、過去のタスクで劇的なパフォーマンス低下に苦しむような、破滅的な忘れに苦しむだろう。 本稿では, 密度マップ蒸留法 (DMD) と呼ばれる, 現代的な機能正規化手法を提案する。 トレーニング中,各タスクに新しいカウンタヘッドを導入し,蒸留損失を導入して前回のタスクの忘れることを防止する。 さらに,現在のバックボーンの機能を以前のバックボーンに投影するクロスタスクアダプタも導入する。 このプロジェクタは新機能の学習を可能にし、バックボーンは以前のタスクに関連する機能を保持する。 最後に,新しいオブジェクトを数えるためのインクリメンタル学習の実験を行った。 その結果,本手法は破滅的忘れを著しく減らし,既存手法よりも優れていたことが確認された。

関連論文リスト

• Reducing catastrophic forgetting of incremental learning in the absence of rehearsal memory with task-specific token [0.6144680854063939]
  ディープラーニングモデルは、新しいデータを継続的に学習する際に破滅的な忘れを見せる。 本稿では,従来のデータを保存することなく,過去の知識を保存できる新しい手法を提案する。 この方法は視覚変換器のアーキテクチャにインスパイアされ、各タスクの圧縮された知識をカプセル化できるユニークなトークンを使用する。
  論文  参考訳（メタデータ） (2024-11-06T16:13:50Z)
• MCF-VC: Mitigate Catastrophic Forgetting in Class-Incremental Learning for Multimodal Video Captioning [10.95493493610559]
  マルチモーダルビデオキャプション(MCF-VC)のためのクラス増分学習におけるカタストロフィックフォーミングの軽減手法を提案する。 特徴レベルでの旧タスクと新タスクの知識特性をよりよく制約するために,2段階知識蒸留(TsKD)を作成した。 公開データセットMSR-VTTを用いた実験により,提案手法は古いサンプルを再生することなく過去のタスクを忘れることに対して著しく抵抗し,新しいタスクでうまく機能することを示した。
  論文  参考訳（メタデータ） (2024-02-27T16:54:08Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Fine-Grained Knowledge Selection and Restoration for Non-Exemplar Class Incremental Learning [64.14254712331116]
  非典型的なクラスインクリメンタル学習は、過去のトレーニングデータにアクセスすることなく、新しいタスクと古いタスクの両方を学ぶことを目的としている。 本稿では, きめ細かい知識選択と復元のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-12-20T02:34:11Z)
• CLR: Channel-wise Lightweight Reprogramming for Continual Learning [63.94773340278971]
  継続的な学習は、逐次的なタスクを通じて継続的に知識を蓄積する人間の能力をエミュレートすることを目的としている。 主な課題は、新しいタスクを学習した後、以前に学習したタスクのパフォーマンスを維持することである。 本稿では、畳み込みニューラルネットワークが破滅的な忘れを克服するのに役立つチャネルワイドなライトウェイト・リプログラミング手法を提案する。
  論文  参考訳（メタデータ） (2023-07-21T06:56:21Z)
• Prototype-Sample Relation Distillation: Towards Replay-Free Continual Learning [14.462797749666992]
  本稿では,表現とクラスプロトタイプを共同で学習するための総合的なアプローチを提案する。 本稿では,新しいタスクデータと比較して,クラスプロトタイプの相対的類似性を維持することを制約する新しい蒸留損失を提案する。 この手法はタスクインクリメンタル設定における最先端性能を得る。
  論文  参考訳（メタデータ） (2023-03-26T16:35:45Z)
• ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
  補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。 複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。 ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
  論文  参考訳（メタデータ） (2023-01-30T02:27:02Z)
• DIODE: Dilatable Incremental Object Detection [15.59425584971872]
  従来のディープラーニングモデルには、以前に学習した知識を保存する能力がない。 多段階インクリメンタル検出タスクのための拡張可能なインクリメンタルオブジェクト検出器(DIODE)を提案する。 提案手法は,新たに学習した各タスクのパラメータ数を1.2%増加させることで,最大6.4%の性能向上を実現する。
  論文  参考訳（メタデータ） (2021-08-12T09:45:57Z)
• Class-incremental learning: survey and performance evaluation on image classification [38.27344435075399]
  増分学習は、新しいデータの到着時にスクラッチから再トレーニングする必要をなくし、効率的なリソース使用を可能にする。 漸進的な学習の最大の課題は破滅的な忘れことであり、これは新しいタスクを学習した後、以前に学習したタスクのパフォーマンスが急落したことを指す。 近年,学習者がタスクIDを使わずに,過去のタスクで見られた全てのクラス間での推論時間において,学習者が識別しなければならないクラス増分学習へのシフトが見られた。
  論文  参考訳（メタデータ） (2020-10-28T23:28:15Z)
• Incremental Object Detection via Meta-Learning [77.55310507917012]
  本稿では,段階的タスク間の情報を最適に共有するように,モデル勾配を再形成するメタラーニング手法を提案する。 既存のメタ学習法と比較して,本手法はタスク非依存であり,オブジェクト検出のための高容量モデルに新たなクラスやスケールを段階的に追加することができる。
  論文  参考訳（メタデータ） (2020-03-17T13:40:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。