論文の概要: DIODE: Dilatable Incremental Object Detection

• arxiv url: http://arxiv.org/abs/2108.05627v1
• Date: Thu, 12 Aug 2021 09:45:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-13 14:33:29.832415
• Title: DIODE: Dilatable Incremental Object Detection
• Title（参考訳）: DIODE:拡張可能なインクリメンタルオブジェクト検出
• Authors: Can Peng, Kun Zhao, Sam Maksoud, Tianren Wang, Brian C. Lovell
• Abstract要約: 従来のディープラーニングモデルには、以前に学習した知識を保存する能力がない。 多段階インクリメンタル検出タスクのための拡張可能なインクリメンタルオブジェクト検出器(DIODE)を提案する。 提案手法は,新たに学習した各タスクのパラメータ数を1.2%増加させることで,最大6.4%の性能向上を実現する。
• 参考スコア（独自算出の注目度）: 15.59425584971872
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To accommodate rapid changes in the real world, the cognition system of humans is capable of continually learning concepts. On the contrary, conventional deep learning models lack this capability of preserving previously learned knowledge. When a neural network is fine-tuned to learn new tasks, its performance on previously trained tasks will significantly deteriorate. Many recent works on incremental object detection tackle this problem by introducing advanced regularization. Although these methods have shown promising results, the benefits are often short-lived after the first incremental step. Under multi-step incremental learning, the trade-off between old knowledge preserving and new task learning becomes progressively more severe. Thus, the performance of regularization-based incremental object detectors gradually decays for subsequent learning steps. In this paper, we aim to alleviate this performance decay on multi-step incremental detection tasks by proposing a dilatable incremental object detector (DIODE). For the task-shared parameters, our method adaptively penalizes the changes of important weights for previous tasks. At the same time, the structure of the model is dilated or expanded by a limited number of task-specific parameters to promote new task learning. Extensive experiments on PASCAL VOC and COCO datasets demonstrate substantial improvements over the state-of-the-art methods. Notably, compared with the state-of-the-art methods, our method achieves up to 6.0% performance improvement by increasing the number of parameters by just 1.2% for each newly learned task.
• Abstract（参考訳）: 現実世界の急速な変化に対応するため、人間の認知システムは概念を継続的に学習することができる。 それとは対照的に、従来のディープラーニングモデルには、以前に学習した知識を保存する能力がない。 ニューラルネットワークが新しいタスクを学習するために微調整されると、トレーニング済みのタスクに対するパフォーマンスは大幅に低下する。 最近のインクリメンタルなオブジェクト検出に関する多くの研究は、高度な正規化を導入することでこの問題に取り組んでいる。 これらの手法は有望な結果を示しているが、利益はしばしば最初の段階的なステップの後に短命である。 多段階のインクリメンタル学習では、古い知識保存と新しいタスク学習のトレードオフが徐々に厳しくなる。 したがって、正規化に基づくインクリメンタルオブジェクト検出器の性能は、その後の学習ステップで徐々に低下する。 本稿では,ディレイタブルインクリメンタル物体検出器(diode)を提案することにより,マルチステップインクリメンタル検出タスクにおけるこの性能低下を緩和することを目的とする。 タスク共有パラメータでは,従来のタスクにおける重要な重み付けの変化を適応的にペナルティ化する。 同時に、モデルの構造は限られたタスク固有のパラメータによって拡張または拡張され、新しいタスク学習を促進する。 PASCAL VOCとCOCOデータセットに関する大規模な実験は、最先端の手法よりも大幅に改善されている。 特に,最新の手法と比較して,新たに学習したタスク毎にパラメータ数を1.2%増やすことで,最大6.0%の性能向上を実現している。

関連論文リスト

• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Density Map Distillation for Incremental Object Counting [37.982124268097]
  インクリメンタルなオブジェクトカウントに対するナイーブなアプローチは、破滅的な忘れ込みに悩まされ、以前のタスクに対する劇的なパフォーマンス低下に悩まされる。 密度マップ蒸留法 (DMD) と呼ばれる, 先例のない関数正規化手法を提案する。 トレーニング中,各タスクに新しいカウンタヘッドを導入し,従来のタスクを忘れないように蒸留損失を導入する。
  論文  参考訳（メタデータ） (2023-04-11T14:46:21Z)
• Energy-based Latent Aligner for Incremental Learning [83.0135278697976]
  ディープラーニングモデルは、新しいタスクを漸進的に学習しながら、以前の知識を忘れる傾向があります。 この振る舞いは、新しいタスクに最適化されたパラメータ更新が、古いタスクに適したアップデートとうまく一致しない可能性があるため現れます。 ELI: インクリメンタルラーニングのためのエネルギーベースラテントアリグナーを提案する。
  論文  参考訳（メタデータ） (2022-03-28T17:57:25Z)
• Continual learning of quantum state classification with gradient episodic memory [0.20646127669654826]
  破滅的忘れという現象は、機械学習モデルが複数のタスクにわたって訓練されたときに発生する。 破滅的な忘れの問題に対処するために、いくつかの継続的な学習戦略が提案されている。 本研究では,変分量子分類器の学習に勾配エピソードメモリ法を取り入れた。
  論文  参考訳（メタデータ） (2022-03-26T09:28:26Z)
• Relational Experience Replay: Continual Learning by Adaptively Tuning Task-wise Relationship [54.73817402934303]
  本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。 ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
  論文  参考訳（メタデータ） (2021-12-31T12:05:22Z)
• Continual Learning via Bit-Level Information Preserving [88.32450740325005]
  我々は情報理論のレンズを通して連続学習過程を研究する。 モデルパラメータの情報利得を維持するビットレベル情報保存(BLIP)を提案する。 BLIPは、連続的な学習を通してメモリオーバーヘッドを一定に保ちながら、ほとんど忘れることができない。
  論文  参考訳（メタデータ） (2021-05-10T15:09:01Z)
• Class-incremental learning: survey and performance evaluation on image classification [38.27344435075399]
  増分学習は、新しいデータの到着時にスクラッチから再トレーニングする必要をなくし、効率的なリソース使用を可能にする。 漸進的な学習の最大の課題は破滅的な忘れことであり、これは新しいタスクを学習した後、以前に学習したタスクのパフォーマンスが急落したことを指す。 近年,学習者がタスクIDを使わずに,過去のタスクで見られた全てのクラス間での推論時間において,学習者が識別しなければならないクラス増分学習へのシフトが見られた。
  論文  参考訳（メタデータ） (2020-10-28T23:28:15Z)
• iTAML: An Incremental Task-Agnostic Meta-learning Approach [123.10294801296926]
  人間は経験が成長するにつれて、新しい知識を継続的に学ぶことができる。 ディープニューラルネットワークにおける以前の学習は、新しいタスクでトレーニングされたときにすぐに消えてしまう可能性がある。 遭遇した全てのタスク間の平衡を維持するために,新しいメタラーニング手法を導入する。
  論文  参考訳（メタデータ） (2020-03-25T21:42:48Z)
• Incremental Object Detection via Meta-Learning [77.55310507917012]
  本稿では,段階的タスク間の情報を最適に共有するように,モデル勾配を再形成するメタラーニング手法を提案する。 既存のメタ学習法と比較して,本手法はタスク非依存であり,オブジェクト検出のための高容量モデルに新たなクラスやスケールを段階的に追加することができる。
  論文  参考訳（メタデータ） (2020-03-17T13:40:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。