論文の概要: Energy-based Latent Aligner for Incremental Learning

• arxiv url: http://arxiv.org/abs/2203.14952v1
• Date: Mon, 28 Mar 2022 17:57:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-29 13:02:48.235777
• Title: Energy-based Latent Aligner for Incremental Learning
• Title（参考訳）: インクリメンタルラーニングのためのエネルギーベース潜在アリグナー
• Authors: K J Joseph, Salman Khan, Fahad Shahbaz Khan, Rao Muhammad Anwer, Vineeth N Balasubramanian
• Abstract要約: ディープラーニングモデルは、新しいタスクを漸進的に学習しながら、以前の知識を忘れる傾向があります。 この振る舞いは、新しいタスクに最適化されたパラメータ更新が、古いタスクに適したアップデートとうまく一致しない可能性があるため現れます。 ELI: インクリメンタルラーニングのためのエネルギーベースラテントアリグナーを提案する。
• 参考スコア（独自算出の注目度）: 83.0135278697976
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning models tend to forget their earlier knowledge while incrementally learning new tasks. This behavior emerges because the parameter updates optimized for the new tasks may not align well with the updates suitable for older tasks. The resulting latent representation mismatch causes forgetting. In this work, we propose ELI: Energy-based Latent Aligner for Incremental Learning, which first learns an energy manifold for the latent representations such that previous task latents will have low energy and the current task latents have high energy values. This learned manifold is used to counter the representational shift that happens during incremental learning. The implicit regularization that is offered by our proposed methodology can be used as a plug-and-play module in existing incremental learning methodologies. We validate this through extensive evaluation on CIFAR-100, ImageNet subset, ImageNet 1k and Pascal VOC datasets. We observe consistent improvement when ELI is added to three prominent methodologies in class-incremental learning, across multiple incremental settings. Further, when added to the state-of-the-art incremental object detector, ELI provides over 5% improvement in detection accuracy, corroborating its effectiveness and complementary advantage to existing art.
• Abstract（参考訳）: ディープラーニングモデルは、新しいタスクを段階的に学習しながら、初期の知識を忘れがちです。 新しいタスクに最適化されたパラメータ更新は、古いタスクに適した更新と一致しない可能性があるため、この振る舞いが生まれます。 遅延表現ミスマッチの結果、忘れてしまう。 本研究は,ELI:Energy-based Latent Aligner for Incremental Learningを提案する。これはまず,従来のタスクラジェントが低エネルギーで,現在のタスクラジェントが高エネルギー値を持つような潜在表現のためのエネルギー多様体を学習する。 この学習多様体は、漸進学習中に起こる表現シフトに対抗するために用いられる。 提案手法が提案する暗黙の正規化は,既存の漸進学習手法におけるプラグアンドプレイモジュールとして利用することができる。 CIFAR-100, ImageNet サブセット, ImageNet 1k および Pascal VOC データセットの広範な評価によってこれを検証した。 クラス増分学習において,ELIが3つの重要な方法論に追加されると,複数の段階的な設定で一貫した改善が観察される。 さらに、最先端のインクリメンタルオブジェクト検出器に追加されると、ELIは検出精度を5%以上改善し、その有効性と既存の技術との相補的優位性を裏付ける。

関連論文リスト

• Evolving Knowledge Mining for Class Incremental Segmentation [113.59611699693092]
  クラスインクリメンタルセマンティック(CISS)は、最近、現実世界のアプリケーションにおいて大きな重要性があるため、トレンドとなっている。 冷凍バックボーンを用いた新規なkNowleDgeマイニング法を提案する。 提案手法を2つの広く使用されているベンチマークで評価し,新しい最先端性能を一貫して示す。
  論文  参考訳（メタデータ） (2023-06-03T07:03:15Z)
• Adversarial Auto-Augment with Label Preservation: A Representation Learning Principle Guided Approach [95.74102207187545]
  本研究では,事前自由な自律的データ拡張の目的が表現学習の原則から導出可能であることを示す。 そこで我々は,既存の手法にシームレスに最適化し,シームレスに統合できる目的に対して,実用的なサロゲートを提案する。
  論文  参考訳（メタデータ） (2022-11-02T02:02:51Z)
• Improving Feature Generalizability with Multitask Learning in Class Incremental Learning [12.632121107536843]
  キーワードスポッティングのような多くのディープラーニングアプリケーションは、クラスインクリメンタルラーニング(CIL)と呼ばれる新しい概念(クラス)を時間とともに組み込む必要がある。 CILの最大の課題は、破滅的な忘れ、すなわち、新しいタスクを学習しながら可能な限り多くの古い知識を保存することである。 本稿では,基本モデルトレーニング中のマルチタスク学習による特徴一般化性の向上を提案する。 提案手法は,平均漸進的学習精度を最大5.5%向上させ,時間とともにより信頼性が高く正確なキーワードスポッティングを可能にする。
  論文  参考訳（メタデータ） (2022-04-26T07:47:54Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)
• DIODE: Dilatable Incremental Object Detection [15.59425584971872]
  従来のディープラーニングモデルには、以前に学習した知識を保存する能力がない。 多段階インクリメンタル検出タスクのための拡張可能なインクリメンタルオブジェクト検出器(DIODE)を提案する。 提案手法は,新たに学習した各タスクのパラメータ数を1.2%増加させることで,最大6.4%の性能向上を実現する。
  論文  参考訳（メタデータ） (2021-08-12T09:45:57Z)
• iTAML: An Incremental Task-Agnostic Meta-learning Approach [123.10294801296926]
  人間は経験が成長するにつれて、新しい知識を継続的に学ぶことができる。 ディープニューラルネットワークにおける以前の学習は、新しいタスクでトレーニングされたときにすぐに消えてしまう可能性がある。 遭遇した全てのタスク間の平衡を維持するために,新しいメタラーニング手法を導入する。
  論文  参考訳（メタデータ） (2020-03-25T21:42:48Z)
• Incremental Object Detection via Meta-Learning [77.55310507917012]
  本稿では,段階的タスク間の情報を最適に共有するように,モデル勾配を再形成するメタラーニング手法を提案する。 既存のメタ学習法と比較して,本手法はタスク非依存であり,オブジェクト検出のための高容量モデルに新たなクラスやスケールを段階的に追加することができる。
  論文  参考訳（メタデータ） (2020-03-17T13:40:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。