Fugu-MT 論文翻訳(概要): Better Knowledge Retention through Metric Learning

論文の概要: Better Knowledge Retention through Metric Learning

arxiv url: http://arxiv.org/abs/2011.13149v1
Date: Thu, 26 Nov 2020 06:28:40 GMT
ステータス: 処理完了
システム内更新日: 2022-09-20 08:11:15.705090
Title: Better Knowledge Retention through Metric Learning
Title（参考訳）: メトリクス学習によるより良い知識保持
Authors: Ke Li, Shichong Peng, Kailas Vodrahalli, Jitendra Malik
Abstract要約: 本稿では,ディープニューラルネットの表現力を活用した新しい手法を提案する。提案手法は,既存手法と比較してCIFAR-10では2.3倍から6.9倍,ImageNetでは1.8倍から2.7倍の補正が可能であった。
参考スコア（独自算出の注目度）: 45.063441364051926
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In continual learning, new categories may be introduced over time, and an ideal learning system should perform well on both the original categories and the new categories. While deep neural nets have achieved resounding success in the classical supervised setting, they are known to forget about knowledge acquired in prior episodes of learning if the examples encountered in the current episode of learning are drastically different from those encountered in prior episodes. In this paper, we propose a new method that can both leverage the expressive power of deep neural nets and is resilient to forgetting when new categories are introduced. We found the proposed method can reduce forgetting by 2.3x to 6.9x on CIFAR-10 compared to existing methods and by 1.8x to 2.7x on ImageNet compared to an oracle baseline.
Abstract（参考訳）: 継続学習では、時間とともに新しいカテゴリを導入し、本来のカテゴリと新しいカテゴリの両方で理想的な学習システムを実現する必要がある。ディープニューラルネットは古典的教師付き設定で再び成功を収めているが、学習の現在のエピソードで遭遇した例が以前のエピソードで遭遇した例と大きく異なる場合、学習前のエピソードで得られた知識を忘れることが知られている。本稿では,ディープニューラルネットの表現力を活用することができ,新たなカテゴリが導入されたとき忘れやすい新しい手法を提案する。提案手法は,既存手法と比較してCIFAR-10では2.3倍から6.9倍,ImageNetでは1.8倍から2.7倍の補正が可能であった。

関連論文リスト

Class incremental learning with probability dampening and cascaded gated classifier [4.285597067389559]
本稿では, Margin Dampening と Cascaded Scaling という新たな漸進正規化手法を提案する。 1つ目は、ソフト制約と知識蒸留のアプローチを組み合わせて、過去の知識を保存し、新しいパターンを忘れることを可能にします。提案手法は,複数のベンチマークにおいて,確立されたベースラインで良好に動作することを示す。
論文参考訳（メタデータ） (2024-02-02T09:33:07Z)
Learning Prompt with Distribution-Based Feature Replay for Few-Shot Class-Incremental Learning [56.29097276129473]
分散型特徴再現(LP-DiF)を用いた学習プロンプト(Learning Prompt)という,シンプルで効果的なフレームワークを提案する。新しいセッションでは,学習可能なプロンプトが古い知識を忘れないようにするため,擬似機能的リプレイ手法を提案する。新しいセッションに進むと、古いクラスのディストリビューションと現在のセッションのトレーニングイメージを組み合わせて擬似フィーチャーをサンプリングして、プロンプトを最適化する。
論文参考訳（メタデータ） (2024-01-03T07:59:17Z)
Tree-Based Adaptive Model Learning [62.997667081978825]
我々はKearns-Vazirani学習アルゴリズムを拡張し、時間とともに変化するシステムを扱う。本稿では,学習前の動作を再利用し,更新し,LearnerLibライブラリに実装し,大規模な実例で評価する学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2022-08-31T21:24:22Z)
Incremental Deep Neural Network Learning using Classification Confidence Thresholding [4.061135251278187]
分類のための現代のニューラルネットワークのほとんどは、未知の概念を考慮していない。本稿では,逐次学習のための素数ニューラルネットワークに対する分類信頼度閾値アプローチを提案する。
論文参考訳（メタデータ） (2021-06-21T22:46:28Z)
Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文参考訳（メタデータ） (2021-06-17T17:26:31Z)
Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
論文参考訳（メタデータ） (2020-12-31T08:21:37Z)
Incremental Learning via Rate Reduction [26.323357617265163]
現在のディープラーニングアーキテクチャは、破滅的な忘れ込みに悩まされており、新しいクラスで漸進的にトレーニングされた時に、以前に学習したクラスの知識を保持することができません。本稿では,ネットワークの各層をバック伝搬なしで明示的に計算する,レート低減の原理から導かれる代替の「ホワイトボックス」アーキテクチャを提案する。このパラダイムの下では、事前訓練されたネットワークと新しいデータクラスが与えられた場合、我々のアプローチは、すべての過去のクラスと新しいクラスとの共同トレーニングをエミュレートする新しいネットワークを構築することができることを示す。
論文参考訳（メタデータ） (2020-11-30T07:23:55Z)
Generalized Few-Shot Video Classification with Video Retrieval and Feature Generation [132.82884193921535]
従来の手法は,映像特徴学習の重要性を過小評価し,二段階的アプローチを提案する。この単純なベースラインアプローチは、既存のベンチマークで20ポイント以上の精度で、以前の数ショットビデオ分類方法よりも優れていることを示す。さらなる改善をもたらす2つの新しいアプローチを提案する。
論文参考訳（メタデータ） (2020-07-09T13:05:32Z)
Self-Supervised Learning Aided Class-Incremental Lifelong Learning [17.151579393716958]
クラスインクリメンタルラーニング(Class-IL)における破滅的忘れの問題について検討する。クラスILの訓練手順では、モデルが次のタスクについて知識を持っていないため、これまで学習してきたタスクに必要な特徴のみを抽出し、その情報は共同分類に不十分である。本稿では,ラベルを必要とせずに効果的な表現を提供する自己教師型学習と,この問題を回避するためのクラスILを組み合わせることを提案する。
論文参考訳（メタデータ） (2020-06-10T15:15:27Z)
Incremental Learning In Online Scenario [8.885829189810197]
現在の最先端の漸進的な学習手法では、新しいクラスが追加されるたびにモデルをトレーニングするのに長い時間がかかる。本稿では,挑戦的なオンライン学習シナリオで機能するインクリメンタルラーニングフレームワークを提案する。
論文参考訳（メタデータ） (2020-03-30T02:24:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。