論文の概要: Incremental Learning via Rate Reduction

• arxiv url: http://arxiv.org/abs/2011.14593v1
• Date: Mon, 30 Nov 2020 07:23:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-06 15:03:59.394278
• Title: Incremental Learning via Rate Reduction
• Title（参考訳）: レート削減によるインクリメンタル学習
• Authors: Ziyang Wu, Christina Baek, Chong You, Yi Ma
• Abstract要約: 現在のディープラーニングアーキテクチャは、破滅的な忘れ込みに悩まされており、新しいクラスで漸進的にトレーニングされた時に、以前に学習したクラスの知識を保持することができません。 本稿では,ネットワークの各層をバック伝搬なしで明示的に計算する,レート低減の原理から導かれる代替の「ホワイトボックス」アーキテクチャを提案する。 このパラダイムの下では、事前訓練されたネットワークと新しいデータクラスが与えられた場合、我々のアプローチは、すべての過去のクラスと新しいクラスとの共同トレーニングをエミュレートする新しいネットワークを構築することができることを示す。
• 参考スコア（独自算出の注目度）: 26.323357617265163
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current deep learning architectures suffer from catastrophic forgetting, a failure to retain knowledge of previously learned classes when incrementally trained on new classes. The fundamental roadblock faced by deep learning methods is that deep learning models are optimized as "black boxes," making it difficult to properly adjust the model parameters to preserve knowledge about previously seen data. To overcome the problem of catastrophic forgetting, we propose utilizing an alternative "white box" architecture derived from the principle of rate reduction, where each layer of the network is explicitly computed without back propagation. Under this paradigm, we demonstrate that, given a pre-trained network and new data classes, our approach can provably construct a new network that emulates joint training with all past and new classes. Finally, our experiments show that our proposed learning algorithm observes significantly less decay in classification performance, outperforming state of the art methods on MNIST and CIFAR-10 by a large margin and justifying the use of "white box" algorithms for incremental learning even for sufficiently complex image data.
• Abstract（参考訳）: 現在のディープラーニングアーキテクチャは、新しいクラスで漸進的にトレーニングされた場合、以前の学習したクラスに関する知識の保持に失敗し、破滅的な忘れに苦しむ。 ディープラーニング手法が直面する基本的な障害は、ディープラーニングモデルが“ブラックボックス”として最適化されていることだ。 そこで本研究では,ネットワークの各層がバック伝搬を伴わずに明示的に計算される,レート低減の原理に基づく代替の「ホワイトボックス」アーキテクチャの活用を提案する。 このパラダイムの下では、事前学習されたネットワークと新しいデータクラスを前提として、過去のクラスと新しいクラスとの共同トレーニングをエミュレートする新しいネットワークを構築することができることを示す。 最後に,提案する学習アルゴリズムは分類性能の低下が著しく減少し,mnistとcifar-10のアートメソッドが有意な差を示し,複雑な画像データにおいても「ホワイトボックス」アルゴリズムを用いたインクリメンタル学習を正当化することを示した。

関連論文リスト

• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• Research on geometric figure classification algorithm based on Deep Learning [13.801161624212437]
  提案した幾何パターン認識アルゴリズムはトレーニングデータセットにおいて高速である。 認識過程において、クロスエントロピー損失関数を用いてモデルの一般化を改善する。
  論文  参考訳（メタデータ） (2024-04-25T12:18:04Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Continual Learning with Pretrained Backbones by Tuning in the Input Space [44.97953547553997]
  ディープラーニングモデルを非定常環境に適用することの本質的な困難さは、ニューラルネットワークの実際のタスクへの適用性を制限している。 ネットワークの事前学習部分の更新を回避し、通常の分類ヘッドだけでなく、新たに導入した学習可能なパラメータのセットも学習することで、微調整手順をより効果的にするための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2023-06-05T15:11:59Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Learning Large-scale Neural Fields via Context Pruned Meta-Learning [60.93679437452872]
  本稿では,大規模ニューラルネットワーク学習のための最適化に基づくメタラーニング手法を提案する。 メタテスト時間における勾配再スケーリングは、非常に高品質なニューラルネットワークの学習を可能にすることを示す。 我々のフレームワークは、モデルに依存しない、直感的で、実装が容易であり、幅広い信号に対する大幅な再構成改善を示す。
  論文  参考訳（メタデータ） (2023-02-01T17:32:16Z)
• Prototypical quadruplet for few-shot class incremental learning [24.814045065163135]
  改良されたコントラスト損失を用いて,より優れた埋め込み空間を同定し,分類ロバスト性を向上させる手法を提案する。 我々のアプローチは、新しいクラスで訓練された場合でも、埋め込み空間で以前獲得した知識を保っている。 提案手法の有効性は,新しいクラスでモデルを訓練した後,組込み空間がそのままであることを示すとともに,各セッションの精度で既存の最先端アルゴリズムより優れていることを示すことで実証する。
  論文  参考訳（メタデータ） (2022-11-05T17:19:14Z)
• Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
  現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。 ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。 さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
  論文  参考訳（メタデータ） (2020-12-31T08:21:37Z)
• Unbiased Deep Reinforcement Learning: A General Training Framework for Existing and Future Algorithms [3.7050607140679026]
  本稿では、概念的に理解可能で、強化学習のための全ての実行可能なアルゴリズムに一般化し易い、新しいトレーニングフレームワークを提案する。 我々はモンテカルロサンプリングを用いて生のデータ入力を実現し、マルコフ決定プロセスシーケンスを達成するためにバッチでそれらを訓練する。 我々は、典型的な離散的かつ連続的なシナリオを扱うために、新しいフレームワークに埋め込まれたアルゴリズムをいくつか提案する。
  論文  参考訳（メタデータ） (2020-05-12T01:51:08Z)
• Few-Shot Class-Incremental Learning [68.75462849428196]
  本稿では,FSCIL問題に焦点をあてる。 FSCIL は CNN モデルに対して,学習済みのクラスを忘れることなく,ラベル付きサンプルのごく少数から新たなクラスを漸進的に学習することを求めている。 我々は,異なるクラスで形成される特徴多様体のトポロジーを学習し,保存するニューラルネットワーク(NG)ネットワークを用いて,知識を表現する。
  論文  参考訳（メタデータ） (2020-04-23T03:38:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。