論文の概要: Optimal Continual Learning has Perfect Memory and is NP-hard
- arxiv url: http://arxiv.org/abs/2006.05188v1
- Date: Tue, 9 Jun 2020 11:20:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-23 13:26:16.660335
- Title: Optimal Continual Learning has Perfect Memory and is NP-hard
- Title(参考訳): 最適連続学習は完全記憶であり、NPハードである
- Authors: Jeremias Knoblauch, Hisham Husain, Tom Diethe
- Abstract要約: 連続学習(CL)アルゴリズムは、連続的に観察された複数のタスクにまたがる予測や表現を漸進的に学習する。
本論文は、その理由を説明する理論的アプローチを開発する。
悲惨な忘れ物を避けるために,CLアルゴリズムが持つ計算特性を導出する。
- 参考スコア(独自算出の注目度): 19.629732320437856
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual Learning (CL) algorithms incrementally learn a predictor or
representation across multiple sequentially observed tasks. Designing CL
algorithms that perform reliably and avoid so-called catastrophic forgetting
has proven a persistent challenge. The current paper develops a theoretical
approach that explains why. In particular, we derive the computational
properties which CL algorithms would have to possess in order to avoid
catastrophic forgetting. Our main finding is that such optimal CL algorithms
generally solve an NP-hard problem and will require perfect memory to do so.
The findings are of theoretical interest, but also explain the excellent
performance of CL algorithms using experience replay, episodic memory and core
sets relative to regularization-based approaches.
- Abstract(参考訳): 連続学習(CL)アルゴリズムは、連続的に観察された複数のタスクにまたがる予測や表現を漸進的に学習する。
CLアルゴリズムを確実に動作させ、いわゆる破滅的忘れを避けることは、永続的な課題である。
本稿では,その理由を説明する理論的アプローチを考案する。
特に、悲惨な忘れ物を避けるために、CLアルゴリズムが保持しなければならない計算特性を導出する。
我々の主な発見は、このような最適CLアルゴリズムが一般にNPハード問題を解き、それを行うには完全なメモリを必要とすることである。
この結果は理論的な関心を抱くだけでなく、経験的リプレイ、エピソードメモリ、および正規化に基づくアプローチに対するコアセットを用いたCLアルゴリズムの優れた性能も説明できる。
関連論文リスト
- Sketch and shift: a robust decoder for compressive clustering [6.925686008876193]
圧縮学習は、大規模学習のメモリフットプリントを大幅に削減する、新たなアプローチである。
CL-OMPRよりも大幅に改善された代替デコーダを提案する。
提案アルゴリズムは,従来より10倍小さいMNISTデータセットのスケッチからクラスタリング情報を抽出することができる。
論文 参考訳(メタデータ) (2023-12-15T16:53:55Z) - SALSA-CLRS: A Sparse and Scalable Benchmark for Algorithmic Reasoning [20.706469085872516]
本稿では、CLRSアルゴリズム学習ベンチマークの拡張、スケーラビリティの優先順位付け、スパース表現の利用について紹介する。
我々のアプローチには、オリジナルのCLRSベンチマークからの適応アルゴリズムが含まれており、分散およびランダム化アルゴリズムの新たな問題が導入されている。
論文 参考訳(メタデータ) (2023-09-21T16:57:09Z) - Efficient Convex Algorithms for Universal Kernel Learning [50.877957471649395]
カーネルの理想的な集合: 線形パラメータ化(トラクタビリティ)を認める; すべてのカーネルの集合に密着する(正確性)。
従来のカーネル最適化アルゴリズムは分類に限られており、計算に複雑なセミデフィニティプログラミング(SDP)アルゴリズムに依存していた。
本稿では,従来のSDP手法と比較して計算量を大幅に削減するSVD-QCQPQPアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-04-15T04:57:37Z) - Do Pre-trained Models Benefit Equally in Continual Learning? [22.457562524649934]
既存の継続学習(CL)の研究は主に、ゼロから訓練されたモデルのアルゴリズムの開発に費やされている。
コントリビュートベンチマークのパフォーマンスは高いが、これらのアルゴリズムは現実のシナリオで劇的なパフォーマンス低下を示す。
本稿では,CLに対する事前学習の体系的導入を提唱する。
論文 参考訳(メタデータ) (2022-10-27T18:03:37Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳(メタデータ) (2022-10-02T05:03:38Z) - Is Continual Learning Truly Learning Representations Continually? [68.81762258285767]
学習した表現に有意義な違いを与える唯一の選択肢は、メモリ使用量の増加であることを示す。
驚くべきことに、十分なメモリサイズを持つ教師なし(あるいは自己教師付き)CLは、教師付き(あるいは自己教師付き)CLと同等のパフォーマンスを達成できる。
論文 参考訳(メタデータ) (2022-06-16T11:44:11Z) - Learning to Hash Robustly, with Guarantees [79.68057056103014]
本稿では,理論的アルゴリズムと本質的に一致する最悪ケース保証を持つハミング空間のためのNSアルゴリズムを設計する。
理論的にも実用的にも、与えられたデータセットに対してアルゴリズムが最適化できる能力を評価する。
我々のアルゴリズムは、MNISTおよびImageNetデータセットに対する最悪のパフォーマンスのクエリを、1.8倍と2.1倍の精度でリコールする。
論文 参考訳(メタデータ) (2021-08-11T20:21:30Z) - Double Coverage with Machine-Learned Advice [100.23487145400833]
オンラインの基本的な$k$-serverの問題を学習強化環境で研究する。
我々のアルゴリズムは任意の k に対してほぼ最適の一貫性-破壊性トレードオフを達成することを示す。
論文 参考訳(メタデータ) (2021-03-02T11:04:33Z) - Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。
問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。
本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-01-07T08:00:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。