論文の概要: Optimal Continual Learning has Perfect Memory and is NP-hard

• arxiv url: http://arxiv.org/abs/2006.05188v1
• Date: Tue, 9 Jun 2020 11:20:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 13:26:16.660335
• Title: Optimal Continual Learning has Perfect Memory and is NP-hard
• Title（参考訳）: 最適連続学習は完全記憶であり、NPハードである
• Authors: Jeremias Knoblauch, Hisham Husain, Tom Diethe
• Abstract要約: 連続学習(CL)アルゴリズムは、連続的に観察された複数のタスクにまたがる予測や表現を漸進的に学習する。 本論文は、その理由を説明する理論的アプローチを開発する。 悲惨な忘れ物を避けるために,CLアルゴリズムが持つ計算特性を導出する。
• 参考スコア（独自算出の注目度）: 19.629732320437856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual Learning (CL) algorithms incrementally learn a predictor or representation across multiple sequentially observed tasks. Designing CL algorithms that perform reliably and avoid so-called catastrophic forgetting has proven a persistent challenge. The current paper develops a theoretical approach that explains why. In particular, we derive the computational properties which CL algorithms would have to possess in order to avoid catastrophic forgetting. Our main finding is that such optimal CL algorithms generally solve an NP-hard problem and will require perfect memory to do so. The findings are of theoretical interest, but also explain the excellent performance of CL algorithms using experience replay, episodic memory and core sets relative to regularization-based approaches.
• Abstract（参考訳）: 連続学習(CL)アルゴリズムは、連続的に観察された複数のタスクにまたがる予測や表現を漸進的に学習する。 CLアルゴリズムを確実に動作させ、いわゆる破滅的忘れを避けることは、永続的な課題である。 本稿では,その理由を説明する理論的アプローチを考案する。 特に、悲惨な忘れ物を避けるために、CLアルゴリズムが保持しなければならない計算特性を導出する。 我々の主な発見は、このような最適CLアルゴリズムが一般にNPハード問題を解き、それを行うには完全なメモリを必要とすることである。 この結果は理論的な関心を抱くだけでなく、経験的リプレイ、エピソードメモリ、および正規化に基づくアプローチに対するコアセットを用いたCLアルゴリズムの優れた性能も説明できる。

関連論文リスト

• A General Online Algorithm for Optimizing Complex Performance Metrics [5.726378955570775]
  我々は,バイナリ,マルチクラス,マルチラベルの分類問題において,様々な複雑なパフォーマンス指標を用いて,直接的に使用可能な汎用オンラインアルゴリズムを導入,分析する。 アルゴリズムの更新と予測のルールは、過去のデータを保存することなく、非常にシンプルで計算的に効率的である。
  論文  参考訳（メタデータ） (2024-06-20T21:24:47Z)
• Continual Learning on a Diet: Learning from Sparsely Labeled Streams Under Constrained Computation [123.4883806344334]
  本研究では,学習アルゴリズムが学習段階ごとに制限された計算予算を付与する,現実的な連続学習環境について検討する。 この設定を,スパースラベル率の高い大規模半教師付き連続学習シナリオに適用する。 広範に分析と改善を行った結果,DietCLはラベル空間,計算予算,その他様々な改善の完全な範囲で安定していることがわかった。
  論文  参考訳（メタデータ） (2024-04-19T10:10:39Z)
• Sketch and shift: a robust decoder for compressive clustering [17.627195350266796]
  圧縮学習は、大規模学習のメモリフットプリントを大幅に削減する、新たなアプローチである。 CL-OMPRよりも大幅に改善された代替デコーダを提案する。 提案アルゴリズムは,従来より10倍小さいMNISTデータセットのスケッチからクラスタリング情報を抽出することができる。
  論文  参考訳（メタデータ） (2023-12-15T16:53:55Z)
• SALSA-CLRS: A Sparse and Scalable Benchmark for Algorithmic Reasoning [20.706469085872516]
  本稿では、CLRSアルゴリズム学習ベンチマークの拡張、スケーラビリティの優先順位付け、スパース表現の利用について紹介する。 我々のアプローチには、オリジナルのCLRSベンチマークからの適応アルゴリズムが含まれており、分散およびランダム化アルゴリズムの新たな問題が導入されている。
  論文  参考訳（メタデータ） (2023-09-21T16:57:09Z)
• Do Pre-trained Models Benefit Equally in Continual Learning? [25.959813589169176]
  既存の継続学習(CL)の研究は主に、ゼロから訓練されたモデルのアルゴリズムの開発に費やされている。 コントリビュートベンチマークのパフォーマンスは高いが、これらのアルゴリズムは現実のシナリオで劇的なパフォーマンス低下を示す。 本稿では,CLに対する事前学習の体系的導入を提唱する。
  論文  参考訳（メタデータ） (2022-10-27T18:03:37Z)
• Lifelong Bandit Optimization: No Prior and No Regret [70.94238868711952]
  我々は,過去の経験から学習することで環境に適応するアルゴリズムであるLIBOを開発した。 カーネルが未知だが、すべてのタスク間で共有されるカーネル構造を仮定する。 我々のアルゴリズムは、任意のカーネル化または線形バンディットアルゴリズムと組み合わせて、最適な性能を保証できる。
  論文  参考訳（メタデータ） (2022-10-27T14:48:49Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Learning to Hash Robustly, with Guarantees [79.68057056103014]
  本稿では,理論的アルゴリズムと本質的に一致する最悪ケース保証を持つハミング空間のためのNSアルゴリズムを設計する。 理論的にも実用的にも、与えられたデータセットに対してアルゴリズムが最適化できる能力を評価する。 我々のアルゴリズムは、MNISTおよびImageNetデータセットに対する最悪のパフォーマンスのクエリを、1.8倍と2.1倍の精度でリコールする。
  論文  参考訳（メタデータ） (2021-08-11T20:21:30Z)
• Double Coverage with Machine-Learned Advice [100.23487145400833]
  オンラインの基本的な$k$-serverの問題を学習強化環境で研究する。 我々のアルゴリズムは任意の k に対してほぼ最適の一貫性-破壊性トレードオフを達成することを示す。
  論文  参考訳（メタデータ） (2021-03-02T11:04:33Z)
• Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
  本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。 問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。 本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-07T08:00:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。