論文の概要: Neural Architecture Search of Deep Priors: Towards Continual Learning without Catastrophic Interference

• arxiv url: http://arxiv.org/abs/2104.06788v1
• Date: Wed, 14 Apr 2021 11:25:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-15 13:11:19.212436
• Title: Neural Architecture Search of Deep Priors: Towards Continual Learning without Catastrophic Interference
• Title（参考訳）: 深層事前学習のニューラルアーキテクチャ探索 : 破滅的干渉を伴わない連続学習に向けて
• Authors: Martin Mundt, Iuliia Pliushch, Visvanathan Ramesh
• Abstract要約: 我々は, 線形分類を完全訓練された深層構造と同等に行うことができるような, より深い事前のランダムな重み構造を見つけることができることを示す。 連続学習の拡張として, 破滅的干渉のないインクリメンタル学習の可能性を検討する。
• 参考スコア（独自算出の注目度）: 2.922007656878633
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper we analyze the classification performance of neural network structures without parametric inference. Making use of neural architecture search, we empirically demonstrate that it is possible to find random weight architectures, a deep prior, that enables a linear classification to perform on par with fully trained deep counterparts. Through ablation experiments, we exclude the possibility of winning a weight initialization lottery and confirm that suitable deep priors do not require additional inference. In an extension to continual learning, we investigate the possibility of catastrophic interference free incremental learning. Under the assumption of classes originating from the same data distribution, a deep prior found on only a subset of classes is shown to allow discrimination of further classes through training of a simple linear classifier.
• Abstract（参考訳）: 本稿では,パラメトリック推論を伴わないニューラルネットワーク構造の分類性能を解析する。 ニューラルネットワーク探索を用いることで、線形分類が完全に訓練された深層アーキテクチャと同等に実行できるような、より深い事前のランダムウェイトアーキテクチャを見つけることが可能であることを実証的に実証する。 アブレーション実験により, 重み初期化抽選を勝ち取る可能性を排除し, 適切な深部事前化は追加の推論を必要としないことを確認した。 継続学習の拡張として、破滅的干渉のない漸進学習の可能性を検討する。 同じデータ分布に由来するクラスを仮定すると、単純な線形分類子を訓練することで、クラスのサブセットのみに現れる深い事前が示され、さらなるクラスの識別が可能になる。

関連論文リスト

• Unrolled denoising networks provably learn optimal Bayesian inference [54.79172096306631]
  我々は、近似メッセージパッシング(AMP)のアンロールに基づくニューラルネットワークの最初の厳密な学習保証を証明した。 圧縮センシングでは、製品から引き出されたデータに基づいてトレーニングを行うと、ネットワークの層がベイズAMPで使用されるのと同じデノイザーに収束することを示す。
  論文  参考訳（メタデータ） (2024-09-19T17:56:16Z)
• Continual learning with the neural tangent ensemble [0.6137178191238463]
  Nパラメータを持つニューラルネットワークは、N分類器の重み付けアンサンブルとして解釈できることを示す。 過去のデータから各専門家の確率と後続確率を導出する。 驚くべきことに、これらの専門家の後方更新はスケール化され、予測される勾配降下と等価であることがわかった。
  論文  参考訳（メタデータ） (2024-08-30T16:29:09Z)
• Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
  本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。 提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-06-21T01:43:25Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Do We Really Need a Learnable Classifier at the End of Deep Neural Network? [118.18554882199676]
  本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。 実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-17T04:34:28Z)
• How does unlabeled data improve generalization in self-training? A one-hidden-layer theoretical analysis [93.37576644429578]
  この研究は、既知の反復的自己学習パラダイムに関する最初の理論的分析を確立する。 トレーニング収束と一般化能力の両面で、ラベルなしデータの利点を実証する。 また、浅部ニューラルネットワークから深部ニューラルネットワークへの実験は、我々の確立した自己学習に関する理論的知見の正しさを正当化するものである。
  論文  参考訳（メタデータ） (2022-01-21T02:16:52Z)
• Deep Learning with Nonsmooth Objectives [0.0]
  人工ニューラルネットワークのトレーニングにおける最大ノルムに基づく非滑らかな損失関数の利用の可能性を探る。 トレーニングデータが非常に小さいか、バランスの取れていない特別な場合において、このことが優れた分類結果をもたらす可能性があると推測する。
  論文  参考訳（メタデータ） (2021-07-14T02:01:53Z)
• Theoretical Analysis of Self-Training with Deep Networks on Unlabeled Data [48.4779912667317]
  自己学習アルゴリズムは、ニューラルネットワークを使ってラベルのないデータで学ぶことに成功している。 この研究は、半教師なし学習、教師なしドメイン適応、教師なし学習のための深層ネットワークによる自己学習の統一的理論的解析を提供する。
  論文  参考訳（メタデータ） (2020-10-07T19:43:55Z)
• An analytic theory of shallow networks dynamics for hinge loss classification [14.323962459195771]
  我々は、単純なタイプのニューラルネットワーク(分類タスクを実行するために訓練された単一の隠れ層)のトレーニングダイナミクスについて研究する。 我々はこの理論を線形分離可能なデータセットと線形ヒンジ損失のプロトタイプケースに特化する。 これにより、トレーニングダイナミクスの減速、リッチラーニングと遅延ラーニングのクロスオーバー、オーバーフィッティングといった、現代のネットワークに現れるいくつかの現象に対処することが可能になります。
  論文  参考訳（メタデータ） (2020-06-19T16:25:29Z)
• Uncovering Coresets for Classification With Multi-Objective Evolutionary Algorithms [0.8057006406834467]
  coresetはトレーニングセットのサブセットであり、機械学習アルゴリズムが元のデータ全体にわたってトレーニングされた場合の成果と同じようなパフォーマンスを取得する。 候補コルセットは反復的に最適化され、サンプルの追加と削除が行われる。 多目的進化アルゴリズムは、集合内の点数と分類誤差を同時に最小化するために用いられる。
  論文  参考訳（メタデータ） (2020-02-20T09:59:56Z)
• Distance-Based Regularisation of Deep Networks for Fine-Tuning [116.71288796019809]
  我々は,仮説クラスを,初期訓練前の重みを中心にした小さな球面に制約するアルゴリズムを開発した。 実験的な評価は、我々のアルゴリズムがうまく機能していることを示し、理論的な結果を裏付けるものである。
  論文  参考訳（メタデータ） (2020-02-19T16:00:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。