論文の概要: Generalisation Guarantees for Continual Learning with Orthogonal Gradient Descent

• arxiv url: http://arxiv.org/abs/2006.11942v4
• Date: Fri, 4 Dec 2020 09:23:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 11:48:48.589232
• Title: Generalisation Guarantees for Continual Learning with Orthogonal Gradient Descent
• Title（参考訳）: 直交グラディエントによる連続学習のための一般化保証
• Authors: Mehdi Abbana Bennani, Thang Doan, Masashi Sugiyama
• Abstract要約: 継続的な学習環境では、深いニューラルネットワークは破滅的な予測をしがちである。 本稿では,ニューラルタンジェントカーネルシステムにおける連続学習アルゴリズムの理論的枠組みを提案する。
• 参考スコア（独自算出の注目度）: 81.29979864862081
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In Continual Learning settings, deep neural networks are prone to Catastrophic Forgetting. Orthogonal Gradient Descent was proposed to tackle the challenge. However, no theoretical guarantees have been proven yet. We present a theoretical framework to study Continual Learning algorithms in the Neural Tangent Kernel regime. This framework comprises closed form expression of the model through tasks and proxies for Transfer Learning, generalisation and tasks similarity. In this framework, we prove that OGD is robust to Catastrophic Forgetting then derive the first generalisation bound for SGD and OGD for Continual Learning. Finally, we study the limits of this framework in practice for OGD and highlight the importance of the Neural Tangent Kernel variation for Continual Learning with OGD.
• Abstract（参考訳）: 継続的学習では、ディープニューラルネットワークは破滅的な忘れがちである。 この課題に取り組むために直交勾配降下が提案された。 しかし、理論的な保証はまだ証明されていない。 本稿では,ニューラルタンジェントカーネルシステムにおける連続学習アルゴリズムの理論的枠組みを提案する。 このフレームワークは、伝達学習、一般化、タスク類似性のためのタスクおよびプロキシを通じてモデルのクローズドフォーム表現を含む。 この枠組みでは、OGDが破滅的フォーッティングに対して堅牢であることを証明し、SGD と OGD の連続学習に対する最初の一般化を導出する。 最後に,本手法の限界について検討し,ogdを用いた連続学習における神経接核変動の重要性を強調する。

関連論文リスト

• Parameter-Efficient Fine-Tuning for Continual Learning: A Neural Tangent Kernel Perspective [125.00228936051657]
  本稿では,タスク関連機能を適応的に生成しながら,タスク固有のパラメータ記憶を不要にする新しいフレームワークNTK-CLを紹介する。 最適化可能なパラメータを適切な正規化で微調整することにより、NTK-CLは確立されたPEFT-CLベンチマーク上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-07-24T09:30:04Z)
• Compositional Curvature Bounds for Deep Neural Networks [7.373617024876726]
  安全クリティカルなアプリケーションにおけるニューラルネットワークの普及を脅かす重要な課題は、敵の攻撃に対する脆弱性である。 本研究では, 連続的に微分可能な深層ニューラルネットワークの2次挙動について検討し, 対向摂動に対する堅牢性に着目した。 ニューラルネットワークの第2微分の証明可能な上界を解析的に計算する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-07T17:50:15Z)
• An Infinite-Width Analysis on the Jacobian-Regularised Training of a Neural Network [10.384951432591492]
  深部ニューラルネットワークの無限幅限界における最近の理論的分析により、ネットワークの初期化、特徴学習、トレーニングに対する理解が深まりました。 この無限幅解析は、ディープニューラルネットワークのヤコビアンにまで拡張可能であることを示す。 我々は、広い有限ネットワークに対する理論的主張の関連性を実験的に示し、核回帰解の性質を実験的に解析し、ヤコビアン正則化の洞察を得る。
  論文  参考訳（メタデータ） (2023-12-06T09:52:18Z)
• Efficient kernel surrogates for neural network-based regression [0.8030359871216615]
  ニューラルタンジェントカーネル(NTK)の効率的な近似である共役カーネル(CK)の性能について検討する。 CK性能がNTKよりもわずかに劣っていることを示し、特定の場合において、CK性能が優れていることを示す。 NTKの代わりにCKを使用するための理論的基盤を提供するだけでなく,DNNの精度を安価に向上するためのレシピを提案する。
  論文  参考訳（メタデータ） (2023-10-28T06:41:47Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• Stability & Generalisation of Gradient Descent for Shallow Neural Networks without the Neural Tangent Kernel [19.4934492061353]
  我々はニューラル・タンジェント・カーネル(NTK)やポリアック・ロジャシエヴィチ(PL)の仮定を使わずに新しい一般化と過剰なリスク境界を証明した。 本稿では,GDの一般化と過剰リスクが,初期化から最も短いGD経路を持つ補間ネットワークによって制御されていることを示すオラクル型境界を示す。 NTKに基づくほとんどの分析とは異なり、ラベルノイズによる回帰に注目し、早期停止を伴うGDが一貫したことを示す。
  論文  参考訳（メタデータ） (2021-07-27T10:53:15Z)
• Developing Constrained Neural Units Over Time [81.19349325749037]
  本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。 ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。 提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
  論文  参考訳（メタデータ） (2020-09-01T09:07:25Z)
• An Ode to an ODE [78.97367880223254]
  我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。 この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
  論文  参考訳（メタデータ） (2020-06-19T22:05:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。