論文の概要: Plastic Learning with Deep Fourier Features

• arxiv url: http://arxiv.org/abs/2410.20634v1
• Date: Sun, 27 Oct 2024 23:38:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:21:42.240555
• Title: Plastic Learning with Deep Fourier Features
• Title（参考訳）: 深層フーリエ機能を用いたプラスチック学習
• Authors: Alex Lewandowski, Dale Schuurmans, Marlos C. Machado,
• Abstract要約: プラスチックのアルゴリズムに繋がる基本原理を特定します。 特に, 線形関数近似は, 深部線形ネットワークの特殊な場合と同様に, 可塑性の喪失に悩まされないことを示す理論的結果を提供する。 ディープ・ネットワークは、ディープ・フーリエの機能によって構成され、高度にトレーニング可能であり、学習過程を通じてトレーニング性を維持している。
• 参考スコア（独自算出の注目度）: 42.41137083374963
• License:
• Abstract: Deep neural networks can struggle to learn continually in the face of non-stationarity. This phenomenon is known as loss of plasticity. In this paper, we identify underlying principles that lead to plastic algorithms. In particular, we provide theoretical results showing that linear function approximation, as well as a special case of deep linear networks, do not suffer from loss of plasticity. We then propose deep Fourier features, which are the concatenation of a sine and cosine in every layer, and we show that this combination provides a dynamic balance between the trainability obtained through linearity and the effectiveness obtained through the nonlinearity of neural networks. Deep networks composed entirely of deep Fourier features are highly trainable and sustain their trainability over the course of learning. Our empirical results show that continual learning performance can be drastically improved by replacing ReLU activations with deep Fourier features. These results hold for different continual learning scenarios (e.g., label noise, class incremental learning, pixel permutations) on all major supervised learning datasets used for continual learning research, such as CIFAR10, CIFAR100, and tiny-ImageNet.
• Abstract（参考訳）: ディープニューラルネットワークは、非定常性に直面して継続的に学習するのに苦労する。 この現象は可塑性の喪失として知られている。 本稿では,プラスチックのアルゴリズムに繋がる基本原理について述べる。 特に, 線形関数近似は, 深部線形ネットワークの特殊な場合と同様に, 可塑性の喪失に悩まされないことを示す理論的結果を提供する。 次に,各層における正弦波と正弦波の結合である深いフーリエ特性を提案し,この組み合わせにより,線形性によるトレーニング容易性とニューラルネットワークの非線形性による有効性との動的バランスが得られることを示した。 ディープ・ネットワークは、ディープ・フーリエの機能によって構成され、高度にトレーニング可能であり、学習過程を通じてトレーニング性を維持している。 実験の結果,ReLUアクティベーションを深いフーリエ特徴に置き換えることで,連続的な学習性能を大幅に改善できることがわかった。 これらの結果は、CIFAR10, CIFAR100, little-ImageNetなどの連続学習研究に使用されるすべての主要な教師付き学習データセットに対して、異なる連続学習シナリオ(ラベルノイズ、クラスインクリメンタル学習、ピクセル置換など)を保持する。

関連論文リスト

• Robust Fourier Neural Networks [1.0589208420411014]
  フーリエ埋込層の後, 単純な対角層を導入することにより, ネットワークの騒音測定がより堅牢になることを示す。 特定の条件下では,フーリエ関数の非線形関数の雑音混合である関数も学習することができる。
  論文  参考訳（メタデータ） (2024-09-03T16:56:41Z)
• Disentangling the Causes of Plasticity Loss in Neural Networks [55.23250269007988]
  可塑性の喪失は複数の独立したメカニズムに分解できることを示す。 種々の非定常学習タスクにおいて, 層正規化と重み劣化の組み合わせは, 可塑性維持に極めて有効であることを示す。
  論文  参考訳（メタデータ） (2024-02-29T00:02:33Z)
• Why do Learning Rates Transfer? Reconciling Optimization and Scaling Limits for Deep Learning [77.82908213345864]
  学習速度伝達が$mu$Pとその深さ拡張の下では、トレーニング損失Hessianの最大の固有値がネットワークの幅と深さに大きく依存しているという事実から、経験的証拠が得られている。 ニューラル・タンジェント・カーネル(NTK)体制下では、シャープネスは異なるスケールで非常に異なるダイナミクスを示し、学習速度の伝達を妨げている。
  論文  参考訳（メタデータ） (2024-02-27T12:28:01Z)
• The Law of Parsimony in Gradient Descent for Learning Deep Linear Networks [34.85235641812005]
  我々は、データが低次元構造を持つ場合、学習力学において驚くべき「パシモニーの法則」を明らかにする。 この学習力学の単純さは、効率的なトレーニングとディープネットワークのより良い理解の両方に重大な影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2023-06-01T21:24:53Z)
• A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
  任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。 我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。 本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-16T20:06:01Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Functional Regularization for Reinforcement Learning via Learned Fourier Features [98.90474131452588]
  本稿では、入力を学習されたフーリエベースに埋め込むことにより、深層強化学習のための簡単なアーキテクチャを提案する。 その結果、状態ベースと画像ベースの両方のRLのサンプル効率が向上することがわかった。
  論文  参考訳（メタデータ） (2021-12-06T18:59:52Z)
• Over-parametrized neural networks as under-determined linear systems [31.69089186688224]
  単純なニューラルネットワークがトレーニング損失をゼロにできるのは当然のことだ。 ReLUアクティベーション関数に典型的に関連付けられたカーネルには、根本的な欠陥があることが示される。 本稿では,ReLUの落とし穴を避けるための新たなアクティベーション関数を提案する。
  論文  参考訳（メタデータ） (2020-10-29T21:43:00Z)
• The Surprising Simplicity of the Early-Time Learning Dynamics of Neural Networks [43.860358308049044]
  研究において、これらの共通認識は、学習の初期段階において完全に誤りであることを示す。 この驚くべき単純さは、畳み込みアーキテクチャを持つより多くのレイヤを持つネットワークで持続することができる、と私たちは主張する。
  論文  参考訳（メタデータ） (2020-06-25T17:42:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。