論文の概要: A ZeNN architecture to avoid the Gaussian trap
- arxiv url: http://arxiv.org/abs/2505.20553v1
- Date: Mon, 26 May 2025 22:26:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-28 17:05:58.308042
- Title: A ZeNN architecture to avoid the Gaussian trap
- Title（参考訳）: ガウストラップを回避するZeNNアーキテクチャ
- Authors: Luís Carvalho, João L. Costa, José Mourão, Gonçalo Oliveira,
- Abstract要約: 我々は新しいシンプルなアーキテクチャであるゼータニューラルネットワーク(ZeNN)を提案する。
ZeNNは調和解析の3つの単純な原則にインスパイアされている。
無限幅の極限において、ZeNNは点的に収束する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a new simple architecture, Zeta Neural Networks (ZeNNs), in order to overcome several shortcomings of standard multi-layer perceptrons (MLPs). Namely, in the large width limit, MLPs are non-parametric, they do not have a well-defined pointwise limit, they lose non-Gaussian attributes and become unable to perform feature learning; moreover, finite width MLPs perform poorly in learning high frequencies. The new ZeNN architecture is inspired by three simple principles from harmonic analysis: i) Enumerate the perceptons and introduce a non-learnable weight to enforce convergence; ii) Introduce a scaling (or frequency) factor; iii) Choose activation functions that lead to near orthogonal systems. We will show that these ideas allow us to fix the referred shortcomings of MLPs. In fact, in the infinite width limit, ZeNNs converge pointwise, they exhibit a rich asymptotic structure beyond Gaussianity, and perform feature learning. Moreover, when appropriate activation functions are chosen, (finite width) ZeNNs excel at learning high-frequency features of functions with low dimensional domains.
- Abstract（参考訳）: 本稿では,MLPの欠点を克服するため,ZeNN(Zeta Neural Networks)を提案する。
すなわち、大きな幅制限では、MPPは非パラメトリックであり、適切に定義された点制限を持っておらず、非ガウス的属性を失い、特徴学習を行うことができない。
新しいZeNNアーキテクチャは、調和分析の3つのシンプルな原則にインスパイアされている。
一 コンバージェンスを強制するために知覚を列挙し、非学習可能な重量を導入すること。
二 スケーリング(又は周波数)要素を導入すること。
三 直交系に近づいた活性化機能を選択すること。
これらのアイデアは、MPPの言及された欠点を修正するのに役立ちます。
実際、無限幅の極限において、ZeNNは点収束し、ガウス性を超えた豊富な漸近構造を示し、特徴学習を行う。
さらに、適切なアクティベーション関数が選択されると、(有限幅)ZeNNは低次元領域を持つ関数の高周波特徴の学習に優れる。
関連論文リスト
- How Feature Learning Can Improve Neural Scaling Laws [79.59705237659547]
我々は,カーネル限界を超えたニューラルスケーリング法則の解法モデルを開発する。
モデルのサイズ、トレーニング時間、利用可能なデータの総量によるパフォーマンスのスケールアップ方法を示す。
論文 参考訳（メタデータ） (2024-09-26T14:05:32Z) - Metric-Entropy Limits on Nonlinear Dynamical System Learning [4.069144210024563]
本稿では,リプシッツ特性を満足する非線形系を学習し,計量エントロピーの最適方法で過去の入力を十分に早く忘れることのできるリカレントニューラルネットワーク(RNN)について述べる。
私たちが考えるシーケンス・ツー・シーケンス・マップの集合は、ディープ・ニューラルネットワーク近似理論において一般的に考慮される関数クラスよりもはるかに大きいので、洗練された計量エントロピー特性が必要である。
論文 参考訳（メタデータ） (2024-07-01T12:57:03Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳（メタデータ） (2023-05-30T19:37:44Z) - Successive Affine Learning for Deep Neural Networks [3.0069322256338906]
本稿では,深層ニューラルネットワーク(DNN)構築のための逐次学習(SAL)モデルを提案する。
提案したSALモデルはMGDLモデルから変異する。
論文 参考訳（メタデータ） (2023-05-13T20:30:58Z) - Graph Neural Networks are Inherently Good Generalizers: Insights by
Bridging GNNs and MLPs [71.93227401463199]
本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。
PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
論文 参考訳（メタデータ） (2022-12-18T08:17:32Z) - On Feature Learning in Neural Networks with Global Convergence
Guarantees [49.870593940818715]
勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。
入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。
また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
論文 参考訳（メタデータ） (2022-04-22T15:56:43Z) - Learning the Linear Quadratic Regulator from Nonlinear Observations [135.66883119468707]
我々は、LQR with Rich Observations(RichLQR)と呼ばれる連続制御のための新しい問題設定を導入する。
本設定では, 線形力学と二次的コストを有する低次元連続潜伏状態によって環境を要約する。
本結果は,システムモデルと一般関数近似における未知の非線形性を持つ連続制御のための,最初の証明可能なサンプル複雑性保証である。
論文 参考訳（メタデータ） (2020-10-08T07:02:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。