論文の概要: Spectral Neural Networks: Approximation Theory and Optimization Landscape

• arxiv url: http://arxiv.org/abs/2310.00729v1
• Date: Sun, 1 Oct 2023 17:03:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 02:16:56.601467
• Title: Spectral Neural Networks: Approximation Theory and Optimization Landscape
• Title（参考訳）: スペクトルニューラルネットワーク:近似理論と最適化の展望
• Authors: Chenghui Li, Rishi Sonthalia, Nicolas Garcia Trillos
• Abstract要約: 本稿では,SNN(Spectral Neural Network)トレーニングの重要な理論的側面について述べる。 まず、ニューロンの数とニューラルネットワークが学習するスペクトル情報の量とのトレードオフに関する定量的知見を示す。
• 参考スコア（独自算出の注目度）: 6.967392207053043
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There is a large variety of machine learning methodologies that are based on the extraction of spectral geometric information from data. However, the implementations of many of these methods often depend on traditional eigensolvers, which present limitations when applied in practical online big data scenarios. To address some of these challenges, researchers have proposed different strategies for training neural networks as alternatives to traditional eigensolvers, with one such approach known as Spectral Neural Network (SNN). In this paper, we investigate key theoretical aspects of SNN. First, we present quantitative insights into the tradeoff between the number of neurons and the amount of spectral geometric information a neural network learns. Second, we initiate a theoretical exploration of the optimization landscape of SNN's objective to shed light on the training dynamics of SNN. Unlike typical studies of convergence to global solutions of NN training dynamics, SNN presents an additional complexity due to its non-convex ambient loss function.
• Abstract（参考訳）: データからスペクトル幾何学的情報の抽出に基づく機械学習手法は多種多様である。 しかし、これらの手法の実装の多くは従来の固有解法に依存しており、実際のオンラインビッグデータシナリオに適用した場合に制限が生じる。 これらの課題のいくつかに対処するために、研究者は従来の固有解法に代わるものとしてニューラルネットワークを訓練するための異なる戦略を提案している。 本稿では,SNNの重要な理論的側面について考察する。 まず,ニューロンの数と,ニューラルネットワークが学習するスペクトル幾何学的情報の量とのトレードオフに関する定量的知見を示す。 第2に、SNNのトレーニング力学を光を当てるために、SNNの目的の最適化ランドスケープを理論的に探求する。 NNトレーニングダイナミクスのグローバルな解への収束に関する典型的な研究とは異なり、SNNは非凸環境損失関数によってさらに複雑になる。

関連論文リスト

• Evolutionary Spiking Neural Networks: A Survey [21.27024959576232]
  従来のニューラルネットワーク(ANN)に代わる計算効率の良い代替手段として、スパイキングニューラルネットワーク(SNN)が注目を集めている。 ユニークな情報伝達機構とSNNニューロンモデルの複雑さは、ANN向けに開発された従来の手法をSNNに適用するための課題を提起する。 近年,これらの課題に対処するために進化的計算手法を利用した新しいパラダイムが出現している。
  論文  参考訳（メタデータ） (2024-06-18T12:27:55Z)
• Direct Training High-Performance Deep Spiking Neural Networks: A Review of Theories and Methods [33.377770671553336]
  スパイキングニューラルネットワーク(SNN)は、人工ニューラルネットワーク(ANN)の代替として有望なエネルギー効率を提供する 本稿では,より深いSNNを高い性能で訓練するための理論と手法を要約する新しい視点を提供する。
  論文  参考訳（メタデータ） (2024-05-06T09:58:54Z)
• Deep Neural Networks via Complex Network Theory: a Perspective [3.1023851130450684]
  ディープニューラルネットワーク(DNN)は、リンクと頂点が反復的にデータを処理し、タスクを亜最適に解くグラフとして表現することができる。複雑なネットワーク理論(CNT)は、統計物理学とグラフ理論を融合させ、その重みとニューロン構造を分析してニューラルネットワークを解釈する方法を提供する。 本研究では,DNNのトレーニング分布から抽出した測定値を用いて既存のCNTメトリクスを拡張し,純粋なトポロジカル解析からディープラーニングの解釈可能性へ移行する。
  論文  参考訳（メタデータ） (2024-04-17T08:42:42Z)
• Deeper or Wider: A Perspective from Optimal Generalization Error with Sobolev Loss [2.07180164747172]
  より深いニューラルネットワーク(DeNN)と、柔軟な数のレイヤと、限られた隠れたレイヤを持つより広いニューラルネットワーク(WeNN)を比較します。 より多くのパラメータがWeNNを好む傾向にあるのに対し、サンプルポイントの増加と損失関数の規則性の向上は、DeNNの採用に傾いている。
  論文  参考訳（メタデータ） (2024-01-31T20:10:10Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• On the Study of Sample Complexity for Polynomial Neural Networks [13.265045615849099]
  様々な種類のニューラルネットワークアーキテクチャの中で、サンプルニューラルネットワーク(PNN)は近年、スペクトル分析によって分析可能であることが示されている。 本稿では,従来の文献をPNNに拡張し,PNNのサンプル複雑性に関する新たな結果を得る。
  論文  参考訳（メタデータ） (2022-07-18T19:10:53Z)
• Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
  我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。 本稿では,関係データに対するKENNの拡張を提案する。
  論文  参考訳（メタデータ） (2022-05-31T13:00:34Z)
• The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
  PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
  論文  参考訳（メタデータ） (2022-02-27T23:12:43Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。