論文の概要: Neural network with optimal neuron activation functions based on additive Gaussian process regression

• arxiv url: http://arxiv.org/abs/2301.05567v1
• Date: Fri, 13 Jan 2023 14:19:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-16 14:08:59.511191
• Title: Neural network with optimal neuron activation functions based on additive Gaussian process regression
• Title（参考訳）: 加算ガウス過程回帰に基づく最適なニューロン活性化機能を持つニューラルネットワーク
• Authors: Sergei Manzhos, Manabu Ihara
• Abstract要約: より柔軟なニューロン活性化機能により、より少ない神経細胞や層を使用でき、表現力を向上させることができる。 加算ガウス過程回帰(GPR)は各ニューロンに特異的な最適なニューロン活性化関数を構築するのに有効であることを示す。 ニューラルネットワークパラメータの非線形フィッティングを回避するアプローチも導入されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Feed-forward neural networks (NN) are a staple machine learning method widely used in many areas of science and technology. While even a single-hidden layer NN is a universal approximator, its expressive power is limited by the use of simple neuron activation functions (such as sigmoid functions) that are typically the same for all neurons. More flexible neuron activation functions would allow using fewer neurons and layers and thereby save computational cost and improve expressive power. We show that additive Gaussian process regression (GPR) can be used to construct optimal neuron activation functions that are individual to each neuron. An approach is also introduced that avoids non-linear fitting of neural network parameters. The resulting method combines the advantage of robustness of a linear regression with the higher expressive power of a NN. We demonstrate the approach by fitting the potential energy surface of the water molecule. Without requiring any non-linear optimization, the additive GPR based approach outperforms a conventional NN in the high accuracy regime, where a conventional NN suffers more from overfitting.
• Abstract（参考訳）: フィードフォワードニューラルネットワーク(Feed-forward Neural Network, NN)は、科学や技術の多くの分野で広く使われている機械学習手法である。 単層NNでさえ普遍的な近似器であるが、その表現力は全てのニューロンで通常同じ単純なニューロン活性化関数(シグモイド関数など)を使用することによって制限される。 より柔軟なニューロン活性化機能により、ニューロンや層を減らし、計算コストを削減し、表現力を向上させることができる。 加算ガウス過程回帰(GPR)は各ニューロンに固有の最適なニューロン活性化関数を構築するのに有効であることを示す。 ニューラルネットワークパラメータの非線形適合を回避するアプローチも紹介されている。 その結果,線形回帰の強靭性の利点と,NNの高次表現力とを両立させることができた。 我々は水分子のポテンシャルエネルギー面を適合させることによってアプローチを実証する。 非線形最適化を一切必要とせずに、GPRに基づく付加的なアプローチは、従来のNNがオーバーフィッティングに苦しむ高精度なシステムにおいて、従来のNNよりも優れる。

関連論文リスト

• A More Accurate Approximation of Activation Function with Few Spikes Neurons [6.306126887439676]
  スパイキングニューラルネットワーク(SNN)はエネルギー効率のよいニューラルネットワークとして多くの注目を集めている。 従来のスパイキングニューロン、例えば漏れた統合・発火ニューロンは、複雑な非線形活性化関数を正確に表現することはできない。
  論文  参考訳（メタデータ） (2024-08-19T02:08:56Z)
• Fast gradient-free activation maximization for neurons in spiking neural networks [5.805438104063613]
  このようなループのための効率的な設計のフレームワークを提案する。 トレーニング中の人工ニューロンの最適刺激の変化を追跡する。 この洗練された最適刺激の形成は、分類精度の増大と関連している。
  論文  参考訳（メタデータ） (2023-12-28T18:30:13Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Orders-of-coupling representation with a single neural network with optimal neuron activation functions and without nonlinear parameter optimization [0.0]
  本稿では,ニューラルネットに最適なニューロン活性化機能を持たせることで,協調表現のニューラルネットワークモデルを容易に構築できることを述べる。 例としては、分子ポテンシャルエネルギー表面の表現がある。
  論文  参考訳（メタデータ） (2023-02-11T06:27:26Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Improving Spiking Neural Network Accuracy Using Time-based Neurons [0.24366811507669117]
  アナログニューロンを用いた低消費電力スパイクニューラルネットワークに基づくニューロモルフィックコンピューティングシステムの研究が注目されている。 技術のスケールダウンに伴い、アナログニューロンはスケールが難しく、電圧ヘッドルーム/ダイナミックレンジの減少と回路の非線形性に悩まされる。 本稿では,28nmプロセスで設計した既存の電流ミラー型電圧ドメインニューロンの非線形挙動をモデル化し,ニューロンの非線形性の影響によりSNN推定精度を著しく劣化させることができることを示す。 本稿では,時間領域のスパイクを処理し,線形性を大幅に向上させる新しいニューロンを提案する。
  論文  参考訳（メタデータ） (2022-01-05T00:24:45Z)
• Two-argument activation functions learn soft XOR operations like cortical neurons [6.88204255655161]
  本研究では,基底と円錐状デンドライトに類似した2つの入力引数で正準活性化関数を学習する。 顕著なことに、結果として生じる非線形性はしばしばソフトなXOR関数を生成する。 これらの非線形性を持つネットワークは、一致したパラメータ数を持つ従来のReLU非線形性よりも高速に学習し、性能が向上する。
  論文  参考訳（メタデータ） (2021-10-13T17:06:20Z)
• Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
  2層ニューラルネットワークによる関数近似について検討する。 この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
  論文  参考訳（メタデータ） (2021-07-14T03:03:56Z)
• Flexible Transmitter Network [84.90891046882213]
  現在のニューラルネットワークはMPモデルに基づいて構築されており、通常はニューロンを他のニューロンから受信した信号の実際の重み付け集約上での活性化関数の実行として定式化する。 本稿では,フレキシブル・トランスミッタ(FT)モデルを提案する。 本稿では、最も一般的な完全接続型フィードフォワードアーキテクチャ上に構築された、フレキシブルトランスミッタネットワーク(FTNet)について述べる。
  論文  参考訳（メタデータ） (2020-04-08T06:55:12Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。