論文の概要: A Modified Batch Intrinsic Plasticity Method for Pre-training the Random
Coefficients of Extreme Learning Machines
- arxiv url: http://arxiv.org/abs/2103.08042v1
- Date: Sun, 14 Mar 2021 21:23:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-16 13:42:52.515677
- Title: A Modified Batch Intrinsic Plasticity Method for Pre-training the Random
Coefficients of Extreme Learning Machines
- Title（参考訳）: エクストリームラーニングマシンのランダム係数の事前学習のための修正バッチ内在可塑性手法
- Authors: Suchuan Dong, Zongwei Li
- Abstract要約: 極端な学習機械(elm)では、隠れ層係数はランダムに設定され固定され、ニューラルネットワークの出力層係数は最小二乗法で計算される。
ELMニューラルネットワークのランダム係数を事前学習するための改良型バッチ固有可塑性法(modBIP)を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In extreme learning machines (ELM) the hidden-layer coefficients are randomly
set and fixed, while the output-layer coefficients of the neural network are
computed by a least squares method. The randomly-assigned coefficients in ELM
are known to influence its performance and accuracy significantly. In this
paper we present a modified batch intrinsic plasticity (modBIP) method for
pre-training the random coefficients in the ELM neural networks. The current
method is devised based on the same principle as the batch intrinsic plasticity
(BIP) method, namely, by enhancing the information transmission in every node
of the neural network. It differs from BIP in two prominent aspects. First,
modBIP does not involve the activation function in its algorithm, and it can be
applied with any activation function in the neural network. In contrast, BIP
employs the inverse of the activation function in its construction, and
requires the activation function to be invertible (or monotonic). The modBIP
method can work with the often-used non-monotonic activation functions (e.g.
Gaussian, swish, Gaussian error linear unit, and radial-basis type functions),
with which BIP breaks down. Second, modBIP generates target samples on random
intervals with a minimum size, which leads to highly accurate computation
results when combined with ELM. The combined ELM/modBIP method is markedly more
accurate than ELM/BIP in numerical simulations. Ample numerical experiments are
presented with shallow and deep neural networks for function approximation and
boundary/initial value problems with partial differential equations. They
demonstrate that the combined ELM/modBIP method produces highly accurate
simulation results, and that its accuracy is insensitive to the
random-coefficient initializations in the neural network. This is in sharp
contrast with the ELM results without pre-training of the random coefficients.
- Abstract（参考訳）: 極端な学習機械(elm)では、隠れ層係数はランダムに設定され固定され、ニューラルネットワークの出力層係数は最小二乗法で計算される。
ELMのランダム割り当て係数は、その性能と精度に大きく影響することが知られています。
本稿では,ELMニューラルネットワークの乱数係数を前訓練するための修正バッチ内在可塑性(modBIP)法を提案する。
本手法は,ニューラルネットワークの各ノードにおける情報伝達を強化することにより,バッチ固有可塑性(BIP)法と同じ原理に基づいて考案されている。
BIPとは2つの点で異なる。
第一に、modbipはそのアルゴリズムでアクティベーション関数を含まず、ニューラルネットワークの任意のアクティベーション関数に適用することができる。
対照的に、BIPはその構成において活性化関数の逆を使い、活性化関数は可逆性(あるいは単調性)を必要とする。
modBIPメソッドは、しばしば使用される非モノトニック活性化関数(例えば)で動作する。
Gaussian, swish, Gaussian error linear unit, and radial-basis type function)。
第2に、modBIPは最小サイズのランダム間隔でターゲットサンプルを生成し、EMMと組み合わせると高精度な計算結果が得られる。
ELM/modBIP法は数値シミュレーションにおいてEMM/BIP法よりも著しく精度が高い。
関数近似のための浅層および深層ニューラルネットワークと偏微分方程式を用いた境界/初期値問題について, 数値実験を行った。
ELM/modBIP法を組み合わせることで高精度なシミュレーション結果が得られ,その精度はニューラルネットワークのランダム係数初期化に不感であることが実証された。
これは、ランダム係数の事前学習を行わないEMM結果と鋭い対比である。
関連論文リスト
- Emergence in non-neural models: grokking modular arithmetic via average gradient outer product [16.911836722312152]
グラッキングはニューラルネットワークや勾配降下に基づく最適化に特有ではないことを示す。
この現象はRecursive Feature Machinesを用いてモジュラー算術を学習する際に発生する。
この結果から,タスク関連の特徴を学習することで,創発が純粋に引き起こされることが示された。
論文 参考訳（メタデータ） (2024-07-29T17:28:58Z) - A Nonoverlapping Domain Decomposition Method for Extreme Learning Machines: Elliptic Problems [0.0]
エクストリーム・ラーニング・マシン(ELM)は、単一層フィードフォワードニューラルネットワークを用いて偏微分方程式(PDE)を解く手法である。
本稿では,EMMのトレーニング時間を短縮するだけでなく,並列計算にも適する非重複領域分解法(DDM)を提案する。
論文 参考訳（メタデータ） (2024-06-22T23:25:54Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Mixed Precision Low-bit Quantization of Neural Network Language Models
for Speech Recognition [67.95996816744251]
長期間のメモリリカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端言語モデル(LM)は、実用アプリケーションではますます複雑で高価なものになりつつある。
現在の量子化法は、均一な精度に基づいており、量子化誤差に対するLMの異なる部分での様々な性能感度を考慮できない。
本稿では,新しい混合精度ニューラルネットワークLM量子化法を提案する。
論文 参考訳（メタデータ） (2021-11-29T12:24:02Z) - Efficient and Robust Mixed-Integer Optimization Methods for Training
Binarized Deep Neural Networks [0.07614628596146598]
二元活性化関数と連続または整数重み付きディープニューラルネットワーク(BDNN)について検討する。
BDNNは、古典的な混合整数計画解法により、大域的最適性に解けるような、有界な重み付き混合整数線形プログラムとして再構成可能であることを示す。
トレーニング中にBDNNの堅牢性を強制するロバストモデルが初めて提示される。
論文 参考訳（メタデータ） (2021-10-21T18:02:58Z) - Multi-Sample Online Learning for Spiking Neural Networks based on
Generalized Expectation Maximization [42.125394498649015]
スパイキングニューラルネットワーク(SNN)は、バイナリニューラルダイナミックアクティベーションを通じて処理することで、生物学的脳の効率の一部をキャプチャする。
本稿では, シナプス重みを共有しながら, 独立したスパイキング信号をサンプリングする複数のコンパートメントを活用することを提案する。
鍵となる考え方は、これらの信号を使ってログライクなトレーニング基準のより正確な統計的推定と勾配を求めることである。
論文 参考訳（メタデータ） (2021-02-05T16:39:42Z) - Local Extreme Learning Machines and Domain Decomposition for Solving
Linear and Nonlinear Partial Differential Equations [0.0]
本稿では線形偏微分方程式と非線形偏微分方程式の解法を提案する。
この手法は、極端学習機械(ELM)、ドメイン分解、局所ニューラルネットワークのアイデアを組み合わせたものである。
本稿では,DGM法(Deep Galerkin Method)とPINN(Physical-informed Neural Network)を精度と計算コストの観点から比較する。
論文 参考訳（メタデータ） (2020-12-04T23:19:39Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳（メタデータ） (2020-06-16T21:56:22Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。