論文の概要: Amplifying Sine Unit: An Oscillatory Activation Function for Deep Neural
Networks to Recover Nonlinear Oscillations Efficiently
- arxiv url: http://arxiv.org/abs/2304.09759v1
- Date: Tue, 18 Apr 2023 14:08:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-20 13:56:09.191056
- Title: Amplifying Sine Unit: An Oscillatory Activation Function for Deep Neural
Networks to Recover Nonlinear Oscillations Efficiently
- Title（参考訳）: 増幅正弦ユニット:非線形振動を効率的に回復するディープニューラルネットワークの発振活性化関数
- Authors: Jamshaid Ul Rahman, Faiza Makhdoom, Dianchen Lu
- Abstract要約: 本研究では,マイクロエレクトロメカニクスシステムにおける非線形振動を処理するために,応答層構造を持つディープニューラルネットワークに基づく手法を提案する。
我々は、複雑な振動系において、GCUよりも効率的なASUと呼ばれる新しい振動活性化関数Amplifying Sine Unitを提案している。
提案するアクティベーション関数ASUを用いた設計ネットワークは,非線形性や発振による課題に対処するため,信頼性が高く,堅牢であることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many industrial and real life problems exhibit highly nonlinear periodic
behaviors and the conventional methods may fall short of finding their
analytical or closed form solutions. Such problems demand some cutting edge
computational tools with increased functionality and reduced cost. Recently,
deep neural networks have gained massive research interest due to their ability
to handle large data and universality to learn complex functions. In this work,
we put forward a methodology based on deep neural networks with responsive
layers structure to deal nonlinear oscillations in microelectromechanical
systems. We incorporated some oscillatory and non oscillatory activation
functions such as growing cosine unit known as GCU, Sine, Mish and Tanh in our
designed network to have a comprehensive analysis on their performance for
highly nonlinear and vibrational problems. Integrating oscillatory activation
functions with deep neural networks definitely outperform in predicting the
periodic patterns of underlying systems. To support oscillatory actuation for
nonlinear systems, we have proposed a novel oscillatory activation function
called Amplifying Sine Unit denoted as ASU which is more efficient than GCU for
complex vibratory systems such as microelectromechanical systems. Experimental
results show that the designed network with our proposed activation function
ASU is more reliable and robust to handle the challenges posed by nonlinearity
and oscillations. To validate the proposed methodology, outputs of our networks
are being compared with the results from Livermore solver for ordinary
differential equation called LSODA. Further, graphical illustrations of
incurred errors are also being presented in the work.
- Abstract（参考訳）: 多くの産業的・現実的な問題は非常に非線形な周期的挙動を示しており、従来の手法は解析的あるいは閉形解を見つけるには不十分である。
このような問題には、機能の向上とコスト削減を伴う最先端の計算ツールが要求される。
近年、大規模データを扱う能力と複雑な関数を学習する普遍性によって、ディープニューラルネットワークは大きな研究関心を集めている。
本研究では,マイクロ電気機械系の非線形振動を扱うための応答性層構造を持つ深層ニューラルネットワークに基づく手法を提案する。
我々は,gcu,sine,mish,tanhとして知られる成長コサインユニットなどの振動・非振動活性化関数をネットワークに組み込んで,高非線形・振動問題に対する性能の包括的解析を行った。
振動活性化関数とディープニューラルネットワークの統合は、基盤となるシステムの周期的パターンを予測する上で間違いなく優れている。
本研究では, 非線形系の振動運動を支援するために, マイクロエレクトロメカニクス系などの複雑な振動系において, GCUよりも高効率なASUと呼ばれる新しい振動活性化関数を提案する。
実験の結果,提案した活性化関数ASUを用いたネットワークは,非線形性や発振による課題に対処するため,信頼性が高く,堅牢であることがわかった。
提案手法を検証するために, lsoda と呼ばれる常微分方程式に対するリバモア解法の結果とネットワークの出力を比較した。
さらに、本書では、発生したエラーの図式イラストも提示されている。
関連論文リスト
- KAN/MultKAN with Physics-Informed Spline fitting (KAN-PISF) for ordinary/partial differential equation discovery of nonlinear dynamic systems [0.0]
動的システムの物理的理解を開発するためには、機械学習モデルを解釈する必要がある。
本研究では, (SRDD) アルゴリズムをデノナイズするための逐次正規化導関数を含む方程式発見フレームワークを提案し, 式構造を同定し, 関連する非線形関数を提案する。
論文 参考訳（メタデータ） (2024-11-18T18:14:51Z) - Nonlinear Neural Dynamics and Classification Accuracy in Reservoir Computing [3.196204482566275]
複雑度の異なる人工分類タスクにおける貯水池コンピュータの精度について検討する。
極端に非線形性が低下した活性化関数や弱いリカレント相互作用、小さな入力信号であっても、貯水池は有用な表現を計算することができる。
論文 参考訳（メタデータ） (2024-11-15T08:52:12Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - On Robust Numerical Solver for ODE via Self-Attention Mechanism [82.95493796476767]
我々は,内在性雑音障害を緩和し,AIによって強化された数値解法を,データサイズを小さくする訓練について検討する。
まず,教師付き学習における雑音を制御するための自己認識機構の能力を解析し,さらに微分方程式の数値解に付加的な自己認識機構を導入し,簡便かつ有効な数値解法であるAttrを提案する。
論文 参考訳（メタデータ） (2023-02-05T01:39:21Z) - Signal Detection in MIMO Systems with Hardware Imperfections: Message
Passing on Neural Networks [101.59367762974371]
本稿では,Multi-Input-multiple-output (MIMO)通信システムにおける信号検出について検討する。
パイロット信号が限られているディープニューラルネットワーク(DNN)のトレーニングは困難であり、実用化を妨げている。
我々は、ユニタリ近似メッセージパッシング(UAMP)アルゴリズムを利用して、効率的なメッセージパッシングに基づくベイズ信号検出器を設計する。
論文 参考訳（メタデータ） (2022-10-08T04:32:58Z) - Momentum Diminishes the Effect of Spectral Bias in Physics-Informed
Neural Networks [72.09574528342732]
物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。
彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。
本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
論文 参考訳（メタデータ） (2022-06-29T19:03:10Z) - Temporal support vectors for spiking neuronal networks [0.0]
静的サポートベクトルマシン(T-SVM)の新たな拡張について紹介する。
我々はT-SVMとそのカーネル拡張がスパイキングニューロンの堅牢なシナプス重みベクトルを生成することを示す。
本稿では, 非線形核を持つT-SVMを, 神経樹状突起木の非線形性と広範な形態の計算的役割の新しいモデルとして提案する。
論文 参考訳（メタデータ） (2022-05-28T23:47:15Z) - Neural Galerkin Schemes with Active Learning for High-Dimensional
Evolution Equations [44.89798007370551]
本研究では,高次元偏微分方程式を数値的に解くために,能動的学習を用いた学習データを生成するディープラーニングに基づくニューラル・ガレルキンスキームを提案する。
ニューラル・ガレルキンスキームはディラック・フランケル変分法に基づいて、残余を時間とともに最小化することで、ネットワークを訓練する。
提案したニューラル・ガレルキン・スキームの学習データ収集は,高次元におけるネットワークの表現力を数値的に実現するための鍵となる。
論文 参考訳（メタデータ） (2022-03-02T19:09:52Z) - Machine Learning Link Inference of Noisy Delay-coupled Networks with
Opto-Electronic Experimental Tests [1.0766846340954257]
我々は,時間遅延のあるネットワークリンクを推論する一般的な問題を解決するために,機械学習手法を考案した。
まず、未知のネットワークのダイナミクスを模倣するために、貯水池コンピューティングとして知られる機械学習システムを訓練する。
本研究では, 貯留層出力層のトレーニングパラメータを用いて未知のネットワーク構造の推定を導出する手法を定式化し, 検証する。
論文 参考訳（メタデータ） (2020-10-29T00:24:13Z) - Lipschitz Recurrent Neural Networks [100.72827570987992]
我々のリプシッツ再帰ユニットは、他の連続時間RNNと比較して、入力やパラメータの摂動に対してより堅牢であることを示す。
実験により,Lipschitz RNNは,ベンチマークタスクにおいて,既存のリカレントユニットよりも優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2020-06-22T08:44:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。