論文の概要: Neural Oscillators are Universal
- arxiv url: http://arxiv.org/abs/2305.08753v1
- Date: Mon, 15 May 2023 16:05:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-16 13:46:25.137923
- Title: Neural Oscillators are Universal
- Title(参考訳): ニューラルオシレータは普遍的である
- Authors: Samuel Lanthaler and T. Konstantin Rusch and Siddhartha Mishra
- Abstract要約: 我々は、ニューラル発振器が普遍的であること、すなわち、時間変化関数間の連続およびカジュアルな演算子マッピングを近似することができることを証明した。
この普遍性の結果は、発振器ベースのMLシステムの使用に関する理論的正当化を与える。
- 参考スコア(独自算出の注目度): 12.891210250935147
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Coupled oscillators are being increasingly used as the basis of machine
learning (ML) architectures, for instance in sequence modeling, graph
representation learning and in physical neural networks that are used in analog
ML devices. We introduce an abstract class of neural oscillators that
encompasses these architectures and prove that neural oscillators are
universal, i.e, they can approximate any continuous and casual operator mapping
between time-varying functions, to desired accuracy. This universality result
provides theoretical justification for the use of oscillator based ML systems.
The proof builds on a fundamental result of independent interest, which shows
that a combination of forced harmonic oscillators with a nonlinear read-out
suffices to approximate the underlying operators.
- Abstract(参考訳): 結合発振器は、シーケンスモデリング、グラフ表現学習、アナログmlデバイスで使用される物理的ニューラルネットワークなど、機械学習(ml)アーキテクチャの基礎としてますます使われています。
これらのアーキテクチャを包含する抽象的なニューラルオシレータクラスを導入し,ニューラルオシレータが普遍的であること,すなわち,時間変化関数間の任意の連続的かつカジュアルな演算子マッピングを所望の精度で近似できることを示す。
この普遍性の結果は、発振器ベースのMLシステムの使用に関する理論的正当化を与える。
この証明は、強制調和振動子と非線形リードアウトサフィスを組み合わせることで、基礎となる作用素を近似する、独立利害の基本的な結果に基づいている。
関連論文リスト
- KAN/MultKAN with Physics-Informed Spline fitting (KAN-PISF) for ordinary/partial differential equation discovery of nonlinear dynamic systems [0.0]
動的システムの物理的理解を開発するためには、機械学習モデルを解釈する必要がある。
本研究では, (SRDD) アルゴリズムをデノナイズするための逐次正規化導関数を含む方程式発見フレームワークを提案し, 式構造を同定し, 関連する非線形関数を提案する。
論文 参考訳(メタデータ) (2024-11-18T18:14:51Z) - Universal In-Context Approximation By Prompting Fully Recurrent Models [86.61942787684272]
RNN,LSTM,GRU,Linear RNN,Linear RNN,Line gated Architecturesは,汎用のインコンテキスト近似器として機能することを示す。
完全反復アーキテクチャにコンパイルするLSRLというプログラミング言語を導入する。
論文 参考訳(メタデータ) (2024-06-03T15:25:13Z) - Oscillatrons: neural units with time-dependent multifunctionality [0.0]
固定入力時の発振子のダイナミクスは時間の非単調関数であり、XORのような非線形分離可能な問題を解くことができることを示す。
時間分解されたこの性質は、システムの自然な時間進化によって、1つの価格で複数の計算を行うことができる。
論文 参考訳(メタデータ) (2024-04-23T22:19:51Z) - Peridynamic Neural Operators: A Data-Driven Nonlocal Constitutive Model
for Complex Material Responses [12.454290779121383]
本研究では,データから非局所法則を学習するPNO(Peridynamic Neural Operator)と呼ばれる新しいニューラルネットワークアーキテクチャを提案する。
このニューラル作用素は、客観性と運動量バランス法則が自動的に保証される状態ベースペリダイナミックスという形でフォワードモデルを提供する。
複雑な応答をキャプチャする能力により、学習したニューラル演算子はベースラインモデルと比較して精度と効率が向上することを示した。
論文 参考訳(メタデータ) (2024-01-11T17:37:20Z) - Amplifying Sine Unit: An Oscillatory Activation Function for Deep Neural
Networks to Recover Nonlinear Oscillations Efficiently [0.0]
本研究では,マイクロエレクトロメカニクスシステムにおける非線形振動を処理するために,応答層構造を持つディープニューラルネットワークに基づく手法を提案する。
我々は、複雑な振動系において、GCUよりも効率的なASUと呼ばれる新しい振動活性化関数Amplifying Sine Unitを提案している。
提案するアクティベーション関数ASUを用いた設計ネットワークは,非線形性や発振による課題に対処するため,信頼性が高く,堅牢であることを示す。
論文 参考訳(メタデータ) (2023-04-18T14:08:15Z) - Capturing dynamical correlations using implicit neural representations [85.66456606776552]
実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。
そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
論文 参考訳(メタデータ) (2023-04-08T07:55:36Z) - Neural-Symbolic Recursive Machine for Systematic Generalization [113.22455566135757]
我々は、基底記号システム(GSS)のコアとなるニューラル・シンボリック再帰機械(NSR)を紹介する。
NSRは神経知覚、構文解析、意味推論を統合している。
我々はNSRの有効性を,系統的一般化能力の探索を目的とした4つの挑戦的ベンチマークで評価した。
論文 参考訳(メタデータ) (2022-10-04T13:27:38Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳(メタデータ) (2020-07-02T17:55:47Z) - Lipschitz Recurrent Neural Networks [100.72827570987992]
我々のリプシッツ再帰ユニットは、他の連続時間RNNと比較して、入力やパラメータの摂動に対してより堅牢であることを示す。
実験により,Lipschitz RNNは,ベンチマークタスクにおいて,既存のリカレントユニットよりも優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2020-06-22T08:44:52Z) - Understanding Recurrent Neural Networks Using Nonequilibrium Response
Theory [5.33024001730262]
リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、シーケンシャルデータの解析に機械学習で広く使用される脳モデルである。
非平衡統計力学からの応答理論を用いてRNNが入力信号を処理する方法を示す。
論文 参考訳(メタデータ) (2020-06-19T10:09:09Z) - Optimal Learning with Excitatory and Inhibitory synapses [91.3755431537592]
相関関係の存在下でアナログ信号間の関連性を保持するという課題について検討する。
ランダムな入力および出力プロセスのパワースペクトルの観点から、典型的な学習性能を特徴付ける。
論文 参考訳(メタデータ) (2020-05-25T18:25:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。