論文の概要: Vanilla feedforward neural networks as a discretization of dynamic
systems
- arxiv url: http://arxiv.org/abs/2209.10909v1
- Date: Thu, 22 Sep 2022 10:32:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-23 14:53:45.672163
- Title: Vanilla feedforward neural networks as a discretization of dynamic
systems
- Title(参考訳): 動的システムの離散化としてのバニラフィードフォワードニューラルネットワーク
- Authors: Yifei Duan, Li'ang Li, Guanghua Ji and Yongqiang Cai
- Abstract要約: 本稿では,従来のネットワーク構造に戻り,バニラフィードフォワードネットワークが動的システムの数値的な離散化であることを示す。
我々の結果は、フィードフォワードニューラルネットワークの近似特性を理解するための新しい視点を提供することができる。
- 参考スコア(独自算出の注目度): 6.4395686398659135
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning has made significant applications in the field of data science
and natural science. Some studies have linked deep neural networks to dynamic
systems, but the network structure is restricted to the residual network. It is
known that residual networks can be regarded as a numerical discretization of
dynamic systems. In this paper, we back to the classical network structure and
prove that the vanilla feedforward networks could also be a numerical
discretization of dynamic systems, where the width of the network is equal to
the dimension of the input and output. Our proof is based on the properties of
the leaky-ReLU function and the numerical technique of splitting method to
solve differential equations. Our results could provide a new perspective for
understanding the approximation properties of feedforward neural networks.
- Abstract(参考訳): 深層学習は、データ科学と自然科学の分野に多大な応用をもたらした。
ディープニューラルネットワークを動的システムにリンクする研究もあるが、ネットワーク構造は残留ネットワークに限定されている。
残留ネットワークは動的システムの数値的な離散化と見なせることが知られている。
本稿では,従来のネットワーク構造に戻り,バニラフィードフォワードネットワークが,ネットワーク幅が入力と出力の次元に等しい動的システムの数値的離散化であることも証明する。
この証明は, 漏洩ReLU関数の特性と, 微分方程式を解くスプリッティング法の数値解法に基づく。
我々の結果は、フィードフォワードニューラルネットワークの近似特性を理解するための新しい視点を提供することができる。
関連論文リスト
- How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳(メタデータ) (2023-06-04T08:53:27Z) - Complexity of Deep Neural Networks from the Perspective of Functional
Equivalence [1.3597551064547502]
機能的等価性の概念を考察し、異なるネットワークパラメータ化が同じ機能をもたらすことを示唆する。
本稿では,畳み込みニューラルネットワーク,残差ネットワーク,注意に基づくモデルの拡張について論じる。
論文 参考訳(メタデータ) (2023-05-19T04:01:27Z) - On the effectiveness of neural priors in modeling dynamical systems [28.69155113611877]
ニューラルネットワークがそのようなシステムを学ぶ際に提供するアーキテクチャの規則化について論じる。
動的システムをモデル化する際の複数の問題を解決するために,レイヤ数が少ない単純な座標ネットワークが利用できることを示す。
論文 参考訳(メタデータ) (2023-03-10T06:21:24Z) - Certified Invertibility in Neural Networks via Mixed-Integer Programming [16.64960701212292]
ニューラルネットワークは敵の攻撃に弱いことが知られている。
ネットワークの決定に影響を与えない大きな、意味のある摂動が存在するかもしれない。
ニューラルネットワーク間の変換における可逆性検証に,我々の知見がどのように役立つかについて議論する。
論文 参考訳(メタデータ) (2023-01-27T15:40:38Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳(メタデータ) (2021-04-29T14:31:09Z) - Learning Contact Dynamics using Physically Structured Neural Networks [81.73947303886753]
ディープニューラルネットワークと微分方程式の接続を用いて、オブジェクト間の接触ダイナミクスを表現するディープネットワークアーキテクチャのファミリを設計する。
これらのネットワークは,ノイズ観測から不連続な接触事象をデータ効率良く学習できることを示す。
以上の結果から,タッチフィードバックの理想化形態は,この学習課題を扱いやすくするための重要な要素であることが示唆された。
論文 参考訳(メタデータ) (2021-02-22T17:33:51Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳(メタデータ) (2020-08-19T04:53:31Z) - Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。
結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
論文 参考訳(メタデータ) (2020-06-22T12:46:44Z) - Input-to-State Representation in linear reservoirs dynamics [15.491286626948881]
貯留層コンピューティングは、リカレントニューラルネットワークを設計するための一般的なアプローチである。
これらのネットワークの動作原理は、完全には理解されていない。
このようなネットワークの力学の新たな解析法を提案する。
論文 参考訳(メタデータ) (2020-03-24T00:14:25Z) - Mean-Field and Kinetic Descriptions of Neural Differential Equations [0.0]
この研究では、ニューラルネットワークの特定のクラス、すなわち残留ニューラルネットワークに焦点を当てる。
我々は、ネットワークのパラメータ、すなわち重みとバイアスに関する定常状態と感度を分析する。
残留ニューラルネットワークにインスパイアされた微視的ダイナミクスの修正は、ネットワークのフォッカー・プランクの定式化につながる。
論文 参考訳(メタデータ) (2020-01-07T13:41:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。