論文の概要: Mean-Field and Kinetic Descriptions of Neural Differential Equations
- arxiv url: http://arxiv.org/abs/2001.04294v4
- Date: Mon, 8 Nov 2021 20:56:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-13 21:19:45.031765
- Title: Mean-Field and Kinetic Descriptions of Neural Differential Equations
- Title（参考訳）: ニューラル微分方程式の平均場と速度論的記述
- Authors: M. Herty, T. Trimborn, G. Visconti
- Abstract要約: この研究では、ニューラルネットワークの特定のクラス、すなわち残留ニューラルネットワークに焦点を当てる。
我々は、ネットワークのパラメータ、すなわち重みとバイアスに関する定常状態と感度を分析する。
残留ニューラルネットワークにインスパイアされた微視的ダイナミクスの修正は、ネットワークのフォッカー・プランクの定式化につながる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Nowadays, neural networks are widely used in many applications as artificial
intelligence models for learning tasks. Since typically neural networks process
a very large amount of data, it is convenient to formulate them within the
mean-field and kinetic theory. In this work we focus on a particular class of
neural networks, i.e. the residual neural networks, assuming that each layer is
characterized by the same number of neurons $N$, which is fixed by the
dimension of the data. This assumption allows to interpret the residual neural
network as a time-discretized ordinary differential equation, in analogy with
neural differential equations. The mean-field description is then obtained in
the limit of infinitely many input data. This leads to a Vlasov-type partial
differential equation which describes the evolution of the distribution of the
input data. We analyze steady states and sensitivity with respect to the
parameters of the network, namely the weights and the bias. In the simple
setting of a linear activation function and one-dimensional input data, the
study of the moments provides insights on the choice of the parameters of the
network. Furthermore, a modification of the microscopic dynamics, inspired by
stochastic residual neural networks, leads to a Fokker-Planck formulation of
the network, in which the concept of network training is replaced by the task
of fitting distributions. The performed analysis is validated by artificial
numerical simulations. In particular, results on classification and regression
problems are presented.
- Abstract（参考訳）: 現在、ニューラルネットワークは、学習タスクのための人工知能モデルとして、多くのアプリケーションで広く使われている。
通常、ニューラルネットワークは非常に大量のデータを処理するため、平均場と運動論的理論の中でそれらを定式化するのが便利である。
この研究では、各層がデータ次元によって固定される同じニューロン数$N$によって特徴づけられると仮定して、ニューラルネットワークの特定のクラス、すなわち残留ニューラルネットワークに焦点を当てる。
この仮定により、残差ニューラルネットワークを、神経微分方程式と類似した時間離散常微分方程式として解釈することができる。
その後、平均フィールド記述は無限個の入力データの極限で得られる。
これにより、入力データの分布の進化を記述するvlasov型偏微分方程式が導かれる。
ネットワークのパラメータ,すなわち重みとバイアスに関して,定常状態と感度を分析した。
線形活性化関数と1次元入力データの簡単な設定では、モーメントの研究はネットワークのパラメータの選択についての洞察を与える。
さらに、確率的残留ニューラルネットワークに触発された微視的ダイナミクスの修正は、ネットワークのfokker-planck定式化につながり、ネットワークトレーニングの概念は分布を適合させるタスクに置き換えられる。
解析は人工数値シミュレーションによって検証される。
特に,分類問題と回帰問題に関する結果を示す。
関連論文リスト
- Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Instance-wise Linearization of Neural Network for Model Interpretation [13.583425552511704]
この課題は、ニューラルネットワークの非線形動作に潜むことができる。
ニューラルネットワークモデルでは、非線形な振る舞いはモデルの非線形なアクティベーションユニットによって引き起こされることが多い。
本稿では,ニューラルネットワーク予測のフォワード計算過程を再構成するインスタンスワイズ線形化手法を提案する。
論文 参考訳（メタデータ） (2023-10-25T02:07:39Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - Embedding stochastic differential equations into neural networks via
dual processes [0.0]
本稿では、微分方程式の予測のためのニューラルネットワーク構築のための新しいアプローチを提案する。
提案手法は入力と出力のデータセットを必要としない。
実演として,Ornstein-Uhlenbeck プロセスと van der Pol システムのためのニューラルネットワークを構築した。
論文 参考訳（メタデータ） (2023-06-08T00:50:16Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Stochastic Neural Networks with Infinite Width are Deterministic [7.07065078444922]
使用中のニューラルネットワークの主要なタイプであるニューラルネットワークについて研究する。
最適化されたニューラルネットワークの幅が無限大になる傾向があるため、トレーニングセットの予測分散はゼロになる。
論文 参考訳（メタデータ） (2022-01-30T04:52:31Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-29T07:46:54Z) - Conditional physics informed neural networks [85.48030573849712]
固有値問題のクラス解を推定するための条件付きPINN(物理情報ニューラルネットワーク)を紹介します。
一つのディープニューラルネットワークが、問題全体に対する偏微分方程式の解を学習できることが示される。
論文 参考訳（メタデータ） (2021-04-06T18:29:14Z) - Understanding and mitigating gradient pathologies in physics-informed
neural networks [2.1485350418225244]
この研究は、物理システムの結果を予測し、ノイズの多いデータから隠れた物理を発見するための物理情報ニューラルネットワークの有効性に焦点を当てる。
本稿では,モデル学習中の勾配統計を利用して,複合損失関数の異なる項間の相互作用のバランスをとる学習速度アニーリングアルゴリズムを提案する。
また、そのような勾配に耐性のある新しいニューラルネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-01-13T21:23:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。