論文の概要: Uncertainty propagation in feed-forward neural network models
- arxiv url: http://arxiv.org/abs/2503.21059v2
- Date: Sat, 29 Mar 2025 16:30:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-01 13:14:21.799667
- Title: Uncertainty propagation in feed-forward neural network models
- Title（参考訳）: フィードフォワードニューラルネットワークモデルにおける不確実性伝播
- Authors: Jeremy Diamzon, Daniele Venturi,
- Abstract要約: 我々はフィードフォワードニューラルネットワークアーキテクチャのための新しい不確実性伝搬法を開発した。
ニューラルネットワーク出力の確率密度関数(PDF)の解析式を導出する。
鍵となる発見は、リークReLU活性化関数の適切な線形化が正確な統計的結果をもたらすことである。
- 参考スコア（独自算出の注目度）: 3.987067170467799
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We develop new uncertainty propagation methods for feed-forward neural network architectures with leaky ReLU activation functions subject to random perturbations in the input vectors. In particular, we derive analytical expressions for the probability density function (PDF) of the neural network output and its statistical moments as a function of the input uncertainty and the parameters of the network, i.e., weights and biases. A key finding is that an appropriate linearization of the leaky ReLU activation function yields accurate statistical results even for large perturbations in the input vectors. This can be attributed to the way information propagates through the network. We also propose new analytically tractable Gaussian copula surrogate models to approximate the full joint PDF of the neural network output. To validate our theoretical results, we conduct Monte Carlo simulations and a thorough error analysis on a multi-layer neural network representing a nonlinear integro-differential operator between two polynomial function spaces. Our findings demonstrate excellent agreement between the theoretical predictions and Monte Carlo simulations.
- Abstract（参考訳）: 入力ベクトルのランダムな摂動を受けるリークReLU活性化関数を持つフィードフォワードニューラルネットワークアーキテクチャのための新しい不確実性伝搬法を開発した。
特に、入力不確実性の関数としてニューラルネットワーク出力の確率密度関数(PDF)とその統計モーメントについて、ニューラルネットワークのパラメータ、すなわち重みと偏りの関数として解析式を導出する。
鍵となる発見は、リークReLU活性化関数の適切な線形化が入力ベクトルにおける大きな摂動に対しても正確な統計的結果をもたらすことである。
これは、情報がネットワークを介して伝播する方法に起因する可能性がある。
また,ニューラルネットワーク出力の完全結合PDFを近似するために,解析的に抽出可能な新しいガウスコーパスサロゲートモデルを提案する。
理論的結果を検証するため, 2つの多項式関数空間間の非線形積分微分作用素を表す多層ニューラルネットワーク上でモンテカルロシミュレーションと徹底的な誤差解析を行う。
その結果,モンテカルロシミュレーションと理論予測の一致は良好であった。
関連論文リスト
- Deep learning with missing data [3.829599191332801]
本稿では,既存の計算手法と組み合わせて適用可能なパターン埋め込みニューラルネットワーク(PENN)を提案する。
インプットされたデータに基づいてトレーニングされたニューラルネットワークに加えて、PENNは観察指標のベクトルを第2のニューラルネットワークに渡して、コンパクトな表現を提供する。
出力は第3のニューラルネットワークに結合され、最終的な予測が生成される。
論文 参考訳（メタデータ） (2025-04-21T18:57:36Z) - An Analytic Solution to Covariance Propagation in Neural Networks [10.013553984400488]
本稿では,ニューラルネットワークの入出力分布を正確に特徴付けるために,サンプルフリーモーメント伝搬法を提案する。
この手法の鍵となる有効性は、非線形活性化関数を通した確率変数の共分散に対する解析解である。
学習ニューラルネットワークの入力出力分布を分析し,ベイズニューラルネットワークを訓練する実験において,提案手法の適用性およびメリットを示す。
論文 参考訳（メタデータ） (2024-03-24T14:08:24Z) - Instance-wise Linearization of Neural Network for Model Interpretation [13.583425552511704]
この課題は、ニューラルネットワークの非線形動作に潜むことができる。
ニューラルネットワークモデルでは、非線形な振る舞いはモデルの非線形なアクティベーションユニットによって引き起こされることが多い。
本稿では,ニューラルネットワーク予測のフォワード計算過程を再構成するインスタンスワイズ線形化手法を提案する。
論文 参考訳（メタデータ） (2023-10-25T02:07:39Z) - Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳（メタデータ） (2023-10-02T03:25:32Z) - Learning Theory of Distribution Regression with Neural Networks [6.961253535504979]
完全連結ニューラルネットワーク(FNN)による近似理論と分布回帰の学習理論を確立する。
古典回帰法とは対照的に、分布回帰の入力変数は確率測度である。
論文 参考訳（メタデータ） (2023-07-07T09:49:11Z) - Probabilistic Verification of ReLU Neural Networks via Characteristic
Functions [11.489187712465325]
我々は、周波数領域における確率理論のアイデアを用いて、ReLUニューラルネットワークの確率論的検証保証を提供する。
我々は、(深い)フィードフォワードニューラルネットワークを有限地平線上の離散力学系として解釈する。
出力集合の累積分布関数を求め,ネットワークが期待通りに動作しているかどうかを確認する。
論文 参考訳（メタデータ） (2022-12-03T05:53:57Z) - Variational Neural Networks [88.24021148516319]
本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。
VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。
不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
論文 参考訳（メタデータ） (2022-07-04T15:41:02Z) - Cardinality-Minimal Explanations for Monotonic Neural Networks [25.212444848632515]
本稿では,単調関数を実装したニューラルモデルに着目して,トラクタビリティを回復できるかどうかを検討する。
関連する決定問題は引き続き難解であるが、有利な時間で解決可能であることを示すことができる。
論文 参考訳（メタデータ） (2022-05-19T23:47:25Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - PAC-Bayesian Learning of Aggregated Binary Activated Neural Networks
with Probabilities over Representations [2.047424180164312]
本研究では,確率論的ニューラルネットワークの予測器としての期待値について検討し,実数値重みによる正規分布を持つ二元活性化ニューラルネットワークの集約に着目した。
我々は、動的プログラミングアプローチのおかげで、深いが狭いニューラルネットワークに対して、正確な計算が引き続き実行可能であることを示す。
論文 参考訳（メタデータ） (2021-10-28T14:11:07Z) - How Neural Networks Extrapolate: From Feedforward to Graph Neural
Networks [80.55378250013496]
勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。
グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
論文 参考訳（メタデータ） (2020-09-24T17:48:59Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z) - Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。
本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。
我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
論文 参考訳（メタデータ） (2020-06-16T18:45:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。