論文の概要: Uncertainty propagation in feed-forward neural network models

• arxiv url: http://arxiv.org/abs/2503.21059v1
• Date: Thu, 27 Mar 2025 00:16:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-28 12:54:33.906678
• Title: Uncertainty propagation in feed-forward neural network models
• Title（参考訳）: フィードフォワードニューラルネットワークモデルにおける不確実性伝播
• Authors: Jeremy Diamzon, Daniele Venturi,
• Abstract要約: 我々はフィードフォワードニューラルネットワークアーキテクチャのための新しい不確実性伝搬法を開発した。 ニューラルネットワーク出力の確率密度関数(PDF)の解析式を導出する。 鍵となる発見は、リークReLu活性化関数の適切な線形化が正確な統計的結果をもたらすことである。
• 参考スコア（独自算出の注目度）: 3.987067170467799
• License:
• Abstract: We develop new uncertainty propagation methods for feed-forward neural network architectures with leaky ReLu activation functions subject to random perturbations in the input vectors. In particular, we derive analytical expressions for the probability density function (PDF) of the neural network output and its statistical moments as a function of the input uncertainty and the parameters of the network, i.e., weights and biases. A key finding is that an appropriate linearization of the leaky ReLu activation function yields accurate statistical results even for large perturbations in the input vectors. This can be attributed to the way information propagates through the network. We also propose new analytically tractable Gaussian copula surrogate models to approximate the full joint PDF of the neural network output. To validate our theorical results, we conduct Monte Carlo simulations and a thorough error analysis on a multi-layer neural network representing a nonlinear integro-differential operator between two polynomial function spaces. Our findings demonstrate excellent agreement between the theoretical predictions and Monte Carlo simulations.
• Abstract（参考訳）: 入力ベクトルのランダムな摂動を受ける漏洩ReLu活性化関数を持つフィードフォワードニューラルネットワークアーキテクチャのための新しい不確実性伝搬法を開発した。 特に、入力不確実性の関数としてニューラルネットワーク出力の確率密度関数(PDF)とその統計モーメントについて、ニューラルネットワークのパラメータ、すなわち重みと偏りの関数として解析式を導出する。 鍵となる発見は、リークReLu活性化関数の適切な線形化が入力ベクトルにおける大きな摂動に対しても正確な統計的結果をもたらすことである。 これは、情報がネットワークを介して伝播する方法に起因する可能性がある。 また,ニューラルネットワーク出力の完全結合PDFを近似するために,解析的に抽出可能な新しいガウスコーパスサロゲートモデルを提案する。 2つの多項式関数空間間の非線形積分微分作用素を表す多層ニューラルネットワーク上でモンテカルロシミュレーションと徹底的な誤差解析を行う。 その結果,モンテカルロシミュレーションと理論予測の一致は良好であった。

関連論文リスト

• An Analytic Solution to Covariance Propagation in Neural Networks [10.013553984400488]
  本稿では,ニューラルネットワークの入出力分布を正確に特徴付けるために,サンプルフリーモーメント伝搬法を提案する。 この手法の鍵となる有効性は、非線形活性化関数を通した確率変数の共分散に対する解析解である。 学習ニューラルネットワークの入力出力分布を分析し,ベイズニューラルネットワークを訓練する実験において,提案手法の適用性およびメリットを示す。
  論文  参考訳（メタデータ） (2024-03-24T14:08:24Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Learning Theory of Distribution Regression with Neural Networks [6.961253535504979]
  完全連結ニューラルネットワーク(FNN)による近似理論と分布回帰の学習理論を確立する。 古典回帰法とは対照的に、分布回帰の入力変数は確率測度である。
  論文  参考訳（メタデータ） (2023-07-07T09:49:11Z)
• Probabilistic Verification of ReLU Neural Networks via Characteristic Functions [11.489187712465325]
  我々は、周波数領域における確率理論のアイデアを用いて、ReLUニューラルネットワークの確率論的検証保証を提供する。 我々は、(深い)フィードフォワードニューラルネットワークを有限地平線上の離散力学系として解釈する。 出力集合の累積分布関数を求め,ネットワークが期待通りに動作しているかどうかを確認する。
  論文  参考訳（メタデータ） (2022-12-03T05:53:57Z)
• Dense Hebbian neural networks: a replica symmetric picture of unsupervised learning [4.133728123207142]
  我々は、監督なしで訓練された密集的で連想的なニューラルネットを考える。 本稿では,モンテカルロシミュレーションを用いて,その計算能力を解析的に,統計力学的手法を用いて,数値解析的に検討する。
  論文  参考訳（メタデータ） (2022-11-25T12:40:06Z)
• Variational Neural Networks [88.24021148516319]
  本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。 VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。 不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-04T15:41:02Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Performance Bounds for Neural Network Estimators: Applications in Fault Detection [2.388501293246858]
  ニューラルネットワークの堅牢性を定量化し,モデルに基づく異常検知器の構築とチューニングを行った。 チューニングでは,通常動作で想定される誤報発生率の上限を具体的に提示する。
  論文  参考訳（メタデータ） (2021-03-22T19:23:08Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
  本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。 本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。 我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
  論文  参考訳（メタデータ） (2020-06-16T18:45:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。