論文の概要: An Analytic Solution to Covariance Propagation in Neural Networks

• arxiv url: http://arxiv.org/abs/2403.16163v1
• Date: Sun, 24 Mar 2024 14:08:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 17:15:57.965975
• Title: An Analytic Solution to Covariance Propagation in Neural Networks
• Title（参考訳）: ニューラルネットワークにおける共分散伝播の解析解
• Authors: Oren Wright, Yorie Nakahira, José M. F. Moura,
• Abstract要約: 本稿では,ニューラルネットワークの入出力分布を正確に特徴付けるために,サンプルフリーモーメント伝搬法を提案する。 この手法の鍵となる有効性は、非線形活性化関数を通した確率変数の共分散に対する解析解である。 学習ニューラルネットワークの入力出力分布を分析し,ベイズニューラルネットワークを訓練する実験において,提案手法の適用性およびメリットを示す。
• 参考スコア（独自算出の注目度）: 10.013553984400488
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Uncertainty quantification of neural networks is critical to measuring the reliability and robustness of deep learning systems. However, this often involves costly or inaccurate sampling methods and approximations. This paper presents a sample-free moment propagation technique that propagates mean vectors and covariance matrices across a network to accurately characterize the input-output distributions of neural networks. A key enabler of our technique is an analytic solution for the covariance of random variables passed through nonlinear activation functions, such as Heaviside, ReLU, and GELU. The wide applicability and merits of the proposed technique are shown in experiments analyzing the input-output distributions of trained neural networks and training Bayesian neural networks.
• Abstract（参考訳）: ニューラルネットワークの不確かさの定量化は、ディープラーニングシステムの信頼性と堅牢性を測定する上で重要である。 しかし、これはしばしば費用がかかるか不正確なサンプリング方法や近似を伴う。 本稿では,ニューラルネットワークの入出力分布を正確に特徴付けるために,平均ベクトルと共分散行列をネットワーク全体に伝播するサンプルフリーモーメント伝搬手法を提案する。 本手法の重要な有効性は,Heaviside,ReLU,GELUなどの非線形活性化関数を経由した確率変数の共分散の解析解である。 学習ニューラルネットワークの入力出力分布を分析し,ベイズニューラルネットワークを訓練する実験において,提案手法の適用性およびメリットを示す。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• On the Convergence of Locally Adaptive and Scalable Diffusion-Based Sampling Methods for Deep Bayesian Neural Network Posteriors [2.3265565167163906]
  ベイズニューラルネットワークは、ディープニューラルネットワークにおける不確実性をモデル化するための有望なアプローチである。 ニューラルネットワークの 後部分布からサンプルを生成することは 大きな課題です この方向の進歩の1つは、モンテカルロ・マルコフ連鎖サンプリングアルゴリズムへの適応的なステップサイズの導入である。 本稿では,これらの手法が,ステップサイズやバッチサイズが小さくても,サンプリングした分布にかなりの偏りがあることを実証する。
  論文  参考訳（メタデータ） (2024-03-13T15:21:14Z)
• Tractable Function-Space Variational Inference in Bayesian Neural Networks [72.97620734290139]
  ニューラルネットワークの予測不確かさを推定するための一般的なアプローチは、ネットワークパラメータに対する事前分布を定義することである。 本稿では,事前情報を組み込むスケーラブルな関数空間変動推論手法を提案する。 提案手法は,様々な予測タスクにおいて,最先端の不確実性評価と予測性能をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-12-28T18:33:26Z)
• Learning Theory of Distribution Regression with Neural Networks [6.961253535504979]
  完全連結ニューラルネットワーク(FNN)による近似理論と分布回帰の学習理論を確立する。 古典回帰法とは対照的に、分布回帰の入力変数は確率測度である。
  論文  参考訳（メタデータ） (2023-07-07T09:49:11Z)
• Variational Neural Networks [88.24021148516319]
  本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。 VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。 不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-04T15:41:02Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• An Overview of Uncertainty Quantification Methods for Infinite Neural Networks [0.0]
  無限幅ニューラルネットワークにおける不確実性を定量化する手法について検討する。 我々は、予測の不確実性に対する厳密な閉形式解を得るために、いくつかの等価結果を利用する。
  論文  参考訳（メタデータ） (2022-01-13T00:03:22Z)
• Multivariate Deep Evidential Regression [77.34726150561087]
  不確実性を認識するニューラルネットワークによる新しいアプローチは、従来の決定論的手法よりも有望である。 本稿では,レグレッションベースニューラルネットワークからアレータ性およびてんかん性不確かさを抽出する手法を提案する。
  論文  参考訳（メタデータ） (2021-04-13T12:20:18Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Neural Network Solutions to Differential Equations in Non-Convex Domains: Solving the Electric Field in the Slit-Well Microfluidic Device [1.7188280334580193]
  スリットウェルマイクロ流体装置における電位と対応する電場を近似するためにニューラルネットワーク法を用いる。 ディープ・ニューラル・ネットワークは 浅いニューラル・ネットワークをはるかに上回っています
  論文  参考訳（メタデータ） (2020-04-25T21:20:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。