論文の概要: MP-GELU Bayesian Neural Networks: Moment Propagation by GELU Nonlinearity

• arxiv url: http://arxiv.org/abs/2211.13402v1
• Date: Thu, 24 Nov 2022 03:37:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-28 17:39:47.690342
• Title: MP-GELU Bayesian Neural Networks: Moment Propagation by GELU Nonlinearity
• Title（参考訳）: MP-GELUベイズニューラルネットワーク:GELU非線形性によるモーメント伝搬
• Authors: Yuki Hirayama, Sinya Takamaeda-Yamazaki
• Abstract要約: 本稿では,BNNにおける第1モーメントと第2モーメントの高速な導出を可能にする,モーメント伝搬・ガウス誤差線形単位(MP-GELU)という非線形関数を提案する。 MP-GELUは、ReLUベースのBNNよりも高速な実行で予測精度が高く、不確実性の品質も向上する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian neural networks (BNNs) have been an important framework in the study of uncertainty quantification. Deterministic variational inference, one of the inference methods, utilizes moment propagation to compute the predictive distributions and objective functions. Unfortunately, deriving the moments requires computationally expensive Taylor expansion in nonlinear functions, such as a rectified linear unit (ReLU) or a sigmoid function. Therefore, a new nonlinear function that realizes faster moment propagation than conventional functions is required. In this paper, we propose a novel nonlinear function named moment propagating-Gaussian error linear unit (MP-GELU) that enables the fast derivation of first and second moments in BNNs. MP-GELU enables the analytical computation of moments by applying nonlinearity to the input statistics, thereby reducing the computationally expensive calculations required for nonlinear functions. In empirical experiments on regression tasks, we observed that the proposed MP-GELU provides higher prediction accuracy and better quality of uncertainty with faster execution than those of ReLU-based BNNs.
• Abstract（参考訳）: ベイズニューラルネットワーク(BNN)は不確実性定量化の研究において重要な枠組みである。 推定手法の1つである決定論的変分推論は、モーメント伝搬を利用して予測分布と目的関数を計算する。 残念ながら、モーメントを導出するには、正則線型単位(ReLU)やシグモイド関数のような非線形関数の計算に高価なテイラー展開が必要となる。 したがって、従来の関数よりも高速なモーメント伝搬を実現する新しい非線形関数が必要である。 本稿では,BNNにおける第1モーメントと第2モーメントの高速導出を可能にする,モーメント伝搬・ガウス誤差線形ユニット(MP-GELU)という非線形関数を提案する。 MP-GELUは入力統計に非線形性を適用することでモーメントの解析計算を可能にし、非線形関数に必要な計算コストを削減できる。 回帰タスクの実証実験において,提案したMP-GELUは,ReLUベースのBNNよりも高速な実行で予測精度が高く,不確実性の品質が向上することを示した。

関連論文リスト

• Neural empirical interpolation method for nonlinear model reduction [0.0]
  減数順序モデル(ROM)における非線形項計算の時間的複雑さを低減するためのニューラル経験法(NEIM)を導入する。 NEIM は、ROM の非線形項のアフィン分解を近似することにより、この還元を実現するグレディアルゴリズムである。 NEIMは強欲な戦略に基づいており,その性能を調査するための基本的な誤り解析を行うことができる。
  論文  参考訳（メタデータ） (2024-06-05T18:17:33Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Inference on Time Series Nonparametric Conditional Moment Restrictions Using General Sieves [4.065100518793487]
  本稿では,時系列データの予測推定に基づく一般非線形シーブ準類似度比(GN-QLR)について考察する。 推定関数の正規性は函数空間の未知のリース表現に依存するが、最適に重み付けられたGN-QLR統計量はChi-二乗分布であることを示す。
  論文  参考訳（メタデータ） (2022-12-31T01:44:17Z)
• Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
  Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。 サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。 この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
  論文  参考訳（メタデータ） (2022-03-22T13:09:17Z)
• Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
  2層ニューラルネットワークによる関数近似について検討する。 この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
  論文  参考訳（メタデータ） (2021-07-14T03:03:56Z)
• CDiNN -Convex Difference Neural Networks [0.8122270502556374]
  reluアクティベーション関数を持つニューラルネットワークは、普遍関数近似が非スムース関数として関数マッピングを学ぶことが示されている。 ICNNと呼ばれる新しいニューラルネットワークアーキテクチャは、凸入力として出力を学習する。
  論文  参考訳（メタデータ） (2021-03-31T17:31:16Z)
• Learning Recurrent Neural Net Models of Nonlinear Systems [10.5811404306981]
  双曲型タンジェント活性化機能を持つ連続時間リカレントニューラルネットは,基礎となるi/oの挙動をほぼ再現し,信頼性が高い。 学習モデルの極北リスクを、ニューロン数、サンプルサイズ、一致する導関数数、入力の正則性、出力、未知のi/oマップの観点から定量的に保証する。
  論文  参考訳（メタデータ） (2020-11-18T22:53:41Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。