Fugu-MT 論文翻訳(概要): Hamiltonian Monte Carlo on ReLU Neural Networks is Inefficient

論文の概要: Hamiltonian Monte Carlo on ReLU Neural Networks is Inefficient

arxiv url: http://arxiv.org/abs/2410.22065v1
Date: Tue, 29 Oct 2024 14:23:42 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-30 13:42:25.850890
Title: Hamiltonian Monte Carlo on ReLU Neural Networks is Inefficient
Title（参考訳）: Hamiltonian Monte Carlo氏によるReLUニューラルネットワークの非効率性
Authors: Vu C. Dinh, Lam Si Tung Ho, Cuong V. Nguyen,
Abstract要約: 本稿では,ReLUファミリーにおけるアクティベーション関数の非微分性のため,これらのアクティベーション関数を持つネットワークに対するHMCは局所誤差が大きいことを示す。そして、実世界のデータセットでの実験だけでなく、経験的なシミュレーションを通して理論的な結果を検証する。
参考スコア（独自算出の注目度）: 3.823356975862005
License:
Abstract: We analyze the error rates of the Hamiltonian Monte Carlo algorithm with leapfrog integrator for Bayesian neural network inference. We show that due to the non-differentiability of activation functions in the ReLU family, leapfrog HMC for networks with these activation functions has a large local error rate of $\Omega(\epsilon)$ rather than the classical error rate of $O(\epsilon^3)$. This leads to a higher rejection rate of the proposals, making the method inefficient. We then verify our theoretical findings through empirical simulations as well as experiments on a real-world dataset that highlight the inefficiency of HMC inference on ReLU-based neural networks compared to analytical networks.
Abstract（参考訳）: ベイズニューラルネットワーク推論のための跳躍積分器を用いたハミルトンモンテカルロアルゴリズムの誤差率を解析した。 ReLUファミリーにおける活性化関数の非微分性のため、これらの活性化関数を持つネットワークに対する跳躍HMCは、古典的誤り率$O(\epsilon^3)$ではなく、局所誤差率$\Omega(\epsilon)$であることを示す。これは提案の拒絶率を高くし、メソッドを非効率にする。次に、実験的なシミュレーションと実世界のデータセットによる実験により、ReLUベースのニューラルネットワークにおけるHMC推論の非効率性を、解析的ネットワークと比較することで検証する。

関連論文リスト

Deep Learning without Global Optimization by Random Fourier Neural Networks [0.0]
本稿では、ランダムな複雑な指数関数活性化関数を利用する様々なディープニューラルネットワークのための新しいトレーニングアルゴリズムを提案する。提案手法では,マルコフ連鎖モンテカルロサンプリング法を用いてネットワーク層を反復的に訓練する。複雑な指数的活性化関数を持つ残留ネットワークの理論的近似速度を一貫して達成する。
論文参考訳（メタデータ） (2024-07-16T16:23:40Z)
SGD method for entropy error function with smoothing l0 regularization for neural networks [3.108634881604788]
エントロピー誤差関数はニューラルネットワークで広く使われている。本稿では,フィードフォワードニューラルネットワークの規則化を円滑に行うエントロピー関数を提案する。ニューラルネットワークを効果的に学習し、より正確な予測を可能にするため、私たちの仕事は新しくなっています。
論文参考訳（メタデータ） (2024-05-28T19:54:26Z)
Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
論文参考訳（メタデータ） (2023-09-26T17:42:52Z)
Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。よりスムーズな関数との補間により、より一般化できることを示す。
論文参考訳（メタデータ） (2023-05-30T19:37:44Z)
Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文参考訳（メタデータ） (2023-04-17T14:23:43Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
One Simple Trick to Fix Your Bayesian Neural Network [0.7955313479061443]
本稿では、ReLUアクティベーション機能を持つニューラルネットワークが、MFVIに適合しにくい後部を誘導することを示す。 Leaky ReLUアクティベーションを使用することでガウス的な重量後部がより多くなり、ReLUベースのものよりも低いキャリブレーション誤差(ECE)が得られることがわかった。
論文参考訳（メタデータ） (2022-07-26T19:45:36Z)
Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文参考訳（メタデータ） (2021-10-12T01:11:07Z)
LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
論文参考訳（メタデータ） (2021-03-01T03:10:11Z)
Estimation of the Mean Function of Functional Data via Deep Neural Networks [6.230751621285321]
関数データに対して非パラメトリック回帰を行うディープニューラルネットワーク手法を提案する。本手法は,アルツハイマー病患者における陽電子放出トモグラフィ画像の解析に用いる。
論文参考訳（メタデータ） (2020-12-08T17:18:16Z)
Measurement error models: from nonparametric methods to deep neural networks [3.1798318618973362]
本稿では,測定誤差モデルの推定に有効なニューラルネットワーク設計を提案する。完全に接続されたフィードフォワードニューラルネットワークを用いて回帰関数を$f(x)$に近似する。我々は、ニューラルネットワークアプローチと古典的ノンパラメトリック手法を比較するために、広範囲にわたる数値的研究を行っている。
論文参考訳（メタデータ） (2020-07-15T06:05:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。