論文の概要: Bayesian Additive Regression Networks
- arxiv url: http://arxiv.org/abs/2404.04425v1
- Date: Fri, 5 Apr 2024 21:47:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-09 21:18:18.375775
- Title: Bayesian Additive Regression Networks
- Title（参考訳）: Bayesian Additive Regression Networks
- Authors: Danielle Van Boxel,
- Abstract要約: 回帰タスクのために、小さなニューラルネットワークのアンサンブルをトレーニングします。
マルコフ・チェイン・モンテカルロを用いて、1つの隠れた層を持つニューラルネットワークの後部分布をサンプリングする。
いくつかのベンチマーク回帰問題に対して,本手法の有効性を示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We apply Bayesian Additive Regression Tree (BART) principles to training an ensemble of small neural networks for regression tasks. Using Markov Chain Monte Carlo, we sample from the posterior distribution of neural networks that have a single hidden layer. To create an ensemble of these, we apply Gibbs sampling to update each network against the residual target value (i.e. subtracting the effect of the other networks). We demonstrate the effectiveness of this technique on several benchmark regression problems, comparing it to equivalent shallow neural networks, BART, and ordinary least squares. Our Bayesian Additive Regression Networks (BARN) provide more consistent and often more accurate results. On test data benchmarks, BARN averaged between 5 to 20 percent lower root mean square error. This error performance does come at the cost, however, of greater computation time. BARN sometimes takes on the order of a minute where competing methods take a second or less. But, BARN without cross-validated hyperparameter tuning takes about the same amount of computation time as tuned other methods. Yet BARN is still typically more accurate.
- Abstract（参考訳）: 回帰タスクのための小さなニューラルネットワークのアンサンブルをトレーニングするためにベイジアン付加回帰木(BART)の原則を適用した。
マルコフ・チェイン・モンテカルロを用いて、1つの隠れた層を持つニューラルネットワークの後部分布をサンプリングする。
これらのアンサンブルを作成するために、ギブスサンプリングを適用し、各ネットワークを残りのターゲット値に対して更新する(すなわち、他のネットワークの効果を減じる)。
いくつかのベンチマーク回帰問題に対して、この手法の有効性を実証し、等価な浅層ニューラルネットワーク、BART、および通常の最小二乗と比較する。
私たちのBayesian Additive Regression Networks(BARN)はより一貫性があり、より正確な結果を提供します。
テストデータベンチマークでは、BARNの平均ルート平均平方誤差は5～20%低かった。
しかし、このエラー性能は計算時間を長くするコストがかかる。
BARNは、競合するメソッドが1秒かそれ以下の時間で処理される場合もあります。
しかし、クロスバリデーションハイパーパラメータチューニングのないBARNは、チューニングされた他の方法とほぼ同じ計算時間を要する。
しかし、BARNは一般的にはより正確である。
関連論文リスト
- Favour: FAst Variance Operator for Uncertainty Rating [0.034530027457862]
機械学習予測を解釈するための重要なアプローチとしてベイズニューラルネットワーク(BNN)が登場した。
後部分布からサンプリングすることで、データサイエンティストは推論の不確実性を推定することができる。
以前の研究は、ネットワークを介して後部の第1モーメントと第2モーメントを伝播することを提案した。
この方法はサンプリングよりも遅いため、伝播分散を近似する必要がある。
私たちの貢献は、より原則化された分散伝播フレームワークです。
論文 参考訳（メタデータ） (2023-11-21T22:53:20Z) - Sparsifying Bayesian neural networks with latent binary variables and
normalizing flows [10.865434331546126]
潜伏二元系ベイズニューラルネットワーク(LBBNN)の2つの拡張について検討する。
まず、隠れたユニットを直接サンプリングするためにLRT(Local Reparametrization trick)を用いることで、より計算効率の良いアルゴリズムが得られる。
さらに, LBBNNパラメータの変動後分布の正規化フローを用いて, 平均体ガウス分布よりも柔軟な変動後分布を学習する。
論文 参考訳（メタデータ） (2023-05-05T09:40:28Z) - Can pruning improve certified robustness of neural networks? [106.03070538582222]
ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。
実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。
さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
論文 参考訳（メタデータ） (2022-06-15T05:48:51Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural
Networks via Guided Distribution Calibration [74.5509794733707]
本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。
提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。
提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
論文 参考訳（メタデータ） (2021-02-17T18:59:28Z) - Training Sparse Neural Networks using Compressed Sensing [13.84396596420605]
本研究では,プレニングとトレーニングを1ステップに組み合わせた圧縮センシングに基づく新しい手法の開発と試験を行う。
具体的には、トレーニング中の重みを適応的に重み付けした$ell1$のペナルティを利用して、スパースニューラルネットワークをトレーニングするために、正規化二重平均化(RDA)アルゴリズムの一般化と組み合わせる。
論文 参考訳（メタデータ） (2020-08-21T19:35:54Z) - Stochastic Bayesian Neural Networks [0.0]
ベイズニューラルネットワークの変分推論手法を,元のエビデンス下界を用いて構築する。
我々は,エビデンス低境界と呼ばれる新たな目的関数を用いて,エビデンス低境界を最大化するベイズニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2020-08-12T19:48:34Z) - Bayesian Neural Network via Stochastic Gradient Descent [0.0]
本稿では,勾配推定手法を用いてベイズニューラルネットワークに勾配推定を適用する方法を示す。
我々の研究はベイジアンニューラルネットワークを用いた回帰手法のこれまでの状況を大きく上回っている。
論文 参考訳（メタデータ） (2020-06-04T18:33:59Z) - Neural Networks and Value at Risk [59.85784504799224]
リスクしきい値推定における資産価値のモンテカルロシミュレーションを行う。
株式市場と長期債を試験資産として利用し、ニューラルネットワークについて検討する。
はるかに少ないデータでフィードされたネットワークは、大幅にパフォーマンスが悪くなっています。
論文 参考訳（メタデータ） (2020-05-04T17:41:59Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2020-04-06T15:51:00Z) - Cross-Iteration Batch Normalization [67.83430009388678]
本稿では,CBN(Cross-It Batch Normalization)を提案する。
CBNは、提案した補償手法を使わずに、元のバッチ正規化と過去の繰り返しの統計の直接計算より優れていた。
論文 参考訳（メタデータ） (2020-02-13T18:52:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。