論文の概要: On the Performance of Direct Loss Minimization for Bayesian Neural
Networks
- arxiv url: http://arxiv.org/abs/2211.08393v1
- Date: Tue, 15 Nov 2022 18:39:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-16 13:53:03.800707
- Title: On the Performance of Direct Loss Minimization for Bayesian Neural
Networks
- Title(参考訳): ベイズ型ニューラルネットワークの直接損失最小化性能について
- Authors: Yadi Wei, Roni Khardon
- Abstract要約: 直接損失最小化(DLM)は、正規化損失最小化を動機とする擬ベイズ法として提案されている。
本稿では,BNN における DLM の実用的性能,その失敗の原因と ELBO の最適化との関係について検討する。
- 参考スコア(独自算出の注目度): 7.228820747275171
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Direct Loss Minimization (DLM) has been proposed as a pseudo-Bayesian method
motivated as regularized loss minimization. Compared to variational inference,
it replaces the loss term in the evidence lower bound (ELBO) with the
predictive log loss, which is the same loss function used in evaluation. A
number of theoretical and empirical results in prior work suggest that DLM can
significantly improve over ELBO optimization for some models. However, as we
point out in this paper, this is not the case for Bayesian neural networks
(BNNs). The paper explores the practical performance of DLM for BNN, the
reasons for its failure and its relationship to optimizing the ELBO, uncovering
some interesting facts about both algorithms.
- Abstract(参考訳): 直接損失最小化(DLM)は、正規化損失最小化を動機とする擬ベイズ法として提案されている。
変分推論と比較して、エビデンスローバウンド(ELBO)における損失項を、評価に使用されるのと同じ損失関数である予測ログ損失に置き換える。
先行研究における多くの理論的および実証的な結果は、DLMが一部のモデルのELBO最適化よりも大幅に改善できることを示唆している。
しかし、この論文で指摘されているように、ベイズニューラルネットワーク(bnns)ではそうではない。
本稿では,BNN における DLM の実用性能,その失敗の原因と ELBO の最適化との関係について検討し,両者のアルゴリズムに関する興味深い事実を明らかにした。
関連論文リスト
- BSL: Understanding and Improving Softmax Loss for Recommendation [13.10440836605245]
ソフトマックス・ロス (SL) は, 精度は高いが, 堅牢性や公正性も向上する。
本稿では, SL の利点を正と負の両面に拡張する新たな損失関数としてバイラテラル・ソフトマックス・ロス (BSL) を提案する。
BSLは単純で実装が容易で、SLと比較して1行追加のコードしか必要ありません。
論文 参考訳(メタデータ) (2023-12-20T09:46:42Z) - Random Linear Projections Loss for Hyperplane-Based Optimization in
Neural Networks [25.11790930679232]
この研究はRandom Linear Projections (RLP)損失を導入し、これはデータ内の幾何学的関係を利用してトレーニング効率を向上させる新しいアプローチである。
ベンチマークデータセットと合成例を用いて実施した経験的評価では、従来の損失関数でトレーニングされたニューラルネットワークは、従来の損失関数でトレーニングされたニューラルネットワークよりも優れていたことが示されている。
論文 参考訳(メタデータ) (2023-11-21T05:22:39Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳(メタデータ) (2023-05-30T19:37:44Z) - Principled Pruning of Bayesian Neural Networks through Variational Free
Energy Minimization [2.3999111269325266]
ベイジアンニューラルネットワークの原理的プルーニングを行うためにベイジアンモデルレダクションを定式化し,適用する。
ベイズモデル削減に伴う問題を緩和するために, 新たな反復刈り込みアルゴリズムを提案する。
本実験は,最先端の刈り取り方式と比較して,優れたモデル性能を示す。
論文 参考訳(メタデータ) (2022-10-17T14:34:42Z) - Inducing Early Neural Collapse in Deep Neural Networks for Improved
Out-of-Distribution Detection [0.9558392439655015]
本稿では,標準ResNetアーキテクチャの簡易な修正,すなわち機能空間上のL2正規化を提案する。
この変化は初期のニューラル・コラプス(NC)も引き起こし、より優れたOoD性能が期待できる効果を示す。
論文 参考訳(メタデータ) (2022-09-17T17:46:06Z) - Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。
私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。
我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
論文 参考訳(メタデータ) (2022-09-04T06:45:33Z) - Imputation-Free Learning from Incomplete Observations [73.15386629370111]
本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。
バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。
我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
論文 参考訳(メタデータ) (2021-07-05T12:44:39Z) - Focal and Efficient IOU Loss for Accurate Bounding Box Regression [63.14659624634066]
オブジェクト検出では、境界ボックス回帰(BBR)はオブジェクトローカリゼーションのパフォーマンスを決定する重要なステップです。
i) $ell_n$-norm と IOU ベースのロス関数はどちらも BBR の目的を描くのに非効率的であり、これは遅い収束と不正確な回帰結果をもたらす。
論文 参考訳(メタデータ) (2021-01-20T14:33:58Z) - On Mean Absolute Error for Deep Neural Network Based Vector-to-Vector
Regression [79.86233860519621]
我々は,ディープニューラルネットワーク(DNN)に基づくベクトル-ベクトル回帰の損失関数として,平均絶対誤差(MAE)の特性を利用する。
我々は,MAEをラプラシアン分布によってモデル化された誤差として解釈できることを示す。
論文 参考訳(メタデータ) (2020-08-12T22:41:26Z) - Bandit Samplers for Training Graph Neural Networks [63.17765191700203]
グラフ畳み込みネットワーク(GCN)の訓練を高速化するために, ばらつきを低減したサンプリングアルゴリズムが提案されている。
これらのサンプリングアルゴリズムは、グラフ注意ネットワーク(GAT)のような固定重みよりも学習重量を含む、より一般的なグラフニューラルネットワーク(GNN)には適用できない。
論文 参考訳(メタデータ) (2020-06-10T12:48:37Z) - Direct loss minimization algorithms for sparse Gaussian processes [9.041035455989181]
本論文は,疎ガウス過程の予測損失を最小限に抑えるために後部を最適化する直接損失(DLM)を徹底的に検討する。
非共役ケースにおけるDLMの適用は、ログロスDLMの目的における期待の最小化がしばしば引き起こされるため、より複雑である。
論文 参考訳(メタデータ) (2020-04-07T02:31:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。