Fugu-MT 論文翻訳(概要): On the Performance of Direct Loss Minimization for Bayesian Neural Networks

論文の概要: On the Performance of Direct Loss Minimization for Bayesian Neural Networks

arxiv url: http://arxiv.org/abs/2211.08393v1
Date: Tue, 15 Nov 2022 18:39:06 GMT
ステータス: 処理完了
システム内更新日: 2022-11-16 13:53:03.800707
Title: On the Performance of Direct Loss Minimization for Bayesian Neural Networks
Title（参考訳）: ベイズ型ニューラルネットワークの直接損失最小化性能について
Authors: Yadi Wei, Roni Khardon
Abstract要約: 直接損失最小化(DLM)は、正規化損失最小化を動機とする擬ベイズ法として提案されている。本稿では,BNN における DLM の実用的性能,その失敗の原因と ELBO の最適化との関係について検討する。
参考スコア（独自算出の注目度）: 7.228820747275171
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Direct Loss Minimization (DLM) has been proposed as a pseudo-Bayesian method motivated as regularized loss minimization. Compared to variational inference, it replaces the loss term in the evidence lower bound (ELBO) with the predictive log loss, which is the same loss function used in evaluation. A number of theoretical and empirical results in prior work suggest that DLM can significantly improve over ELBO optimization for some models. However, as we point out in this paper, this is not the case for Bayesian neural networks (BNNs). The paper explores the practical performance of DLM for BNN, the reasons for its failure and its relationship to optimizing the ELBO, uncovering some interesting facts about both algorithms.
Abstract（参考訳）: 直接損失最小化(DLM)は、正規化損失最小化を動機とする擬ベイズ法として提案されている。変分推論と比較して、エビデンスローバウンド(ELBO)における損失項を、評価に使用されるのと同じ損失関数である予測ログ損失に置き換える。先行研究における多くの理論的および実証的な結果は、DLMが一部のモデルのELBO最適化よりも大幅に改善できることを示唆している。しかし、この論文で指摘されているように、ベイズニューラルネットワーク(bnns)ではそうではない。本稿では,BNN における DLM の実用性能,その失敗の原因と ELBO の最適化との関係について検討し,両者のアルゴリズムに関する興味深い事実を明らかにした。

関連論文リスト

Faster WIND: Accelerating Iterative Best-of-$N$ Distillation for LLM Alignment [81.84950252537618]
本稿では,反復的BONDと自己プレイアライメントの統一的なゲーム理論接続を明らかにする。 WINレート支配(WIN rate Dominance, WIND)という新しいフレームワークを構築し, 正規化利率支配最適化のためのアルゴリズムを多数提案する。
論文参考訳（メタデータ） (2024-10-28T04:47:39Z)
As Simple as Fine-tuning: LLM Alignment via Bidirectional Negative Feedback Loss [26.860139372768092]
本稿では、最適化中に安定な双方向負のフィードバック(BNF)を確立する新しいアライメント損失を提案する。提案するBNF損失は, 対意に対照的な損失が不要となる。我々は、2つの挑戦的なQAベンチマークと4つの推論ベンチマークにまたがる広範な実験を行っている。
論文参考訳（メタデータ） (2024-10-07T08:44:04Z)
Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
論文参考訳（メタデータ） (2024-05-26T05:38:50Z)
Physics-Informed Neural Networks: Minimizing Residual Loss with Wide Networks and Effective Activations [5.731640425517324]
特定の条件下では、広いニューラルネットワークによってPINNの残留損失を世界規模で最小化できることを示す。良好な高次導関数を持つ活性化関数は、残留損失を最小限に抑える上で重要な役割を果たす。確立された理論は、PINNの効果的な活性化関数の設計と選択の道を開く。
論文参考訳（メタデータ） (2024-05-02T19:08:59Z)
BSL: Understanding and Improving Softmax Loss for Recommendation [13.10440836605245]
ソフトマックス・ロス (SL) は, 精度は高いが, 堅牢性や公正性も向上する。本稿では, SL の利点を正と負の両面に拡張する新たな損失関数としてバイラテラル・ソフトマックス・ロス (BSL) を提案する。 BSLは単純で実装が容易で、SLと比較して1行追加のコードしか必要ありません。
論文参考訳（メタデータ） (2023-12-20T09:46:42Z)
Random Linear Projections Loss for Hyperplane-Based Optimization in Neural Networks [22.348887008547653]
この研究はRandom Linear Projections (RLP)損失を導入し、これはデータ内の幾何学的関係を利用してトレーニング効率を向上させる新しいアプローチである。ベンチマークデータセットと合成例を用いて実施した経験的評価では、従来の損失関数でトレーニングされたニューラルネットワークは、従来の損失関数でトレーニングされたニューラルネットワークよりも優れていたことが示されている。
論文参考訳（メタデータ） (2023-11-21T05:22:39Z)
A Fair Loss Function for Network Pruning [70.35230425589592]
本稿では, 刈り込み時のバイアスの抑制に使用できる簡易な改良型クロスエントロピー損失関数である, 性能重み付き損失関数を提案する。 CelebA、Fitzpatrick17k、CIFAR-10データセットを用いた実験は、提案手法が単純で効果的なツールであることを実証している。
論文参考訳（メタデータ） (2022-11-18T15:17:28Z)
Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
論文参考訳（メタデータ） (2022-09-04T06:45:33Z)
Focal and Efficient IOU Loss for Accurate Bounding Box Regression [63.14659624634066]
オブジェクト検出では、境界ボックス回帰(BBR)はオブジェクトローカリゼーションのパフォーマンスを決定する重要なステップです。 i) $ell_n$-norm と IOU ベースのロス関数はどちらも BBR の目的を描くのに非効率的であり、これは遅い収束と不正確な回帰結果をもたらす。
論文参考訳（メタデータ） (2021-01-20T14:33:58Z)
On Mean Absolute Error for Deep Neural Network Based Vector-to-Vector Regression [79.86233860519621]
我々は,ディープニューラルネットワーク(DNN)に基づくベクトル-ベクトル回帰の損失関数として,平均絶対誤差(MAE)の特性を利用する。我々は,MAEをラプラシアン分布によってモデル化された誤差として解釈できることを示す。
論文参考訳（メタデータ） (2020-08-12T22:41:26Z)
Direct loss minimization algorithms for sparse Gaussian processes [9.041035455989181]
本論文は,疎ガウス過程の予測損失を最小限に抑えるために後部を最適化する直接損失(DLM)を徹底的に検討する。非共役ケースにおけるDLMの適用は、ログロスDLMの目的における期待の最小化がしばしば引き起こされるため、より複雑である。
論文参考訳（メタデータ） (2020-04-07T02:31:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。