論文の概要: Bayesian Neural Networks: A Min-Max Game Framework

• arxiv url: http://arxiv.org/abs/2311.11126v2
• Date: Wed, 29 May 2024 08:43:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 00:00:32.699074
• Title: Bayesian Neural Networks: A Min-Max Game Framework
• Title（参考訳）: Bayesian Neural Networks: Min-Max Game Framework
• Authors: Junping Hong, Ercan Engin Kuruoglu,
• Abstract要約: 我々は、決定論的ニューラルネットワーク$f$とサンプリングネットワーク$f + xi$または$f + r*xi$の間のゲーム理論を介してBNNを定式化する。 以前の BNN と比較すると、BNN は中心 $f$ とサンプリング点 $f + r*xi$ の間のあるギャップ内で解空間を学習する。 f$ と $f + r*xi$ の間の最小点が安定になるのは、その部分空間次元が十分に大きく、十分に訓練されたモデル $f$ が成り立つときである。
• 参考スコア（独自算出の注目度）: 1.8032347672439046
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper is a preliminary study of the robustness and noise analysis of deep neural networks via a game theory formulation Bayesian Neural Networks (BNN) and the maximal coding rate distortion loss. BNN has been shown to provide some robustness to deep learning, and the minimax method used to be a natural conservative way to assist the Bayesian method. Inspired by the recent closed-loop transcription neural network, we formulate the BNN via game theory between the deterministic neural network $f$ and the sampling network $f + \xi$ or $f + r*\xi$. Compared with previous BNN, BNN via game theory learns a solution space within a certain gap between the center $f$ and the sampling point $f + r*\xi$, and is a conservative choice with a meaningful prior setting compared with previous BNN. Furthermore, the minimum points between $f$ and $f + r*\xi$ become stable when the subspace dimension is large enough with a well-trained model $f$. With these, the model $f$ can have a high chance of recognizing the out-of-distribution data or noise data in the subspace rather than the prediction level, even if $f$ is in online training after a few iterations of true data. So far, our experiments are limited to MNIST and Fashion MNIST data sets, more experiments with realistic data sets and complicated neural network models should be implemented to validate the above arguments.
• Abstract（参考訳）: 本稿では,ゲーム理論を定式化したベイズニューラルネットワーク(BNN)と最大符号化速度歪み損失を用いたディープニューラルネットワークのロバスト性と雑音解析について予備的検討を行う。 BNNは深層学習にある程度の堅牢性を提供しており、ミニマックス法はベイズ法を補助する自然な保守的な方法であった。 最近の閉ループ転写ニューラルネットワークに触発されて、決定論的ニューラルネットワーク$f$とサンプリングネットワーク$f + \xi$または$f + r*\xi$の間のゲーム理論を介してBNNを定式化する。 従来のBNNと比較すると、BNNは中心$f$とサンプリングポイント$f + r*\xi$の間の一定のギャップ内で解空間を学習し、以前のBNNと比較して意味のある事前設定を持つ保守的な選択である。 さらに、$f$ と $f + r*\xi$ の間の最小点は、十分に訓練されたモデル $f$ で、部分空間次元が十分に大きいときに安定となる。 これにより、$f$は、たとえ$f$が真のデータを数回繰り返してオンライントレーニングしているとしても、予測レベルよりもサブスペース内の配布外データやノイズデータを認識する確率が高い。 これまでのところ、我々の実験はMNISTとFashion MNISTのデータセットに限られており、現実的なデータセットと複雑なニューラルネットワークモデルを用いたさらなる実験は、上記の議論を検証するために実装されるべきである。

関連論文リスト

• Computable Lipschitz Bounds for Deep Neural Networks [0.0]
  我々は$l2$ノルムのために書かれた3つの既存の上限を分析する。 本稿では,フィードフォワード完全接続ニューラルネットワークと畳み込みニューラルネットワークの2つの新しい境界を提案する。
  論文  参考訳（メタデータ） (2024-10-28T14:09:46Z)
• LinSATNet: The Positive Linear Satisfiability Neural Networks [116.65291739666303]
  本稿では,ニューラルネットワークに人気の高い正の線形満足度を導入する方法について検討する。 本稿では,古典的なシンクホーンアルゴリズムを拡張し,複数の辺分布の集合を共同で符号化する,最初の微分可能満足層を提案する。
  論文  参考訳（メタデータ） (2024-07-18T22:05:21Z)
• Masked Bayesian Neural Networks : Theoretical Guarantee and its Posterior Inference [1.2722697496405464]
  本稿では,理論特性が良好で,計算可能な新しいノードスパースBNNモデルを提案する。 我々は、真のモデルに対する後部濃度速度が、真のモデルの滑らかさに適応する最小限の最適値に近いことを証明した。 さらに,ノードスパースBNNモデルのベイズ推定を現実的に実現可能な新しいMCMCアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-05-24T06:16:11Z)
• Coin Flipping Neural Networks [8.009932864430901]
  ランダム性を持つニューラルネットワークは、増幅を用いて決定論的ネットワークより優れていることを示す。 我々は、ほとんどの分類問題に対して、決定論的ネットワークよりも高い精度または少ないニューロンでそれらを解くCFNNが存在すると推測する。
  論文  参考訳（メタデータ） (2022-06-18T11:19:44Z)
• Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
  現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。 本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。 我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
  論文  参考訳（メタデータ） (2022-01-11T20:53:15Z)
• Robustness of Bayesian Neural Networks to White-Box Adversarial Attacks [55.531896312724555]
  ベイジアンネットワーク(BNN)は、ランダム性を組み込むことで、敵の攻撃を扱うのに頑丈で適している。 我々はベイズ的推論(つまり変分ベイズ)をDenseNetアーキテクチャに融合させることで、BNN-DenseNetと呼ばれるBNNモデルを作成する。 逆向きに訓練されたBNNは、ほとんどの実験で非ベイズ的で逆向きに訓練されたBNNよりも優れています。
  論文  参考訳（メタデータ） (2021-11-16T16:14:44Z)
• EE-Net: Exploitation-Exploration Neural Networks in Contextual Bandits [52.98326168071513]
  EE-Netは、新しい探索戦略を持つニューラルネットワークベースのバンドイットアプローチである。 EE-Net が $mathcalO(sqrtTlog T)$ regret を達成することを示す。
  論文  参考訳（メタデータ） (2021-10-07T04:12:36Z)
• A Law of Robustness for Weight-bounded Neural Networks [37.54604146791085]
  最近(bubeck et al., 2020)は、k$ニューロンを持つ2層ネットワークを使ってジェネリックデータセットに適合する場合、最小のリプシッツ定数は$omega(sqrtfracnk)$であると予想した。 本研究では,任意のモデルクラスに対して,有界ラデマチャー複雑性を持つLipschitz定数の下限を導出する。 この結果は(bubeck et al., 2020)2層ネットワークにおける有界重みを仮定した予想と一致する。
  論文  参考訳（メタデータ） (2021-02-16T11:28:59Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。