論文の概要: Bayesian Neural Networks: A Min-Max Game Framework

• arxiv url: http://arxiv.org/abs/2311.11126v2
• Date: Wed, 29 May 2024 08:43:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 00:00:32.699074
• Title: Bayesian Neural Networks: A Min-Max Game Framework
• Title（参考訳）: Bayesian Neural Networks: Min-Max Game Framework
• Authors: Junping Hong, Ercan Engin Kuruoglu,
• Abstract要約: 我々は、決定論的ニューラルネットワーク$f$とサンプリングネットワーク$f + xi$または$f + r*xi$の間のゲーム理論を介してBNNを定式化する。 以前の BNN と比較すると、BNN は中心 $f$ とサンプリング点 $f + r*xi$ の間のあるギャップ内で解空間を学習する。 f$ と $f + r*xi$ の間の最小点が安定になるのは、その部分空間次元が十分に大きく、十分に訓練されたモデル $f$ が成り立つときである。
• 参考スコア（独自算出の注目度）: 1.8032347672439046
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper is a preliminary study of the robustness and noise analysis of deep neural networks via a game theory formulation Bayesian Neural Networks (BNN) and the maximal coding rate distortion loss. BNN has been shown to provide some robustness to deep learning, and the minimax method used to be a natural conservative way to assist the Bayesian method. Inspired by the recent closed-loop transcription neural network, we formulate the BNN via game theory between the deterministic neural network $f$ and the sampling network $f + \xi$ or $f + r*\xi$. Compared with previous BNN, BNN via game theory learns a solution space within a certain gap between the center $f$ and the sampling point $f + r*\xi$, and is a conservative choice with a meaningful prior setting compared with previous BNN. Furthermore, the minimum points between $f$ and $f + r*\xi$ become stable when the subspace dimension is large enough with a well-trained model $f$. With these, the model $f$ can have a high chance of recognizing the out-of-distribution data or noise data in the subspace rather than the prediction level, even if $f$ is in online training after a few iterations of true data. So far, our experiments are limited to MNIST and Fashion MNIST data sets, more experiments with realistic data sets and complicated neural network models should be implemented to validate the above arguments.
• Abstract（参考訳）: 本稿では,ゲーム理論を定式化したベイズニューラルネットワーク(BNN)と最大符号化速度歪み損失を用いたディープニューラルネットワークのロバスト性と雑音解析について予備的検討を行う。 BNNは深層学習にある程度の堅牢性を提供しており、ミニマックス法はベイズ法を補助する自然な保守的な方法であった。 最近の閉ループ転写ニューラルネットワークに触発されて、決定論的ニューラルネットワーク$f$とサンプリングネットワーク$f + \xi$または$f + r*\xi$の間のゲーム理論を介してBNNを定式化する。 従来のBNNと比較すると、BNNは中心$f$とサンプリングポイント$f + r*\xi$の間の一定のギャップ内で解空間を学習し、以前のBNNと比較して意味のある事前設定を持つ保守的な選択である。 さらに、$f$ と $f + r*\xi$ の間の最小点は、十分に訓練されたモデル $f$ で、部分空間次元が十分に大きいときに安定となる。 これにより、$f$は、たとえ$f$が真のデータを数回繰り返してオンライントレーニングしているとしても、予測レベルよりもサブスペース内の配布外データやノイズデータを認識する確率が高い。 これまでのところ、我々の実験はMNISTとFashion MNISTのデータセットに限られており、現実的なデータセットと複雑なニューラルネットワークモデルを用いたさらなる実験は、上記の議論を検証するために実装されるべきである。

関連論文リスト

• Neural-g: A Deep Learning Framework for Mixing Density Estimation [16.464806944964003]
  混合(または先行)密度推定は、機械学習と統計学において重要な問題である。 本稿では,新しいニューラルネットワークを用いたモデリング手法であるNeural-$g$を提案する。
  論文  参考訳（メタデータ） (2024-06-10T03:00:28Z)
• Bayesian Inference with Deep Weakly Nonlinear Networks [57.95116787699412]
  我々は,完全連結ニューラルネットワークによるベイズ推定が解けることを示す物理レベルの厳密さを示す。 我々はモデルエビデンスを計算し、任意の温度で1/N$で任意の順序に後続する手法を提供する。
  論文  参考訳（メタデータ） (2024-05-26T17:08:04Z)
• Minimax Optimal Quantization of Linear Models: Information-Theoretic Limits and Efficient Algorithms [59.724977092582535]
  測定から学習した線形モデルの定量化の問題を考える。 この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。 本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-23T02:39:04Z)
• Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
  現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。 本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。 我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
  論文  参考訳（メタデータ） (2022-01-11T20:53:15Z)
• Robustness of Bayesian Neural Networks to White-Box Adversarial Attacks [55.531896312724555]
  ベイジアンネットワーク(BNN)は、ランダム性を組み込むことで、敵の攻撃を扱うのに頑丈で適している。 我々はベイズ的推論(つまり変分ベイズ)をDenseNetアーキテクチャに融合させることで、BNN-DenseNetと呼ばれるBNNモデルを作成する。 逆向きに訓練されたBNNは、ほとんどの実験で非ベイズ的で逆向きに訓練されたBNNよりも優れています。
  論文  参考訳（メタデータ） (2021-11-16T16:14:44Z)
• Does Preprocessing Help Training Over-parameterized Neural Networks? [19.64638346701198]
  我々は,$Omega(mnd)$バリアをバイパスする2つの新しい前処理手法を提案する。 本研究は,これまでに確立された高速訓練法について理論的考察を行った。
  論文  参考訳（メタデータ） (2021-10-09T18:16:23Z)
• The Rate of Convergence of Variation-Constrained Deep Neural Networks [35.393855471751756]
  変動制約のあるニューラルネットワークのクラスは、任意に小さな定数$delta$に対して、ほぼパラメトリックレート$n-1/2+delta$を達成することができることを示す。 その結果、滑らかな関数の近似に必要な神経機能空間は、しばしば知覚されるものほど大きくない可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-22T21:28:00Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)
• Towards Deep Learning Models Resistant to Large Perturbations [0.0]
  敵対的堅牢性は、機械学習アルゴリズムの必須特性であることが証明されている。 とよばれるアルゴリズムは、大きくても合理的で摂動のマグニチュードが与えられたディープニューラルネットワークのトレーニングに失敗することを示した。
  論文  参考訳（メタデータ） (2020-03-30T12:03:09Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。