論文の概要: A statistical theory of cold posteriors in deep neural networks

• arxiv url: http://arxiv.org/abs/2008.05912v2
• Date: Tue, 27 Apr 2021 14:33:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-30 22:37:28.223195
• Title: A statistical theory of cold posteriors in deep neural networks
• Title（参考訳）: 深部ニューラルネットワークにおける冷後流の統計的理論
• Authors: Laurence Aitchison
• Abstract要約: 画像分類のためのBNNは間違った可能性を持っていることを示す。 特に、CIFAR-10のような標準画像ベンチマークデータセットは慎重にキュレートされる。
• 参考スコア（独自算出の注目度）: 32.45282187405337
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To get Bayesian neural networks to perform comparably to standard neural networks it is usually necessary to artificially reduce uncertainty using a "tempered" or "cold" posterior. This is extremely concerning: if the prior is accurate, Bayes inference/decision theory is optimal, and any artificial changes to the posterior should harm performance. While this suggests that the prior may be at fault, here we argue that in fact, BNNs for image classification use the wrong likelihood. In particular, standard image benchmark datasets such as CIFAR-10 are carefully curated. We develop a generative model describing curation which gives a principled Bayesian account of cold posteriors, because the likelihood under this new generative model closely matches the tempered likelihoods used in past work.
• Abstract（参考訳）: ベイズ型ニューラルネットワークを標準ニューラルネットワークと互換性を持たせるためには、通常、"tempered" または "cold" の後方で不確かさを人為的に減らす必要がある。 事前が正確であれば、ベイズ推論/決定理論は最適であり、後方へのいかなる人工的な変化も性能に悪影響を及ぼす。 これは前者の誤りを示唆するが、実際、画像分類のためのbnnは間違った可能性を使っていると論じている。 特に、CIFAR-10のような標準画像ベンチマークデータセットは慎重にキュレートされる。 この新しい生成モデルの下での確率は,過去の研究で使われた温和な確率と密接に一致するため,ベイズ理論に基づく寒冷な後方のベイズ的説明を与えるキュレーションを記述する生成モデルを開発した。

関連論文リスト

• Can a Confident Prior Replace a Cold Posterior? [20.018444020989712]
  冷間後部の性能をサンプリングし,ほぼ一致させる「DirClip」を導入する。 第2に, 温度低下の限界において, 直接的に寒冷度を近似する「信頼先行」を導入するが, 容易にはサンプル化できない。
  論文  参考訳（メタデータ） (2024-03-02T17:28:55Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Bayesian Neural Network Priors Revisited [29.949163519715952]
  SGDを用いて訓練された異なるネットワークにおけるニューラルネットワーク重みの要約統計について検討する。 我々は、フルコネクテッドネットワーク(FCNN)は重尾重み分布を示し、畳み込みニューラルネットワーク(CNN)重みは強い空間相関を示すことを発見した。
  論文  参考訳（メタデータ） (2021-02-12T15:18:06Z)
• A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
  モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。 線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。 以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
  論文  参考訳（メタデータ） (2020-10-27T17:56:14Z)
• Cold Posteriors and Aleatoric Uncertainty [32.341379426923105]
  近年の研究では、ベイズニューラルネットワークの正確な推論は、検証セットで後部の「温度」をチューニングすることで達成されている。 我々は,多くの分類データセットにおいて,ラベルのアレラトリック不確実性を著しく過大評価することができることを論じる。
  論文  参考訳（メタデータ） (2020-07-31T18:37:31Z)
• Neural Networks with Recurrent Generative Feedback [61.90658210112138]
  畳み込みニューラルネットワーク(CNN)でこの設計をインスタンス化する 実験では、標準ベンチマーク上の従来のフィードフォワードCNNに対して、CNN-Fは敵のロバスト性を大幅に改善した。
  論文  参考訳（メタデータ） (2020-07-17T19:32:48Z)
• Bayesian Neural Network via Stochastic Gradient Descent [0.0]
  本稿では,勾配推定手法を用いてベイズニューラルネットワークに勾配推定を適用する方法を示す。 我々の研究はベイジアンニューラルネットワークを用いた回帰手法のこれまでの状況を大きく上回っている。
  論文  参考訳（メタデータ） (2020-06-04T18:33:59Z)
• Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
  我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。 さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
  論文  参考訳（メタデータ） (2020-02-24T08:52:06Z)
• How Good is the Bayes Posterior in Deep Neural Networks Really? [46.66866466260469]
  我々は、人気のあるディープニューラルネットワークにおけるベイズ後部の現在の理解に疑問を投げかけた。 我々は,ベイズ後縁から誘導される後縁予測が系統的に悪くなることをMCMCサンプリングを用いて実証した。 寒冷な後部を説明できる仮説をいくつか提示し,実験を通じて仮説を評価した。
  論文  参考訳（メタデータ） (2020-02-06T17:38:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。