論文の概要: Can a Confident Prior Replace a Cold Posterior?

• arxiv url: http://arxiv.org/abs/2403.01272v1
• Date: Sat, 2 Mar 2024 17:28:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 14:29:35.898535
• Title: Can a Confident Prior Replace a Cold Posterior?
• Title（参考訳）: 信頼できる人は冷えた後部を先取りできるか?
• Authors: Martin Marek, Brooks Paige, Pavel Izmailov
• Abstract要約: 冷間後部の性能をサンプリングし,ほぼ一致させる「DirClip」を導入する。 第2に, 温度低下の限界において, 直接的に寒冷度を近似する「信頼先行」を導入するが, 容易にはサンプル化できない。
• 参考スコア（独自算出の注目度）: 20.018444020989712
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Benchmark datasets used for image classification tend to have very low levels of label noise. When Bayesian neural networks are trained on these datasets, they often underfit, misrepresenting the aleatoric uncertainty of the data. A common solution is to cool the posterior, which improves fit to the training data but is challenging to interpret from a Bayesian perspective. We explore whether posterior tempering can be replaced by a confidence-inducing prior distribution. First, we introduce a "DirClip" prior that is practical to sample and nearly matches the performance of a cold posterior. Second, we introduce a "confidence prior" that directly approximates a cold likelihood in the limit of decreasing temperature but cannot be easily sampled. Lastly, we provide several general insights into confidence-inducing priors, such as when they might diverge and how fine-tuning can mitigate numerical instability.
• Abstract（参考訳）: 画像分類に使用されるベンチマークデータセットは、ラベルノイズのレベルが非常に低い傾向にある。 ベイズニューラルネットワークがこれらのデータセットでトレーニングされる場合、しばしば不適合であり、データの照会的不確実性を誤って表現する。 一般的な解決策は後部を冷却することであり、トレーニングデータに適合するが、ベイズの観点から解釈することは困難である。 後方テンパリングが信頼誘導型事前分布に置き換えられるかどうかを検討する。 まず, 冷間後部の性能とほぼ一致した試料をサンプリングし, ほぼ一致させる「DirClip」を導入する。 第2に, 温度低下の限界において, 寒さを直接近似する「信頼先行」を導入するが, 容易にはサンプリングできない。 最後に、いつ分岐するか、微調整によって数値不安定が緩和されるかなど、信頼誘導前兆に関するいくつかの一般的な洞察を提供する。

関連論文リスト

• On Cold Posteriors of Probabilistic Neural Networks: Understanding the Cold Posterior Effect and A New Way to Learn Cold Posteriors with Tight Generalization Guarantees [4.532517021515833]
  ベイズ深層学習では、ニューラルネットワークの重みは事前分布を持つランダム変数として扱われる。 PAC-ベイズ解析は、ランダム化された予測子に対する一般化境界を導出する頻繁なフレームワークを提供する。 観測データの影響と事前正規化のバランスをとることで、ベイズモデルにおける過度な適合や過度な適合の問題に温度調整が対処できる。
  論文  参考訳（メタデータ） (2024-10-20T06:40:35Z)
• Calibrating Neural Simulation-Based Inference with Differentiable Coverage Probability [50.44439018155837]
  ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。 古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。 既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
  論文  参考訳（メタデータ） (2023-10-20T10:20:45Z)
• The fine print on tempered posteriors [4.503508912578133]
  我々は,温床後部を詳細に調査し,いくつかの重要かつ未特定な点を明らかにした。 以前の研究とは対照的に、最終的にPAC-Bayesian分析により、$lambda$の温度は、不一致の事前または可能性の修正として見ることはできないことを示した。
  論文  参考訳（メタデータ） (2023-09-11T08:21:42Z)
• Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
  ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。 入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。 CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
  論文  参考訳（メタデータ） (2022-07-13T14:13:49Z)
• On Uncertainty, Tempering, and Data Augmentation in Bayesian Classification [47.13680267076843]
  本研究では,アレータティック不確実性の明示的説明がベイズニューラルネットワークの性能を著しく向上させることを示す。 寒冷な後部は一つ以上の力によって誘惑され、しばしばより率直に言って、誘惑を伴わないよりもエレタリックな不確実性についての私たちの信念を反映している。
  論文  参考訳（メタデータ） (2022-03-30T17:17:50Z)
• Posterior temperature optimized Bayesian models for inverse problems in medical imaging [59.82184400837329]
  本研究は, 医用画像における逆問題に対する非教師的ベイズ的アプローチである。 最適化後温度が精度の向上と不確実性評価に繋がることを示す。 ソースコードは calibrated.com/Cardio-AI/mfvi-dip-mia で公開されています。
  論文  参考訳（メタデータ） (2022-02-02T12:16:33Z)
• Transformers Can Do Bayesian Inference [56.99390658880008]
  我々はPFN(Presideed Data Fitted Networks)を提案する。 PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。 我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
  論文  参考訳（メタデータ） (2021-12-20T13:07:39Z)
• Data augmentation in Bayesian neural networks and the cold posterior effect [28.10908356388375]
  拡張データセットのログライクな構造を見つける方法を示す。 提案手法では,テスト時と列車時の両方で,同じ画像が複数回拡大され,ロジットや予測確率が平均化される。 冷たい後部効果と相互作用するが、平均的なロジットや平均的な確率は排除しない。
  論文  参考訳（メタデータ） (2021-06-10T08:39:10Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• A statistical theory of cold posteriors in deep neural networks [32.45282187405337]
  画像分類のためのBNNは間違った可能性を持っていることを示す。 特に、CIFAR-10のような標準画像ベンチマークデータセットは慎重にキュレートされる。
  論文  参考訳（メタデータ） (2020-08-13T13:46:58Z)
• Cold Posteriors and Aleatoric Uncertainty [32.341379426923105]
  近年の研究では、ベイズニューラルネットワークの正確な推論は、検証セットで後部の「温度」をチューニングすることで達成されている。 我々は,多くの分類データセットにおいて,ラベルのアレラトリック不確実性を著しく過大評価することができることを論じる。
  論文  参考訳（メタデータ） (2020-07-31T18:37:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。