論文の概要: The fine print on tempered posteriors

• arxiv url: http://arxiv.org/abs/2309.05292v1
• Date: Mon, 11 Sep 2023 08:21:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-12 13:16:00.008173
• Title: The fine print on tempered posteriors
• Title（参考訳）: 温熱後部における微細印刷
• Authors: Konstantinos Pitas, Julyan Arbel
• Abstract要約: 我々は,温床後部を詳細に調査し,いくつかの重要かつ未特定な点を明らかにした。 以前の研究とは対照的に、最終的にPAC-Bayesian分析により、$lambda$の温度は、不一致の事前または可能性の修正として見ることはできないことを示した。
• 参考スコア（独自算出の注目度）: 4.503508912578133
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We conduct a detailed investigation of tempered posteriors and uncover a number of crucial and previously undiscussed points. Contrary to previous results, we first show that for realistic models and datasets and the tightly controlled case of the Laplace approximation to the posterior, stochasticity does not in general improve test accuracy. The coldest temperature is often optimal. One might think that Bayesian models with some stochasticity can at least obtain improvements in terms of calibration. However, we show empirically that when gains are obtained this comes at the cost of degradation in test accuracy. We then discuss how targeting Frequentist metrics using Bayesian models provides a simple explanation of the need for a temperature parameter $\lambda$ in the optimization objective. Contrary to prior works, we finally show through a PAC-Bayesian analysis that the temperature $\lambda$ cannot be seen as simply fixing a misspecified prior or likelihood.
• Abstract（参考訳）: 我々は,温帯後方の詳細な調査を行い,重要かつこれまで公表されていなかった点を明らかにした。 従来の結果とは対照的に, 実モデルやデータセット, 後方ラプラス近似の厳密な制御の場合, 確率性は一般にテスト精度を向上しないことを示した。 最も寒い温度はしばしば最適である。 確率性のあるベイズ模型は、少なくともキャリブレーションの観点から改善が得られると考えることができるかもしれない。 しかし、結果が得られた場合、テスト精度が低下するコストがかかることが実証的に示される。 次に、ベイジアンモデルを用いたFrequentistメトリクスのターゲティングが、最適化の目的において温度パラメータ$\lambda$の必要性を簡単に説明する方法について論じる。 以前の研究とは対照的に、最終的にPAC-Bayesian分析により、温度$\lambda$は単に不特定な事前あるいは可能性の修正として見ることはできないことを示した。

関連論文リスト

• Temperature Optimization for Bayesian Deep Learning [9.610060788662972]
  テストログ予測密度を最大化する温度を選択するためのデータ駆動手法を提案する。 提案手法は,グリッド探索において,コストのごく一部で比較可能な性能を実証的に証明する。
  論文  参考訳（メタデータ） (2024-10-08T07:32:22Z)
• Can a Confident Prior Replace a Cold Posterior? [20.018444020989712]
  冷間後部の性能をサンプリングし,ほぼ一致させる「DirClip」を導入する。 第2に, 温度低下の限界において, 直接的に寒冷度を近似する「信頼先行」を導入するが, 容易にはサンプル化できない。
  論文  参考訳（メタデータ） (2024-03-02T17:28:55Z)
• Extracting or Guessing? Improving Faithfulness of Event Temporal Relation Extraction [87.04153383938969]
  本研究では,TempRel抽出モデルの忠実度を2つの観点から改善する。 第1の視点は、文脈記述に基づいて真に抽出することである。 第2の視点は、適切な不確実性評価を提供することである。
  論文  参考訳（メタデータ） (2022-10-10T19:53:13Z)
• Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
  ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。 入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。 CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
  論文  参考訳（メタデータ） (2022-07-13T14:13:49Z)
• Boost Test-Time Performance with Closed-Loop Inference [85.43516360332646]
  そこで本研究では,モデル性能を高めるために,ループ方式でハードクラス化試験サンプルを予測することを提案する。 まず、追加の推論ループを必要とするハードクラス化テストサンプルを識別するためにフィルタリング基準を考案する。 各ハードサンプルに対して、モデルのキャリブレーションを行うために、元の上位$K$予測に基づいて補助学習タスクを構築する。
  論文  参考訳（メタデータ） (2022-03-21T10:20:21Z)
• Posterior temperature optimized Bayesian models for inverse problems in medical imaging [59.82184400837329]
  本研究は, 医用画像における逆問題に対する非教師的ベイズ的アプローチである。 最適化後温度が精度の向上と不確実性評価に繋がることを示す。 ソースコードは calibrated.com/Cardio-AI/mfvi-dip-mia で公開されています。
  論文  参考訳（メタデータ） (2022-02-02T12:16:33Z)
• Posterior Temperature Optimization in Variational Inference [69.50862982117127]
  ディープラーニングの文脈では、コールドフォレストは実践上より優れていることが報告されている。 本研究は,まず,平均場変動推定において,完全に温められた後部のためにELBOを導出する。 次にベイズ最適化を用いて最適後温度を自動的に求める。
  論文  参考訳（メタデータ） (2021-06-11T13:01:28Z)
• Cold Posteriors and Aleatoric Uncertainty [32.341379426923105]
  近年の研究では、ベイズニューラルネットワークの正確な推論は、検証セットで後部の「温度」をチューニングすることで達成されている。 我々は,多くの分類データセットにおいて,ラベルのアレラトリック不確実性を著しく過大評価することができることを論じる。
  論文  参考訳（メタデータ） (2020-07-31T18:37:31Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。