論文の概要: Temperature Optimization for Bayesian Deep Learning

• arxiv url: http://arxiv.org/abs/2410.05757v1
• Date: Tue, 8 Oct 2024 07:32:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 13:09:48.716498
• Title: Temperature Optimization for Bayesian Deep Learning
• Title（参考訳）: ベイズ深層学習のための温度最適化
• Authors: Kenyon Ng, Chris van der Heide, Liam Hodgkinson, Susan Wei,
• Abstract要約: テストログ予測密度を最大化する温度を選択するためのデータ駆動手法を提案する。 提案手法は,グリッド探索において,コストのごく一部で比較可能な性能を実証的に証明する。
• 参考スコア（独自算出の注目度）: 9.610060788662972
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Cold Posterior Effect (CPE) is a phenomenon in Bayesian Deep Learning (BDL), where tempering the posterior to a cold temperature often improves the predictive performance of the posterior predictive distribution (PPD). Although the term `CPE' suggests colder temperatures are inherently better, the BDL community increasingly recognizes that this is not always the case. Despite this, there remains no systematic method for finding the optimal temperature beyond grid search. In this work, we propose a data-driven approach to select the temperature that maximizes test log-predictive density, treating the temperature as a model parameter and estimating it directly from the data. We empirically demonstrate that our method performs comparably to grid search, at a fraction of the cost, across both regression and classification tasks. Finally, we highlight the differing perspectives on CPE between the BDL and Generalized Bayes communities: while the former primarily focuses on predictive performance of the PPD, the latter emphasizes calibrated uncertainty and robustness to model misspecification; these distinct objectives lead to different temperature preferences.
• Abstract（参考訳）: CPE(Cold Posterior Effect)は、ベイズ深層学習(BDL)において、後部を低温に温めることにより、後部予測分布(PPD)の予測性能が向上する現象である。 CPE」という言葉は寒さが本質的に優れていることを示しているが、BDLコミュニティは必ずしもそうではないと認識している。 それにもかかわらず、グリッドサーチ以外の最適温度を見つけるための体系的な手法はいまだ残っていない。 本研究では,テストログ予測密度を最大化し,温度をモデルパラメータとして扱い,データから直接推定する温度を選択するためのデータ駆動手法を提案する。 提案手法は,回帰処理と分類処理の両方において,コストのごく一部でグリッド探索に比較可能な性能を実証的に証明する。 最後に、BDLと一般ベイズコミュニティのCPEに関する異なる視点を強調し、前者はPDの予測性能に主眼を置いているが、後者は不特定性をモデル化するための校正された不確実性と堅牢性を強調している。

関連論文リスト

• Adaptive Decoding via Latent Preference Optimization [55.70602730588745]
  モデルに付加されたレイヤであるAdaptive Decodingを導入し、推論時にサンプリング温度を動的に選択する。 我々の手法は、異なる温度を必要とする様々なタスクにおいて、すべての固定デコード温度を上回ります。
  論文  参考訳（メタデータ） (2024-11-14T18:31:39Z)
• Delving into temperature scaling for adaptive conformal prediction [10.340903334800787]
  コンフォーマル予測は、新たな不確実性保証手法として、予め定義された確率で真のラベルを含むことが保証される予測セットを構築する。 温度スケーリングのような現在の信頼度校正法は、適応的等角予測において、通常より大きな予測セットをもたらすことを示す。 本稿では,適応型共形予測の効率向上を目的とした温度スケーリングの変種である$Conformal$$Temperature$$Scaling$ (ConfTS)を提案する。
  論文  参考訳（メタデータ） (2024-02-06T19:27:48Z)
• The fine print on tempered posteriors [4.503508912578133]
  我々は,温床後部を詳細に調査し,いくつかの重要かつ未特定な点を明らかにした。 以前の研究とは対照的に、最終的にPAC-Bayesian分析により、$lambda$の温度は、不一致の事前または可能性の修正として見ることはできないことを示した。
  論文  参考訳（メタデータ） (2023-09-11T08:21:42Z)
• Long Horizon Temperature Scaling [90.03310732189543]
  LHTS(Long Horizon Temperature Scaling)は、温度スケールの関節分布をサンプリングするための新しい手法である。 温度依存性のLHTS目標を導出し, 温度範囲のモデルを微調整することで, 制御可能な長地平線温度パラメータで生成可能な単一モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-02-07T18:59:32Z)
• Extracting or Guessing? Improving Faithfulness of Event Temporal Relation Extraction [87.04153383938969]
  本研究では,TempRel抽出モデルの忠実度を2つの観点から改善する。 第1の視点は、文脈記述に基づいて真に抽出することである。 第2の視点は、適切な不確実性評価を提供することである。
  論文  参考訳（メタデータ） (2022-10-10T19:53:13Z)
• Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
  ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。 入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。 CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
  論文  参考訳（メタデータ） (2022-07-13T14:13:49Z)
• Posterior temperature optimized Bayesian models for inverse problems in medical imaging [59.82184400837329]
  本研究は, 医用画像における逆問題に対する非教師的ベイズ的アプローチである。 最適化後温度が精度の向上と不確実性評価に繋がることを示す。 ソースコードは calibrated.com/Cardio-AI/mfvi-dip-mia で公開されています。
  論文  参考訳（メタデータ） (2022-02-02T12:16:33Z)
• Posterior Temperature Optimization in Variational Inference [69.50862982117127]
  ディープラーニングの文脈では、コールドフォレストは実践上より優れていることが報告されている。 本研究は,まず,平均場変動推定において,完全に温められた後部のためにELBOを導出する。 次にベイズ最適化を用いて最適後温度を自動的に求める。
  論文  参考訳（メタデータ） (2021-06-11T13:01:28Z)
• A Transfer Learning-based State of Charge Estimation for Lithium-Ion Battery at Varying Ambient Temperatures [14.419790834463548]
  リチウムイオン電池(LiB)駆動デバイスに安定かつ効率的な環境を提供するためには、充電状態(SoC)推定が重要です。 ほとんどのデータ駆動SoCモデルは、温度に対するLiBの高感度を無視し、深刻な予測誤差を引き起こす可能性がある固定周囲温度のために構築されています。 提案手法は, 固定温度での予測誤差(例えば-20degCで24.35%, 25degCで49.82%)を低減させるだけでなく, 新温度での予測精度も向上する。
  論文  参考訳（メタデータ） (2021-01-11T05:26:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。