論文の概要: Deep Ensemble as a Gaussian Process Approximate Posterior

• arxiv url: http://arxiv.org/abs/2205.00163v1
• Date: Sat, 30 Apr 2022 05:25:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-03 15:34:34.847134
• Title: Deep Ensemble as a Gaussian Process Approximate Posterior
• Title（参考訳）: ガウス過程としての深いアンサンブル
• Authors: Zhijie Deng, Feng Zhou, Jianfei Chen, Guoqiang Wu, Jun Zhu
• Abstract要約: Deep Ensemble (DE)は、ディープラーニングにおける不確実性定量化のためのベイズニューラルネットワークの効果的な代替手段である。 本稿では,機能的不整合を明示的に特徴付け,トレーニングデータと特定の事前信条を調整したDEの改良を提案する。 提案手法では,標準のDEよりもわずかにトレーニングコストを削減できるが,様々なシナリオにまたがるDEとその変種よりも不確実性の定量化を実現している。
• 参考スコア（独自算出の注目度）: 32.617549688656354
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Ensemble (DE) is an effective alternative to Bayesian neural networks for uncertainty quantification in deep learning. The uncertainty of DE is usually conveyed by the functional inconsistency among the ensemble members, say, the disagreement among their predictions. Yet, the functional inconsistency stems from unmanageable randomness and may easily collapse in specific cases. To render the uncertainty of DE reliable, we propose a refinement of DE where the functional inconsistency is explicitly characterized, and further tuned w.r.t. the training data and certain priori beliefs. Specifically, we describe the functional inconsistency with the empirical covariance of the functions dictated by ensemble members, which, along with the mean, define a Gaussian process (GP). Then, with specific priori uncertainty imposed, we maximize functional evidence lower bound to make the GP specified by DE approximate the Bayesian posterior. In this way, we relate DE to Bayesian inference to enjoy reliable Bayesian uncertainty. Moreover, we provide strategies to make the training efficient. Our approach consumes only marginally added training cost than the standard DE, but achieves better uncertainty quantification than DE and its variants across diverse scenarios.
• Abstract（参考訳）: Deep Ensemble (DE)は、ディープラーニングにおける不確実性定量化のためのベイズニューラルネットワークの効果的な代替手段である。 deの不確実性は、通常、アンサンブルメンバー間の機能的不一致、例えばそれらの予測間の不一致によって伝達される。 しかし、機能的矛盾は管理不能なランダム性に起因し、特定のケースでは容易に崩壊する可能性がある。 de信頼性の不確実性を実現するために、機能的不整合を明示的に特徴付けるdeの改良を提案し、さらにトレーニングデータと特定の事前信念をw.r.t.に調整した。 具体的には,平均とともにガウス過程(gp)を定義するアンサンブルメンバによって指示される関数の経験的共分散と機能的不整合について述べる。 そして, 特定の事前不確実性が課されることにより, 機能的証拠を最大化し, gp をベイズ後方に近似させる。 このようにして、de とベイズ推論を関連付け、信頼できるベイズの不確実性を楽しむ。 さらに、トレーニングを効率的にするための戦略も提供します。 提案手法では,標準のDEよりもわずかにトレーニングコストを削減できるが,様々なシナリオにまたがるDEとその変種よりも不確実性の定量化を実現している。

関連論文リスト

• Generalized Gaussian Temporal Difference Error for Uncertainty-aware Reinforcement Learning [0.19418036471925312]
  深部強化学習における一般化されたガウス誤差モデリングのための新しい枠組みを提案する。 我々のフレームワークは、高次モーメント、特にカルトーシスを付加することにより、エラー分散モデリングの柔軟性を向上させる。
  論文  参考訳（メタデータ） (2024-08-05T08:12:25Z)
• Bayesian meta learning for trustworthy uncertainty quantification [3.683202928838613]
  ベイズメタ学習のための新しい最適化フレームワークであるTrust-Bayesを提案する。 所定間隔で捕捉される基底真理の確率の低い境界を特徴付ける。 我々は、信頼に値する不確実性定量化の可能な確率について、サンプルの複雑さを解析する。
  論文  参考訳（メタデータ） (2024-07-27T15:56:12Z)
• Information-Theoretic Safe Bayesian Optimization [59.758009422067005]
  そこでは、未知の(安全でない)制約に反するパラメータを評価することなく、未知の関数を最適化することを目的としている。 現在のほとんどのメソッドはドメインの離散化に依存しており、連続ケースに直接拡張することはできない。 本稿では,GP後部を直接利用して,最も情報に富む安全なパラメータを識別する情報理論的安全な探索基準を提案する。
  論文  参考訳（メタデータ） (2024-02-23T14:31:10Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
  確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。 本手法は, 精度の高い問題に特に適している。 提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
  論文  参考訳（メタデータ） (2023-11-08T00:10:21Z)
• Model-Based Uncertainty in Value Functions [89.31922008981735]
  MDP上の分布によって引き起こされる値の分散を特徴付けることに重点を置いている。 従来の作業は、いわゆる不確実性ベルマン方程式を解くことで、値よりも後方の分散を境界にしている。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式を提案する。
  論文  参考訳（メタデータ） (2023-02-24T09:18:27Z)
• Data-Driven Influence Functions for Optimization-Based Causal Inference [105.5385525290466]
  統計的汎関数に対するガトー微分を有限差分法で近似する構成的アルゴリズムについて検討する。 本研究では,確率分布を事前知識がないが,データから推定する必要がある場合について検討する。
  論文  参考訳（メタデータ） (2022-08-29T16:16:22Z)
• On Uncertainty, Tempering, and Data Augmentation in Bayesian Classification [47.13680267076843]
  本研究では,アレータティック不確実性の明示的説明がベイズニューラルネットワークの性能を著しく向上させることを示す。 寒冷な後部は一つ以上の力によって誘惑され、しばしばより率直に言って、誘惑を伴わないよりもエレタリックな不確実性についての私たちの信念を反映している。
  論文  参考訳（メタデータ） (2022-03-30T17:17:50Z)
• Dense Uncertainty Estimation via an Ensemble-based Conditional Latent Variable Model [68.34559610536614]
  我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。 そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。 以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-11-22T08:54:10Z)
• Scalable Uncertainty for Computer Vision with Functional Variational Inference [18.492485304537134]
  関数空間における変分推論の定式化を利用する。 選択したCNNアーキテクチャを1つのフォワードパスのコストで予測不確実性を推定する。 本研究では,高次元タスクの文脈で高速な学習を可能にする数値的アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-06T19:09:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。