論文の概要: Beyond Marginal Uncertainty: How Accurately can Bayesian Regression Models Estimate Posterior Predictive Correlations?

• arxiv url: http://arxiv.org/abs/2011.03178v2
• Date: Mon, 1 Mar 2021 03:05:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-29 04:23:02.645066
• Title: Beyond Marginal Uncertainty: How Accurately can Bayesian Regression Models Estimate Posterior Predictive Correlations?
• Title（参考訳）: 限界の不確実性を超えて:ベイズ回帰モデルが後方予測相関をどれくらい正確に推定できるか?
• Authors: Chaoqi Wang, Shengyang Sun, Roger Grosse
• Abstract要約: 入力位置の異なる関数値間の予測的相関を推定することは、しばしば有用である。 まず、後続の予測相関に依存する下流タスクについて考察する:トランスダクティブアクティブラーニング(TAL) TALは高価で間接的にアルゴリズムの開発を誘導できないため、予測相関をより直接的に評価する2つの指標を導入する。
• 参考スコア（独自算出の注目度）: 13.127549105535623
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While uncertainty estimation is a well-studied topic in deep learning, most such work focuses on marginal uncertainty estimates, i.e. the predictive mean and variance at individual input locations. But it is often more useful to estimate predictive correlations between the function values at different input locations. In this paper, we consider the problem of benchmarking how accurately Bayesian models can estimate predictive correlations. We first consider a downstream task which depends on posterior predictive correlations: transductive active learning (TAL). We find that TAL makes better use of models' uncertainty estimates than ordinary active learning, and recommend this as a benchmark for evaluating Bayesian models. Since TAL is too expensive and indirect to guide development of algorithms, we introduce two metrics which more directly evaluate the predictive correlations and which can be computed efficiently: meta-correlations (i.e. the correlations between the models correlation estimates and the true values), and cross-normalized likelihoods (XLL). We validate these metrics by demonstrating their consistency with TAL performance and obtain insights about the relative performance of current Bayesian neural net and Gaussian process models.
• Abstract（参考訳）: 不確実性推定はディープラーニングでよく研究されているトピックだが、ほとんどの研究は限界不確実性の推定、すなわち個々の入力位置における予測平均と分散に焦点を当てている。 しかし、異なる入力位置における関数値間の予測相関を推定することがより有用であることが多い。 本稿では,ベイズモデルが予測相関をいかに正確に推定できるかをベンチマークする問題を考える。 まず,後方予測相関に依存する下流課題について考察する。 talは、通常のアクティブラーニングよりもモデルの不確実性推定をうまく利用し、ベイズモデルを評価するベンチマークとして推奨する。 talはアルゴリズム開発を導くには高価で間接的であるため,メタ相関(モデル相関推定値と真の値との相関)とクロス正規化確率(xll)という,予測相関をより直接的に評価し,効率的に計算できる2つの指標を導入する。 我々は,これらの指標を,tal性能との整合性を示すことによって検証し,現在のベイズニューラルネットとガウスプロセスモデルの相対的性能に関する知見を得る。

関連論文リスト

• Linked shrinkage to improve estimation of interaction effects in regression models [0.0]
  回帰モデルにおける双方向相互作用項によく適応する推定器を開発する。 我々は,選択戦略では難しい推論モデルの可能性を評価する。 私たちのモデルは、かなり大きなサンプルサイズであっても、ランダムな森林のような、より高度な機械学習者に対して非常に競争力があります。
  論文  参考訳（メタデータ） (2023-09-25T10:03:39Z)
• Mitigating Spurious Correlations in Multi-modal Models during Fine-tuning [18.45898471459533]
  モデル一般化を低下させたり、間違った理由でモデルが正しいことを導いたという豪華な相関は、現実世界のデプロイメントにおいて大きな堅牢性に関する懸念の1つです。 本稿では,特定の関心領域の微調整において,刺激的な相関に対処する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-08T05:20:33Z)
• Look to the Right: Mitigating Relative Position Bias in Extractive Question Answering [38.36299280464046]
  抽出的質問応答(QA)モデルは、素早い相関を利用して予測する傾向がある。 回答の相対的な位置は、予測を行うための表面的手がかりとしてQAモデルによって利用することができる。 本研究では,相対位置の分布に関する事前知識を必要としないアンサンブルに基づくデバイアス法を提案する。
  論文  参考訳（メタデータ） (2022-10-26T08:01:38Z)
• Statistical Efficiency of Score Matching: The View from Isoperimetry [96.65637602827942]
  本研究では, スコアマッチングの統計的効率と推定される分布の等尺性との間に, 密接な関係を示す。 これらの結果はサンプル状態と有限状態の両方で定式化する。
  論文  参考訳（メタデータ） (2022-10-03T06:09:01Z)
• Data-Driven Influence Functions for Optimization-Based Causal Inference [105.5385525290466]
  統計的汎関数に対するガトー微分を有限差分法で近似する構成的アルゴリズムについて検討する。 本研究では,確率分布を事前知識がないが,データから推定する必要がある場合について検討する。
  論文  参考訳（メタデータ） (2022-08-29T16:16:22Z)
• Benign-Overfitting in Conditional Average Treatment Effect Prediction with Linear Regression [14.493176427999028]
  線形回帰モデルを用いて条件平均処理効果(CATE)の予測における良性過剰適合理論について検討した。 一方,IPW-learnerは確率スコアが分かっていればリスクをゼロに収束させるが,T-learnerはランダムな割り当て以外の一貫性を達成できないことを示す。
  論文  参考訳（メタデータ） (2022-02-10T18:51:52Z)
• A Probit Tensor Factorization Model For Relational Learning [31.613211987639296]
  本稿では,従来のテンソル因数分解モデルから計算効率を継承する,プロビットリンク付きバイナリテンソル因数分解モデルを提案する。 提案手法は,予測精度と解釈可能性の両面で優位性を示す。
  論文  参考訳（メタデータ） (2021-11-06T19:23:07Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• When in Doubt: Neural Non-Parametric Uncertainty Quantification for Epidemic Forecasting [70.54920804222031]
  既存の予測モデルは不確実な定量化を無視し、誤校正予測をもたらす。 不確実性を考慮した時系列予測のためのディープニューラルネットワークの最近の研究にもいくつかの制限がある。 本稿では,予測タスクを確率的生成過程としてモデル化し,EPIFNPと呼ばれる機能的ニューラルプロセスモデルを提案する。
  論文  参考訳（メタデータ） (2021-06-07T18:31:47Z)
• Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
  深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。 本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。 自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
  論文  参考訳（メタデータ） (2021-06-07T17:47:16Z)
• On the Discrepancy between Density Estimation and Sequence Generation [92.70116082182076]
  log-likelihoodは、同じファミリー内のモデルを考えるとき、BLEUと非常に相関している。 異なる家族間でのモデルランキングの相関はみられない。
  論文  参考訳（メタデータ） (2020-02-17T20:13:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。