論文の概要: Evaluating Probabilistic Inference in Deep Learning: Beyond Marginal Predictions

• arxiv url: http://arxiv.org/abs/2107.09224v1
• Date: Tue, 20 Jul 2021 01:55:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-21 15:08:13.094331
• Title: Evaluating Probabilistic Inference in Deep Learning: Beyond Marginal Predictions
• Title（参考訳）: 深層学習における確率論的推論の評価
• Authors: Xiuyuan Lu, Ian Osband, Benjamin Van Roy, Zheng Wen
• Abstract要約: 一般的に使われる$tau=1$は、多くの関心のある設定で良い決定を下すには不十分であることを示す。 さらに、$tau$が成長するにつれて、$mathbfd_mathrmKLtau$は任意の決定に対する普遍的な保証を回復する。
• 参考スコア（独自算出の注目度）: 37.92747047688873
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A fundamental challenge for any intelligent system is prediction: given some inputs $X_1,..,X_\tau$ can you predict outcomes $Y_1,.., Y_\tau$. The KL divergence $\mathbf{d}_{\mathrm{KL}}$ provides a natural measure of prediction quality, but the majority of deep learning research looks only at the marginal predictions per input $X_t$. In this technical report we propose a scoring rule $\mathbf{d}_{\mathrm{KL}}^\tau$, parameterized by $\tau \in \mathcal{N}$ that evaluates the joint predictions at $\tau$ inputs simultaneously. We show that the commonly-used $\tau=1$ can be insufficient to drive good decisions in many settings of interest. We also show that, as $\tau$ grows, performing well according to $\mathbf{d}_{\mathrm{KL}}^\tau$ recovers universal guarantees for any possible decision. Finally, we provide problem-dependent guidance on the scale of $\tau$ for which our score provides sufficient guarantees for good performance.
• Abstract（参考訳）: いくつかの入力が$X_1,.,X_\tau$であれば、Y_1,., Y_\tau$を予測できる。 kl divergence $\mathbf{d}_{\mathrm{kl}}$は、予測品質の自然な尺度を提供するが、ディープラーニングの研究の大部分は、入力当たりの限界予測にのみ目を向けている。 この技術的レポートでは、$\tau$入力での関節予測を同時に評価する$\tau \in \mathcal{N}$でパラメータ化されたスコアリングルール $\mathbf{d}_{\mathrm{KL}}^\tau$を提案する。 一般的に使われる$\tau=1$は、多くの関心のある場所で良い決定を下すには不十分であることを示す。 また、$\tau$ が成長するにつれて、$\mathbf{d}_{\mathrm{kl}}^\tau$ は任意の可能な決定に対して普遍的な保証を回復する。 最後に、我々のスコアが十分な性能保証を提供する$\tau$のスケールに関する問題依存的なガイダンスを提供する。

関連論文リスト

• Mind the Gap: A Causal Perspective on Bias Amplification in Prediction & Decision-Making [58.06306331390586]
  本稿では,閾値演算による予測値がS$変化の程度を測るマージン補数の概念を導入する。 適切な因果仮定の下では、予測スコア$S$に対する$X$の影響は、真の結果$Y$に対する$X$の影響に等しいことを示す。
  論文  参考訳（メタデータ） (2024-05-24T11:22:19Z)
• Asymptotically Optimal Pure Exploration for Infinite-Armed Bandits [4.811176167998627]
  我々は、未知の分布から生じる無限に多くのバンドイットアームを用いて純粋探索を研究する。 私たちのゴールは、平均的な報酬が1-delta$の1つの高品質なアームを、最高の$eta$-fraction of armsの1つとして$varepsilon$内で効率的に選択することにあります。
  論文  参考訳（メタデータ） (2023-06-03T04:00:47Z)
• How Many and Which Training Points Would Need to be Removed to Flip this Prediction? [34.9118528281516]
  トレーニングデータの最小サブセットを$mathcalS_t$で識別する問題を考える。 トレーニング前に $mathcalS_t$ を含むインスタンスが削除された場合、所定のテストポイント $x_t$ の分類が異なるだろう。 影響関数に基づいて$mathcalS_t$を求めるため,比較的高速な近似法を提案する。
  論文  参考訳（メタデータ） (2023-02-04T13:55:12Z)
• Resampling Sensitivity of High-Dimensional PCA [7.436169208279454]
  主成分分析(PCA)における再サンプリング感度の検討 我々は,PCAが入力データに敏感であることを示す。
  論文  参考訳（メタデータ） (2022-12-30T03:13:04Z)
• Mediated Uncoupled Learning: Learning Functions without Direct Input-output Correspondences [80.95776331769899]
  ペア化されたデータがない場合、$X$から$Y$を予測するタスクを考えます。 単純なアプローチは、$S_X$で$U$から$U$を予測し、$S_Y$で$U$から$Y$を予測することである。 我々は$U$を予測しない新しい方法を提案するが、$f(X)$と$S_X$をトレーニングすることで$Y = f(X)$を直接学習し、$h(U)$を予測する。
  論文  参考訳（メタデータ） (2021-07-16T22:13:29Z)
• Optimal Spectral Recovery of a Planted Vector in a Subspace [80.02218763267992]
  我々は、$ell_4$ノルムが同じ$ell$ノルムを持つガウスベクトルと異なるプラントベクトル$v$の効率的な推定と検出について研究する。 規則$n rho gg sqrtN$ では、大クラスのスペクトル法(そしてより一般的には、入力の低次法)は、植込みベクトルの検出に失敗する。
  論文  参考訳（メタデータ） (2021-05-31T16:10:49Z)
• Near-Optimal SQ Lower Bounds for Agnostically Learning Halfspaces and ReLUs under Gaussian Marginals [49.60752558064027]
  ガウス境界の下では、半空間とReLUを不可知的に学習する基本的な問題について検討する。 我々の下限は、これらのタスクの現在の上限が本質的に最良のものであるという強い証拠を与える。
  論文  参考訳（メタデータ） (2020-06-29T17:10:10Z)
• Taking a hint: How to leverage loss predictors in contextual bandits? [63.546913998407405]
  我々は,損失予測の助けを借りて,文脈的包帯における学習を研究する。 最適な後悔は$mathcalO(minsqrtT, sqrtmathcalETfrac13)$である。
  論文  参考訳（メタデータ） (2020-03-04T07:36:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。