論文の概要: Experts Don't Cheat: Learning What You Don't Know By Predicting Pairs
- arxiv url: http://arxiv.org/abs/2402.08733v1
- Date: Tue, 13 Feb 2024 19:01:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-15 18:10:51.957022
- Title: Experts Don't Cheat: Learning What You Don't Know By Predicting Pairs
- Title（参考訳）: 専門家はカンニングしない:ペアを予測して知らないことを学ぶ
- Authors: Daniel D. Johnson, Daniel Tarlow, David Duvenaud, Chris J. Maddison
- Abstract要約: モデルに$p(Y|X)$を近似させる戦略を提案し、$widehatp_theta(Y|X)$と$p(Y|X)$の間の残りのギャップを推定する。
提案手法では,曖昧な画像分類,(合成)言語モデリング,部分観測可能なナビゲーションタスクなどにおいて,モデルがどの程度の知識を持っていないかを正確に推定する。
- 参考スコア（独自算出の注目度）: 39.24051480033654
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Identifying how much a model ${\widehat{p}}_{\theta}(Y|X)$ knows about the
stochastic real-world process $p(Y|X)$ it was trained on is important to ensure
it avoids producing incorrect or "hallucinated" answers or taking unsafe
actions. But this is difficult for generative models because probabilistic
predictions do not distinguish between per-response noise (aleatoric
uncertainty) and lack of knowledge about the process (epistemic uncertainty),
and existing epistemic uncertainty quantification techniques tend to be
overconfident when the model underfits. We propose a general strategy for
teaching a model to both approximate $p(Y|X)$ and also estimate the remaining
gaps between ${\widehat{p}}_{\theta}(Y|X)$ and $p(Y|X)$: train it to predict
pairs of independent responses drawn from the true conditional distribution,
allow it to "cheat" by observing one response while predicting the other, then
measure how much it cheats. Remarkably, we prove that being good at cheating
(i.e. cheating whenever it improves your prediction) is equivalent to being
second-order calibrated, a principled extension of ordinary calibration that
allows us to construct provably-correct frequentist confidence intervals for
$p(Y|X)$ and detect incorrect responses with high probability. We demonstrate
empirically that our approach accurately estimates how much models don't know
across ambiguous image classification, (synthetic) language modeling, and
partially-observable navigation tasks, outperforming existing techniques.
- Abstract（参考訳）: モデル ${\widehat{p}}_{\theta}(Y|X)$ が確率的実世界のプロセス $p(Y|X)$ をどの程度知っているかを特定することは、不正あるいは不正な回答や不正なアクションの発生を避けるために重要である。
しかし、確率論的予測は、応答ごとのノイズ(摂動的不確実性)とプロセスに関する知識の欠如(認識的不確実性)を区別しないため、生成モデルにとってこれは難しい。
本稿では,約$p(Y|X)$と$p(Y|X)$と$p(Y|X)$の差を推定し,モデルに約$p(Y|X)$を教える一般的な戦略を提案する。
注意すべきことに、不正行為(つまり、予測を改善するたびに不正行為)が二階校正に等しいことを証明し、これは通常の校正の原則的拡張であり、正当に正しい頻繁な信頼区間を$p(Y|X)$で構築し、不正確な応答を高い確率で検出することができる。
提案手法は,不明瞭な画像分類,(合成)言語モデリング,部分的に観察可能なナビゲーションタスクなどにおいて,既存の手法よりも優れているモデルを正確に推定する。
関連論文リスト
- Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。
トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
論文 参考訳（メタデータ） (2024-02-13T11:25:20Z) - Relabeling Minimal Training Subset to Flip a Prediction [20.708004593740004]
トレーニングポイントの2%未満を許容することは、常に予測を覆すことができる。
我々は,$|mathcalS_t|$がトレーニングセットの雑音比と高い相関を示し,$|mathcalS_t|$は予測確率と相関するが相補的であることを示す。
論文 参考訳（メタデータ） (2023-05-22T08:10:43Z) - Faster online calibration without randomization: interval forecasts and
the power of two choices [43.17917448937131]
本研究では,逆数の性質によって生成される2進数列に対する校正確率予測問題について検討する。
2つの選択の力」と不正確な確率論の研究に触発され、我々は標準的なオンラインキャリブレーション問題の小さな変種について研究する。
論文 参考訳（メタデータ） (2022-04-27T17:33:23Z) - Thought Flow Nets: From Single Predictions to Trains of Model Thought [39.619001911390804]
人間が複雑な問題を解くと、すぐに決定が下されることはめったにない。
その代わり、彼らは直感的な決定から始まり、間違いを見つけ、矛盾を解決し、異なる仮説の間を飛び交う。
論文 参考訳（メタデータ） (2021-07-26T13:56:37Z) - How Can We Know When Language Models Know? On the Calibration of
Language Models for Question Answering [80.82194311274694]
言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか?
我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。
次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
論文 参考訳（メタデータ） (2020-12-02T03:53:13Z) - Almost Tight L0-norm Certified Robustness of Top-k Predictions against
Adversarial Perturbations [78.23408201652984]
トップk予測は、マシンラーニング・アズ・ア・サービス、レコメンダ・システム、Web検索など、多くの現実世界のアプリケーションで使用されている。
我々の研究はランダム化平滑化に基づいており、入力をランダム化することで、証明可能なロバストな分類器を構築する。
例えば、攻撃者がテスト画像の5ピクセルを任意に摂動できる場合に、ImageNet上で69.2%の認定トップ3精度を達成する分類器を構築することができる。
論文 参考訳（メタデータ） (2020-11-15T21:34:44Z) - A Note on High-Probability versus In-Expectation Guarantees of
Generalization Bounds in Machine Learning [95.48744259567837]
統計的機械学習理論は、しばしば機械学習モデルの一般化を保証するよう試みる。
機械学習モデルのパフォーマンスに関する声明は、サンプリングプロセスを考慮する必要がある。
1つのステートメントを別のステートメントに変換する方法を示します。
論文 参考訳（メタデータ） (2020-10-06T09:41:35Z) - Discriminative Jackknife: Quantifying Uncertainty in Deep Learning via
Higher-Order Influence Functions [121.10450359856242]
我々は、モデル損失関数の影響関数を利用して、予測信頼区間のジャックニフェ(または、アウト・ワン・アウト)推定器を構築する頻繁な手順を開発する。
1)および(2)を満たすDJは、幅広いディープラーニングモデルに適用可能であり、実装が容易であり、モデルトレーニングに干渉したり、精度を妥協したりすることなく、ポストホックな方法で適用することができる。
論文 参考訳（メタデータ） (2020-06-29T13:36:52Z) - Estimation of Accurate and Calibrated Uncertainties in Deterministic
models [0.8702432681310401]
我々は,決定論的予測を確率論的予測に変換する手法を考案した。
そのためには,そのようなモデルの精度と信頼性(校正)を損なう必要がある。
隠れたノイズを正確に回収できる合成データと、大規模な実世界のデータセットの両方について、いくつかの例を示す。
論文 参考訳（メタデータ） (2020-03-11T04:02:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。