論文の概要: When does a predictor know its own loss?

• arxiv url: http://arxiv.org/abs/2502.20375v1
• Date: Thu, 27 Feb 2025 18:50:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:56:27.099389
• Title: When does a predictor know its own loss?
• Title（参考訳）: 予測者はいつ自分の損失を知っていますか?
• Authors: Aravind Gollakota, Parikshit Gopalan, Aayush Karan, Charlotte Peale, Udi Wieder,
• Abstract要約: 損失予測の理論的基礎について検討する。 我々の主な貢献は、非自明な損失予測とある種の多重校正との密接な関係を確立することである。 予測器の自己見積を改善することができる損失予測器は、多重校正の失敗を目撃者に与えることを示す。
• 参考スコア（独自算出の注目度）: 4.5321697125473674
• License:
• Abstract: Given a predictor and a loss function, how well can we predict the loss that the predictor will incur on an input? This is the problem of loss prediction, a key computational task associated with uncertainty estimation for a predictor. In a classification setting, a predictor will typically predict a distribution over labels and hence have its own estimate of the loss that it will incur, given by the entropy of the predicted distribution. Should we trust this estimate? In other words, when does the predictor know what it knows and what it does not know? In this work we study the theoretical foundations of loss prediction. Our main contribution is to establish tight connections between nontrivial loss prediction and certain forms of multicalibration, a multigroup fairness notion that asks for calibrated predictions across computationally identifiable subgroups. Formally, we show that a loss predictor that is able to improve on the self-estimate of a predictor yields a witness to a failure of multicalibration, and vice versa. This has the implication that nontrivial loss prediction is in effect no easier or harder than auditing for multicalibration. We support our theoretical results with experiments that show a robust positive correlation between the multicalibration error of a predictor and the efficacy of training a loss predictor.
• Abstract（参考訳）: 予測器と損失関数が与えられた場合、予測器が入力で発生する損失をどの程度予測できるだろうか? これは、予測器の不確実性推定に関連する重要な計算課題である損失予測の問題である。 分類設定では、予測子は一般にラベル上の分布を予測し、予測された分布のエントロピーによって与えられる損失の独自の推定値を持つ。 この見積を信用すべきだろうか? 言い換えれば、予測者はいつ、それが何を知っているのか、何を知らないのかを知っていますか? 本研究では,損失予測の理論的基礎について考察する。 我々の主な貢献は、非自明な損失予測とある種の多重校正の間の密接な関係を確立することである。 形式的には、予測器の自己見積を改善することができる損失予測器が、多重校正の失敗の証人となり、その逆となることを示す。 これは、非自明な損失予測が事実上、多重校正のための監査よりも簡単あるいは困難であることを意味する。 我々は,予測器の多重校正誤差と損失予測器の訓練効果との間に正の正の相関を示す実験により,理論的結果を支持する。

関連論文リスト

• Performative Prediction on Games and Mechanism Design [69.7933059664256]
  エージェントが過去の正確性に基づいて予測を信頼するかを判断する集団リスクジレンマについて検討する。 予測が集合的な結果を形成するにつれて、社会福祉は関心の指標として自然に現れる。 よりよいトレードオフを実現し、それらをメカニズム設計に使用する方法を示します。
  論文  参考訳（メタデータ） (2024-08-09T16:03:44Z)
• Incentivizing honest performative predictions with proper scoring rules [4.932130498861987]
  その予測が下された後に専門家の信念を正確に反映していれば、予測は固定点であると言える。 二項予測に対して、専門家の予測が結果に与える影響が限定されている場合、最適なレポートが任意に固定点に近づくスコアリングルールを定義することができる。
  論文  参考訳（メタデータ） (2023-05-28T00:53:26Z)
• Prediction-Powered Inference [68.97619568620709]
  予測を用いた推論は、実験データセットに機械学習システムからの予測を補足した場合に有効な統計的推論を行うためのフレームワークである。 このフレームワークは、手段、量子、線形およびロジスティック回帰係数などの量に対して証明可能な信頼区間を計算するための単純なアルゴリズムを生成する。 予測による推論により、研究者は機械学習を使用して、より有効な、よりデータ効率の高い結論を導き出すことができる。
  論文  参考訳（メタデータ） (2023-01-23T18:59:28Z)
• Uncertainty estimation of pedestrian future trajectory using Bayesian approximation [137.00426219455116]
  動的トラフィックシナリオでは、決定論的予測に基づく計画は信頼できない。 著者らは、決定論的アプローチが捉えられない近似を用いて予測中の不確実性を定量化する。 将来の状態の不確実性に対する降雨重量と長期予測の影響について検討した。
  論文  参考訳（メタデータ） (2022-05-04T04:23:38Z)
• On the Difficulty of Epistemic Uncertainty Quantification in Machine Learning: The Case of Direct Uncertainty Estimation through Loss Minimisation [8.298716599039501]
  不確かさの定量化は機械学習で注目を集めている。 後者は学習者の知識(知識の欠如)を指し、特に測定と定量化が難しいようである。 損失最小化は2次予測器では有効でないことを示す。
  論文  参考訳（メタデータ） (2022-03-11T17:26:05Z)
• Learning to Predict Trustworthiness with Steep Slope Loss [69.40817968905495]
  本研究では,現実の大規模データセットにおける信頼性の予測問題について検討する。 我々は、先行技術損失関数で訓練された信頼性予測器が、正しい予測と誤った予測の両方を信頼に値するものとみなす傾向があることを観察する。 そこで我々は,2つのスライド状の曲線による不正確な予測から,特徴w.r.t.正しい予測を分離する,新たな急勾配損失を提案する。
  論文  参考訳（メタデータ） (2021-09-30T19:19:09Z)
• Unifying Lower Bounds on Prediction Dimension of Consistent Convex Surrogates [12.751555473216683]
  予測タスクを考えると、一貫した凸サーロゲート損失を設計できるかどうかを理解することは、機械学習研究の重要な領域です。 我々はこれらの設定をプロパティ・エリシテーションのツールを用いて統一し、予測次元の一般的な下限を与える。 我々の下限は、離散的な予測の場合の既存の結果を厳しくし、以前のキャリブレーションに基づく境界は、主にプロパティ・エリケーションによって回復可能であることを示す。 連続推定では, リスクと不確実性の指標を推定し, 未解決の問題に対処する。
  論文  参考訳（メタデータ） (2021-02-16T15:29:05Z)
• Counterfactual Predictions under Runtime Confounding [74.90756694584839]
  本研究は, 過去のデータからすべての関連要因を抽出した環境で, 事実予測タスクについて検討する。 本稿では,この環境下での対実予測モデル学習のための2次ロバスト手法を提案する。
  論文  参考訳（メタデータ） (2020-06-30T15:49:05Z)
• Malicious Experts versus the multiplicative weights algorithm in online prediction [85.62472761361107]
  2人の専門家と1人の予測者による予測問題を考える。 専門家の一人が正直で、各ラウンドで確率$mu$で正しい予測をしていると仮定する。 もう一つは悪意のあるもので、各ラウンドで真の結果を知り、予測者の損失を最大化するために予測を行う。
  論文  参考訳（メタデータ） (2020-03-18T20:12:08Z)
• Performative Prediction [31.876692592395777]
  本研究では,統計学,ゲーム理論,因果関係から概念を取り入れたパフォーマンス予測フレームワークを開発する。 概念的新奇性(conceptual novelty)は、私たちがパフォーマンス安定性と呼ぶ平衡概念である。 我々の主な成果は、ほぼ最小損失の演奏安定点への再訓練の収束に必要な十分条件である。
  論文  参考訳（メタデータ） (2020-02-16T20:29:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。