論文の概要: U-Calibration: Forecasting for an Unknown Agent

• arxiv url: http://arxiv.org/abs/2307.00168v1
• Date: Fri, 30 Jun 2023 23:05:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-05 17:42:34.769872
• Title: U-Calibration: Forecasting for an Unknown Agent
• Title（参考訳）: U-Calibration: 未知のエージェントの予測
• Authors: Robert Kleinberg, Renato Paes Leme, Jon Schneider, Yifeng Teng
• Abstract要約: 単一のスコアリングルールに対する予測を最適化することは、すべてのエージェントに対して低い後悔を保証できないことを示す。 予測列の最大後悔度に匹敵するU校正と呼ばれる予測を評価するための新しい指標を提案する。
• 参考スコア（独自算出の注目度）: 29.3181385170725
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the problem of evaluating forecasts of binary events whose predictions are consumed by rational agents who take an action in response to a prediction, but whose utility is unknown to the forecaster. We show that optimizing forecasts for a single scoring rule (e.g., the Brier score) cannot guarantee low regret for all possible agents. In contrast, forecasts that are well-calibrated guarantee that all agents incur sublinear regret. However, calibration is not a necessary criterion here (it is possible for miscalibrated forecasts to provide good regret guarantees for all possible agents), and calibrated forecasting procedures have provably worse convergence rates than forecasting procedures targeting a single scoring rule. Motivated by this, we present a new metric for evaluating forecasts that we call U-calibration, equal to the maximal regret of the sequence of forecasts when evaluated under any bounded scoring rule. We show that sublinear U-calibration error is a necessary and sufficient condition for all agents to achieve sublinear regret guarantees. We additionally demonstrate how to compute the U-calibration error efficiently and provide an online algorithm that achieves $O(\sqrt{T})$ U-calibration error (on par with optimal rates for optimizing for a single scoring rule, and bypassing lower bounds for the traditionally calibrated learning procedures). Finally, we discuss generalizations to the multiclass prediction setting.
• Abstract（参考訳）: 予測に応答して行動を起こす有理エージェントが予測を消費するが、予測者にとって有用性が不明な二元イベントの予測を評価する問題を考える。 単一のスコアリングルール(例えばブライアスコア)に対する予測の最適化は、すべてのエージェントに対して低い後悔を保証できないことを示す。 対照的に、よく校正された予測は、全てのエージェントがサブリニア後悔を引き起こすことを保証している。 しかし、キャリブレーションは必要な基準ではない(調整された予測は、可能なすべてのエージェントに対して十分な後悔を与えることができる)し、キャリブレーションされた予測手順は、単一のスコアリングルールを目標とした予測手順よりも確実に収束率を低下させている。 そこで本研究では,u-calibration(u-calibration,u-calibration,u-calibration,u-calibration,u-calibration)と呼ばれる予測値を評価するための新しい指標を提案する。 サブリニアu-校正誤差は,すべてのエージェントがサブリニア後悔保証を実現するための必要十分条件であることを示す。 さらに、U-キャリブレーション誤差を効率的に計算する方法を示し、U-キャリブレーション誤差を$O(\sqrt{T})$ U-キャリブレーション誤差を達成するオンラインアルゴリズムを提供する。 最後に,マルチクラス予測設定の一般化について論じる。

関連論文リスト

• Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
  コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。 しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。 信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-13T15:37:11Z)
• Calibrated Probabilistic Forecasts for Arbitrary Sequences [58.54729945445505]
  実際のデータストリームは、分散シフトやフィードバックループ、敵アクターによって予測不可能に変化する可能性がある。 データがどのように進化するかに関わらず、有効な不確実性推定を保証するための予測フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-27T21:46:42Z)
• Doubly Calibrated Estimator for Recommendation on Data Missing Not At Random [20.889464448762176]
  既存の推定器は誤判定された暗黙の誤りと正当性スコアに依存していると我々は主張する。 本稿では,計算モデルと確率モデルの両方のキャリブレーションを含む二重校正推定器を提案する。
  論文  参考訳（メタデータ） (2024-02-26T05:08:52Z)
• Forecasting for Swap Regret for All Downstream Agents [5.068386855717017]
  我々は, 最善を尽くす下流エージェントが, スワップ後悔を抑えることが保証されるよう, 予測を行うことの問題点について検討する。 校正されていないが、慎重に選択されたイベントの収集に偏っていない予測を行うことで、任意の下流エージェントが後悔のスワップを減らすことを保証できることを示す。
  論文  参考訳（メタデータ） (2024-02-13T19:39:11Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• Uncertainty Calibration for Counterfactual Propensity Estimation in Recommendation [22.67361489565711]
  inverse propensity score (IPS) は、観測された各インスタンスの予測誤差を重み付けするために用いられる。 IPSベースのレコメンデーションは、確率推定における誤校正によって妨げられる。 本稿では,CVR予測の妥当性に基づくデバイアス化のためのモデルに依存しないキャリブレーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-23T00:42:48Z)
• Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
  我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。 合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
  論文  参考訳（メタデータ） (2023-02-23T18:57:14Z)
• Selective Regression Under Fairness Criteria [30.672082160544996]
  少数派集団のパフォーマンスは、カバー範囲を減らしながら低下する場合もある。 満足度基準を満たす特徴を構築できれば、そのような望ましくない行動は避けられることを示す。
  論文  参考訳（メタデータ） (2021-10-28T19:05:12Z)
• Distribution-free uncertainty quantification for classification under label shift [105.27463615756733]
  2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。 まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。 これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
  論文  参考訳（メタデータ） (2021-03-04T20:51:03Z)
• Individual Calibration with Randomized Forecasting [116.2086707626651]
  予測値がランダムに設定された場合,各サンプルのキャリブレーションは回帰設定で可能であることを示す。 我々は、個別の校正を強制する訓練目標を設計し、それをランダム化された回帰関数の訓練に使用する。
  論文  参考訳（メタデータ） (2020-06-18T05:53:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。