論文の概要: Data-driven Error Estimation: Upper Bounding Multiple Errors with No Technical Debt

• arxiv url: http://arxiv.org/abs/2405.04636v1
• Date: Tue, 7 May 2024 19:38:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-09 15:54:51.501496
• Title: Data-driven Error Estimation: Upper Bounding Multiple Errors with No Technical Debt
• Title（参考訳）: データ駆動型エラー推定:技術的負債のない上界多重エラー
• Authors: Sanath Kumar Krishnamurthy, Susan Athey, Emma Brunskill,
• Abstract要約: 本稿では,推定誤差のクラス/セットの最大誤差に対する高い確率上限を推定するために,有効信頼区間(CI)を同時に構築する問題を定式化する。 本稿では,最大誤差の上限を推定する完全データ駆動手法を提案する。
• 参考スコア（独自算出の注目度）: 26.81883988098551
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We formulate the problem of constructing multiple simultaneously valid confidence intervals (CIs) as estimating a high probability upper bound on the maximum error for a class/set of estimate-estimand-error tuples, and refer to this as the error estimation problem. For a single such tuple, data-driven confidence intervals can often be used to bound the error in our estimate. However, for a class of estimate-estimand-error tuples, nontrivial high probability upper bounds on the maximum error often require class complexity as input -- limiting the practicality of such methods and often resulting in loose bounds. Rather than deriving theoretical class complexity-based bounds, we propose a completely data-driven approach to estimate an upper bound on the maximum error. The simple and general nature of our solution to this fundamental challenge lends itself to several applications including: multiple CI construction, multiple hypothesis testing, estimating excess risk bounds (a fundamental measure of uncertainty in machine learning) for any training/fine-tuning algorithm, and enabling the development of a contextual bandit pipeline that can leverage any reward model estimation procedure as input (without additional mathematical analysis).
• Abstract（参考訳）: 本稿では,複数の有効信頼区間(CI)を推定・推定・誤差タプルのクラス/セットの最大誤差に基づいて高確率上限を推定する問題として定式化し,これを誤差推定問題とみなす。 このような単一のタプルに対して、データ駆動の信頼区間は、見積もりのエラーをバウンドするためにしばしば使用される。 しかし、推定推定エラータプルのクラスでは、最大誤差の非自明な高い確率上限は、しばしば入力としてクラス複雑性を必要とする。 理論的なクラス複雑性に基づく境界を導出するのではなく、最大誤差の上限を推定する完全データ駆動アプローチを提案する。 この基本的な課題に対する私たちのソリューションの単純で一般的な性質は、複数のCI構築、複数の仮説テスト、任意のトレーニング/微調整アルゴリズムに対する過剰なリスク境界(機械学習における不確実性の基本的な尺度)の推定、任意の報酬モデル推定手順を(追加の数学的解析なしで)入力として活用できるコンテキスト的帯域パイプラインの開発など、いくつかのアプリケーションに役立ちます。

関連論文リスト

• Maximum a Posteriori Inference for Factor Graphs via Benders' Decomposition [0.38233569758620056]
  一般ベイズ因子モデルにおける最大a-ポストペリオーリ推定法を提案する。 ベイジアン・ガウス混合モデルと潜在ディリクレ割り当てに対するMAP推定アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2024-10-24T19:57:56Z)
• Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
  CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。 統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
  論文  参考訳（メタデータ） (2024-08-25T04:07:18Z)
• Precise Error Rates for Computationally Efficient Testing [75.63895690909241]
  本稿では,計算複雑性に着目した単純な対数-単純仮説テストの問題を再考する。 線形スペクトル統計に基づく既存の試験は、I型とII型の誤差率の間の最良のトレードオフ曲線を達成する。
  論文  参考訳（メタデータ） (2023-11-01T04:41:16Z)
• Error Estimation for Random Fourier Features [14.27855002079769]
  本稿では, RFF近似の誤差を数値的に推定するブートストラップ手法を提案する。 誤差推定は問題に特異的であり、最悪のケース境界の悲観性を避ける。 この手法により、適応計算が可能となり、ユーザは粗い初期カーネル近似の誤差を迅速に検査できる。
  論文  参考訳（メタデータ） (2023-02-22T06:54:27Z)
• Minimax rate of consistency for linear models with missing values [0.0]
  多くの実世界のデータセットでは、複数のソースが集約され、本質的に欠落した情報(センサーの故障、調査における未回答の疑問...)が欠落する。 本稿では,広範に研究された線形モデルに焦点をあてるが,不足する値が存在する場合には,非常に難しい課題であることが判明した。 最終的には、多くの学習タスクを解決し、入力機能の数を指数関数的にすることで、現在の現実世界のデータセットでは予測が不可能になる。
  論文  参考訳（メタデータ） (2022-02-03T08:45:34Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• Multi-exponential Error Extrapolation and Combining Error Mitigation Techniques for NISQ Applications [0.0]
  量子ハードウェアにおけるノイズは、量子コンピュータの実装における最大の障害である。 誤り補間は、実験的に実装された誤り軽減手法である。 我々はこれを多重指数誤差外挿に拡張し、パウリ雑音下での有効性のより厳密な証明を提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:18:47Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Matrix Completion with Quantified Uncertainty through Low Rank Gaussian Copula [30.84155327760468]
  本稿では,不確かさを定量化した値計算の欠如に対する枠組みを提案する。 モデルに適合するために必要な時間は、データセット内の行数や列数と線形にスケールする。 実験結果から,本手法は様々な種類のデータに対して最先端の計算精度が得られることがわかった。
  論文  参考訳（メタデータ） (2020-06-18T19:51:42Z)
• Machine learning for causal inference: on the use of cross-fit estimators [77.34726150561087]
  より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。 平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。 機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2020-04-21T23:09:55Z)
• Error Estimation for Sketched SVD via the Bootstrap [60.67199274260768]
  本稿では,スケッチ化された特異ベクトル/値の実際の誤差を数値的に推定する完全データ駆動型ブートストラップ法を開発した。 この方法は、スケッチされたオブジェクトのみで動作するため、計算コストが安い。
  論文  参考訳（メタデータ） (2020-03-10T19:14:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。