論文の概要: Wild refitting for black box prediction

• arxiv url: http://arxiv.org/abs/2506.21460v1
• Date: Thu, 26 Jun 2025 16:41:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-27 19:53:10.198609
• Title: Wild refitting for black box prediction
• Title（参考訳）: ブラックボックス予測のためのワイルドリフィット
• Authors: Martin J. Wainwright,
• Abstract要約: 本稿では,インスタンスワイド平均二乗予測誤差に基づいて,高確率上限計算のための計算効率の良い修正手順を記述・解析する。 予測方法への単一のデータセットとブラックボックスアクセスのみを必要とするため、適切な残差を計算し、プリファクタ$rho$でそれらをシンメトリズしてスケーリングし、修正された予測問題を定義し、解決する3つのステップで構成される。
• 参考スコア（独自算出の注目度）: 29.715181593057803
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We describe and analyze a computionally efficient refitting procedure for computing high-probability upper bounds on the instance-wise mean-squared prediction error of penalized nonparametric estimates based on least-squares minimization. Requiring only a single dataset and black box access to the prediction method, it consists of three steps: computing suitable residuals, symmetrizing and scaling them with a pre-factor $\rho$, and using them to define and solve a modified prediction problem recentered at the current estimate. We refer to it as wild refitting, since it uses Rademacher residual symmetrization as in a wild bootstrap variant. Under relatively mild conditions allowing for noise heterogeneity, we establish a high probability guarantee on its performance, showing that the wild refit with a suitably chosen wild noise scale $\rho$ gives an upper bound on prediction error. This theoretical analysis provides guidance into the design of such procedures, including how the residuals should be formed, the amount of noise rescaling in the wild sub-problem needed for upper bounds, and the local stability properties of the block-box procedure. We illustrate the applicability of this procedure to various problems, including non-rigid structure-from-motion recovery with structured matrix penalties; plug-and-play image restoration with deep neural network priors; and randomized sketching with kernel methods.
• Abstract（参考訳）: 最小二乗最小化に基づくペナル化非パラメトリック推定のケースワイド平均二乗予測誤差に基づいて,高確率上限を計算するための計算効率の良い補正手順を記述・解析する。 予測方法への単一のデータセットとブラックボックスアクセスのみを必要とするため、適切な残差を計算し、プレファクタ$\rho$でそれらをシミュレートし、スケーリングする3つのステップで構成されている。 ワイルドブートストラップの変種のようにラデマチャー残留対称性を用いるため、ワイルドリフィットと呼ぶ。 比較的穏やかな条件下では、ノイズの不均一性を許容し、その性能に対する高い確率保証を確立し、好適に選択されたワイルドノイズスケール$\rho$によるワイルドリフィットが予測誤差に上限を与えることを示す。 この理論解析は, 残留物の生成方法, 上界に必要となるワイルドサブプロブレム内のノイズ再スケーリング量, ブロックボックスの局所安定性などを含む, それらの手順の設計に関するガイダンスを提供する。 本稿では,構造化行列ペナルティを用いた非剛性構造回復,深層ニューラルネットワークを用いたプラグアンドプレイ画像復元,カーネル手法によるランダムスケッチなど,様々な問題に対する本手法の適用性について述べる。

関連論文リスト

• Decision from Suboptimal Classifiers: Excess Risk Pre- and Post-Calibration [52.70324949884702]
  バッチ二分決定における近似的後続確率を用いた余剰リスクの定量化を行う。 我々は、再校正のみが後悔のほとんどに対処する体制と、後悔が集団的損失に支配される体制を識別する。 NLP実験では、これらの量によって、より高度なポストトレーニングの期待値が運用コストに値するかどうかが分かる。
  論文  参考訳（メタデータ） (2025-03-23T10:52:36Z)
• Epistemic Uncertainty in Conformal Scores: A Unified Approach [2.449909275410288]
  等角予測法は、分布のない保証を持つ予測帯域を生成するが、不確実性を明示的に捉えることはできない。 モデルに依存しないアプローチである $texttEPICSCORE$ を導入する。 $texttEPICSCORE$は、限られたデータを持つ領域の予測間隔を適応的に拡張し、データが豊富であるコンパクト間隔を維持します。
  論文  参考訳（メタデータ） (2025-02-10T19:42:54Z)
• Can Bayesian Neural Networks Make Confident Predictions? [0.0]
  内層重みに対する離散化事前の下では, 後部予測分布をガウス混合として正確に特徴付けることができることを示す。 また、異なるスケーリング体制における後部予測の収縮を評価することにより、モデルが「データから学習する」能力も特徴付ける。
  論文  参考訳（メタデータ） (2025-01-20T22:36:28Z)
• Regression Trees for Fast and Adaptive Prediction Intervals [2.6763498831034043]
  本稿では,局所的なカバレッジ保証を伴う回帰問題に対して,予測間隔を調整するための一連の手法を提案する。 回帰木とランダムフォレストを適合度スコアでトレーニングすることで分割を作成する。 提案手法は多種多様な適合性スコアや予測設定に適用できるため,多種多様である。
  論文  参考訳（メタデータ） (2024-02-12T01:17:09Z)
• Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
  確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。 本手法は, 精度の高い問題に特に適している。 提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
  論文  参考訳（メタデータ） (2023-11-08T00:10:21Z)
• Distributionally Robust Optimization with Bias and Variance Reduction [9.341215359733601]
  勾配に基づくアルゴリズムであるProspectは、スムーズな正規化損失に対する線形収束を享受していることを示す。 また、勾配法のようなベースラインよりも2～3$times$早く収束できることも示している。
  論文  参考訳（メタデータ） (2023-10-21T00:03:54Z)
• Calibrating Neural Simulation-Based Inference with Differentiable Coverage Probability [50.44439018155837]
  ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。 古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。 既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
  論文  参考訳（メタデータ） (2023-10-20T10:20:45Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。