論文の概要: Doubly Wild Refitting: Model-Free Evaluation of High Dimensional Black-Box Predictions under Convex Losses

• arxiv url: http://arxiv.org/abs/2511.18789v1
• Date: Mon, 24 Nov 2025 05:38:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-25 18:34:25.039909
• Title: Doubly Wild Refitting: Model-Free Evaluation of High Dimensional Black-Box Predictions under Convex Losses
• Title（参考訳）: 二重野生化:凸損失下における高次元ブラックボックス予測のモデルフリー評価
• Authors: Haichen Hu, David Simchi-Levi,
• Abstract要約: 一般凸損失関数の下での実証的リスク最小化のための過剰リスク評価の問題について検討する。 我々の貢献は、過大なリスクを計算し、固定設計設定の下で高確率な上限を提供する効率的な調整手順である。
• 参考スコア（独自算出の注目度）: 15.386375612838371
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the problem of excess risk evaluation for empirical risk minimization (ERM) under general convex loss functions. Our contribution is an efficient refitting procedure that computes the excess risk and provides high-probability upper bounds under the fixed-design setting. Assuming only black-box access to the training algorithm and a single dataset, we begin by generating two sets of artificially modified pseudo-outcomes termed wild response, created by stochastically perturbing the gradient vectors with carefully chosen scaling. Using these two pseudo-labeled datasets, we then refit the black-box procedure twice to obtain two corresponding wild predictors. Finally, leveraging the original predictor, the two wild predictors, and the constructed wild responses, we derive an efficient excess risk upper bound. A key feature of our analysis is that it requires no prior knowledge of the complexity of the underlying function class. As a result, the method is essentially model-free and holds significant promise for theoretically evaluating modern opaque machine learning system--such as deep nerral networks and generative model--where traditional capacity-based learning theory becomes infeasible due to the extreme complexity of the hypothesis class.
• Abstract（参考訳）: 本研究では, 一般凸損失関数における経験的リスク最小化(ERM)に対する過剰リスク評価の問題について検討する。 我々の貢献は、過大なリスクを計算し、固定設計設定の下で高確率な上限を提供する効率的な調整手順である。 トレーニングアルゴリズムと単一データセットへのブラックボックスアクセスのみを仮定すると、慎重に選択されたスケーリングで勾配ベクトルを確率的に摂動させることで、ワイルド応答と呼ばれる人工的に修正された擬似アウトカムを2セット生成することから始める。 これら2つの擬似ラベル付きデータセットを用いて、ブラックボックスの手順を2回修正し、2つの対応するワイルド予測子を得る。 最後に、元の予測器と2つの野生の予測器と構築された野生の応答を利用して、効率的な過剰リスク上限を導出する。 我々の分析の重要な特徴は、基礎となる関数クラスの複雑さに関する事前の知識を必要としないことである。 その結果、この手法は基本的にモデルフリーであり、深層神経ネットワークや生成モデルなど、理論上不透明な機械学習システムを評価する上で重要な可能性を秘めている。

関連論文リスト

• Perturbing the Derivative: Wild Refitting for Model-Free Evaluation of Machine Learning Models under Bregman Losses [15.386375612838371]
  いわゆる「ワイルド・オプティミズム」によって、過大なリスクを効率的に上限にすることができることを示す。 従来の分析とは異なり、我々のフレームワークは1つのデータセットとトレーニング手順へのブラックボックスアクセスで動作します。 私たちの研究は、ディープニューラルネットワークや生成モデルなど、現代の不透明なMLモデルを理論的に評価することを約束しています。
  論文  参考訳（メタデータ） (2025-09-02T16:26:03Z)
• Beyond Expectations: Learning with Stochastic Dominance Made Practical [88.06211893690964]
  支配は、不確実な結果で意思決定を行うためのリスク-逆の選好をモデル化する。 理論上は魅力的だが、機械学習における優位性の応用は乏しい。 まず支配の概念を一般化し、任意の確率変数の任意のペア間の比較を可能にする。 次に、優位性の観点から最適解を見つけるための単純で効率的なアプローチを開発する。
  論文  参考訳（メタデータ） (2024-02-05T03:21:23Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Monotonicity and Double Descent in Uncertainty Estimation with Gaussian Processes [52.92110730286403]
  限界確率はクロスバリデーションの指標を思い起こさせるべきであり、どちらもより大きな入力次元で劣化すべきである、と一般的に信じられている。 我々は,ハイパーパラメータをチューニングすることにより,入力次元と単調に改善できることを証明した。 また、クロスバリデーションの指標は、二重降下の特徴である質的に異なる挙動を示すことも証明した。
  論文  参考訳（メタデータ） (2022-10-14T08:09:33Z)
• Mitigating multiple descents: A model-agnostic framework for risk monotonization [84.6382406922369]
  クロスバリデーションに基づくリスクモノトナイズのための一般的なフレームワークを開発する。 本稿では,データ駆動方式であるゼロステップとワンステップの2つの手法を提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:41:40Z)
• The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer Linear Networks [51.1848572349154]
  ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。 我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
  論文  参考訳（メタデータ） (2021-08-25T22:01:01Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。