論文の概要: Wild Refitting for Model-Free Excess Risk Evaluation of Opaque Machine Learning Models under Bregman Loss

• arxiv url: http://arxiv.org/abs/2509.02476v4
• Date: Tue, 09 Sep 2025 14:01:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-10 12:33:22.794233
• Title: Wild Refitting for Model-Free Excess Risk Evaluation of Opaque Machine Learning Models under Bregman Loss
• Title（参考訳）: ブラッグマン損失下の不透明機械学習モデルのモデル不要余剰リスク評価のためのワイルドリフィット
• Authors: Haichen Hu, David Simchi-Levi,
• Abstract要約: いわゆる「ワイルド・オプティミズム」によって、過大なリスクを効率的に上限にすることができることを示す。 従来の分析とは異なり、我々のフレームワークは1つのデータセットとトレーニング手順へのブラックボックスアクセスで動作します。
• 参考スコア（独自算出の注目度）: 15.386375612838371
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the problem of evaluating the excess risk of classical penalized empirical risk minimization (ERM) with Bregman losses. We show that by leveraging the recently proposed wild refitting procedure (Wainwright, 2025), one can efficiently upper bound the excess risk through the so-called "wild optimism," without relying on the global structure of the underlying function class. This property makes our approach inherently model-free. Unlike conventional analyses, our framework operates with just one dataset and black-box access to the training procedure. The method involves randomized vector-valued symmetrization with an appropriate scaling of the prediction residues and constructing artificially modified outcomes, upon which we retrain a second predictor for excess risk estimation. We establish high-probability performance guarantees both under the fixed design setting and the random design setting, demonstrating that wild refitting under Bregman losses, with an appropriately chosen wild noise scale, yields a valid upper bound on the excess risk. This work thus is promising for theoretically evaluating modern opaque ML and AI models such as deep neural networks and large language models, where the model class is too complex for classical learning theory and empirical process techniques to apply.
• Abstract（参考訳）: 本稿では,古典的ペナルティ化された経験的リスク最小化(ERM)の過大なリスクとブレグマンの損失を比較検討する。 本稿では,最近提案されたワイルドリフィッティング手法(Wainwright, 2025)を活用することで,基本機能クラスのグローバルな構造に頼ることなく,いわゆる「ワイルドオプティミズム」を通じて,過剰なリスクを効率的に上限にすることができることを示す。 この性質は我々のアプローチを本質的にモデルフリーにする。 従来の分析とは異なり、我々のフレームワークは1つのデータセットとトレーニング手順へのブラックボックスアクセスで動作します。 本手法は,予測残差の適切なスケーリングによるランダム化ベクトル値対称性と人工的な修正結果の構築を伴い,過大リスク推定のための第2の予測器を再訓練する。 固定設計設定とランダム設計設定の両方の下で高確率性能を保証し、ブレグマン損失下でのワイルドリフィットが、適切に選択されたワイルドノイズスケールで、過剰なリスクに有効な上限を与えることを示す。 この研究は、モデルクラスが古典的な学習理論や経験的プロセス技術を適用するには複雑すぎる、ディープニューラルネットワークや大規模言語モデルのような、現代の不透明なMLとAIモデルを評価することを理論的に約束している。

関連論文リスト

• Risk-aware Direct Preference Optimization under Nested Risk Measure [23.336246526648374]
  Ra-DPO(Ra-Aware Direct Preference Optimization)は、ネストしたリスク対策を取り入れた新しいアプローチである。 3つのオープンソースデータセットに対する実験結果は、アライメント性能とモデルドリフトのバランスをとる上で、提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2025-05-26T08:01:37Z)
• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• Bayesian Nonparametrics Meets Data-Driven Distributionally Robust Optimization [29.24821214671497]
  機械学習と統計モデルのトレーニングは、しばしばデータ駆動型リスク基準の最適化を伴う。 ベイズ的非パラメトリック(ディリクレ過程)理論と、スムーズなあいまいさ-逆選好の最近の決定論的モデルを組み合わせた、新しいロバストな基準を提案する。 実用的な実装として、よく知られたディリクレプロセスの表現に基づいて、評価基準の抽出可能な近似を提案し、研究する。
  論文  参考訳（メタデータ） (2024-01-28T21:19:15Z)
• Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
  モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。 本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
  論文  参考訳（メタデータ） (2023-12-07T15:55:58Z)
• GEC: A Unified Framework for Interactive Decision Making in MDP, POMDP, and Beyond [101.5329678997916]
  対話型意思決定の一般的な枠組みの下で, サンプル高能率強化学習(RL)について検討した。 本稿では,探索とエクスプロイトの基本的なトレードオフを特徴付ける,新しい複雑性尺度である一般化エルダー係数(GEC)を提案する。 低 GEC の RL 問題は非常にリッチなクラスであり、これは低ベルマン楕円体次元問題、双線型クラス、低証人ランク問題、PO-双線型クラス、一般化正規PSR を仮定する。
  論文  参考訳（メタデータ） (2022-11-03T16:42:40Z)
• Mitigating multiple descents: A model-agnostic framework for risk monotonization [84.6382406922369]
  クロスバリデーションに基づくリスクモノトナイズのための一般的なフレームワークを開発する。 本稿では,データ駆動方式であるゼロステップとワンステップの2つの手法を提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:41:40Z)
• Safe Continuous Control with Constrained Model-Based Policy Optimization [0.0]
  制約付き高次元制御のためのモデルベースセーフ探索アルゴリズムを提案する。 また、モデル生成データによるポリシー探索を高速化する実用的なアルゴリズムも導入する。
  論文  参考訳（メタデータ） (2021-04-14T15:20:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。