論文の概要: Perturbing the Derivative: Wild Refitting for Model-Free Evaluation of Machine Learning Models under Bregman Losses

• arxiv url: http://arxiv.org/abs/2509.02476v6
• Date: Tue, 04 Nov 2025 02:23:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 14:27:17.353566
• Title: Perturbing the Derivative: Wild Refitting for Model-Free Evaluation of Machine Learning Models under Bregman Losses
• Title（参考訳）: デリバティブの摂動:ブレグマン損失下での機械学習モデルのモデルフリー評価のためのワイルドリフィット
• Authors: Haichen Hu, David Simchi-Levi,
• Abstract要約: いわゆる「ワイルド・オプティミズム」によって、過大なリスクを効率的に上限にすることができることを示す。 従来の分析とは異なり、我々のフレームワークは1つのデータセットとトレーニング手順へのブラックボックスアクセスで動作します。 私たちの研究は、ディープニューラルネットワークや生成モデルなど、現代の不透明なMLモデルを理論的に評価することを約束しています。
• 参考スコア（独自算出の注目度）: 15.386375612838371
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the excess risk evaluation of classical penalized empirical risk minimization (ERM) with Bregman losses. We show that by leveraging the idea of wild refitting, one can efficiently upper bound the excess risk through the so-called "wild optimism," without relying on the global structure of the underlying function class. This property makes our approach inherently model-free. Unlike conventional analysis, our framework operates with just one dataset and black-box access to the training procedure. The method involves randomized Rademacher symmetrization and constructing artificially modified outputs by perturbation in the derivative space with appropriate scaling, upon which we retrain a second predictor for excess risk estimation. We establish high-probability performance guarantees both under the fixed design setting and the random design setting, demonstrating that wild refitting under Bregman losses, with an appropriately chosen wild noise scale, yields a valid upper bound on the excess risk. Thus, our work is promising for theoretically evaluating modern opaque ML models, such as deep neural networks and generative models, where the function class is too complex for classical learning theory and empirical process techniques.
• Abstract（参考訳）: 本稿では,古典的ペナルティ化された経験的リスク最小化(ERM)におけるブレグマン損失の過大なリスク評価について検討した。 ワイルドリフィッティングの考え方を活用することで、基礎となる関数クラスのグローバルな構造に頼ることなく、いわゆる「ワイルド・オプティミズム」を通じて、過剰なリスクを効率的に上限にすることができることを示す。 この性質は我々のアプローチを本質的にモデルフリーにする。 従来の分析とは異なり、我々のフレームワークは1つのデータセットとトレーニング手順へのブラックボックスアクセスで動作します。 この手法はランダム化Rademacher対称性と, 微分空間の摂動による人工的な出力の構成を適切なスケーリングで行い, 過大リスク推定のための第2の予測器を再訓練する。 固定設計設定とランダム設計設定の両方の下で高確率性能を保証し、ブレグマン損失下でのワイルドリフィットが、適切に選択されたワイルドノイズスケールで、過剰なリスクに有効な上限を与えることを示す。 このように、我々の研究は、古典的学習理論や経験的プロセス技術には関数クラスが複雑すぎる深層ニューラルネットワークや生成モデルのような、現代の不透明なMLモデルを理論的に評価することを約束している。

関連論文リスト

• Risk-aware Direct Preference Optimization under Nested Risk Measure [23.336246526648374]
  Ra-DPO(Ra-Aware Direct Preference Optimization)は、ネストしたリスク対策を取り入れた新しいアプローチである。 3つのオープンソースデータセットに対する実験結果は、アライメント性能とモデルドリフトのバランスをとる上で、提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2025-05-26T08:01:37Z)
• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• Bayesian Nonparametrics Meets Data-Driven Distributionally Robust Optimization [29.24821214671497]
  機械学習と統計モデルのトレーニングは、しばしばデータ駆動型リスク基準の最適化を伴う。 ベイズ的非パラメトリック(ディリクレ過程)理論と、スムーズなあいまいさ-逆選好の最近の決定論的モデルを組み合わせた、新しいロバストな基準を提案する。 実用的な実装として、よく知られたディリクレプロセスの表現に基づいて、評価基準の抽出可能な近似を提案し、研究する。
  論文  参考訳（メタデータ） (2024-01-28T21:19:15Z)
• Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
  モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。 本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
  論文  参考訳（メタデータ） (2023-12-07T15:55:58Z)
• GEC: A Unified Framework for Interactive Decision Making in MDP, POMDP, and Beyond [101.5329678997916]
  対話型意思決定の一般的な枠組みの下で, サンプル高能率強化学習(RL)について検討した。 本稿では,探索とエクスプロイトの基本的なトレードオフを特徴付ける,新しい複雑性尺度である一般化エルダー係数(GEC)を提案する。 低 GEC の RL 問題は非常にリッチなクラスであり、これは低ベルマン楕円体次元問題、双線型クラス、低証人ランク問題、PO-双線型クラス、一般化正規PSR を仮定する。
  論文  参考訳（メタデータ） (2022-11-03T16:42:40Z)
• Mitigating multiple descents: A model-agnostic framework for risk monotonization [84.6382406922369]
  クロスバリデーションに基づくリスクモノトナイズのための一般的なフレームワークを開発する。 本稿では,データ駆動方式であるゼロステップとワンステップの2つの手法を提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:41:40Z)
• Safe Continuous Control with Constrained Model-Based Policy Optimization [0.0]
  制約付き高次元制御のためのモデルベースセーフ探索アルゴリズムを提案する。 また、モデル生成データによるポリシー探索を高速化する実用的なアルゴリズムも導入する。
  論文  参考訳（メタデータ） (2021-04-14T15:20:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。