論文の概要: Perturbing the Derivative: Wild Refitting for Model-Free Evaluation of Machine Learning Models under Bregman Losses

• arxiv url: http://arxiv.org/abs/2509.02476v6
• Date: Tue, 04 Nov 2025 02:23:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 14:27:17.353566
• Title: Perturbing the Derivative: Wild Refitting for Model-Free Evaluation of Machine Learning Models under Bregman Losses
• Title（参考訳）: デリバティブの摂動:ブレグマン損失下での機械学習モデルのモデルフリー評価のためのワイルドリフィット
• Authors: Haichen Hu, David Simchi-Levi,
• Abstract要約: いわゆる「ワイルド・オプティミズム」によって、過大なリスクを効率的に上限にすることができることを示す。 従来の分析とは異なり、我々のフレームワークは1つのデータセットとトレーニング手順へのブラックボックスアクセスで動作します。 私たちの研究は、ディープニューラルネットワークや生成モデルなど、現代の不透明なMLモデルを理論的に評価することを約束しています。
• 参考スコア（独自算出の注目度）: 15.386375612838371
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the excess risk evaluation of classical penalized empirical risk minimization (ERM) with Bregman losses. We show that by leveraging the idea of wild refitting, one can efficiently upper bound the excess risk through the so-called "wild optimism," without relying on the global structure of the underlying function class. This property makes our approach inherently model-free. Unlike conventional analysis, our framework operates with just one dataset and black-box access to the training procedure. The method involves randomized Rademacher symmetrization and constructing artificially modified outputs by perturbation in the derivative space with appropriate scaling, upon which we retrain a second predictor for excess risk estimation. We establish high-probability performance guarantees both under the fixed design setting and the random design setting, demonstrating that wild refitting under Bregman losses, with an appropriately chosen wild noise scale, yields a valid upper bound on the excess risk. Thus, our work is promising for theoretically evaluating modern opaque ML models, such as deep neural networks and generative models, where the function class is too complex for classical learning theory and empirical process techniques.
• Abstract（参考訳）: 本稿では,古典的ペナルティ化された経験的リスク最小化(ERM)におけるブレグマン損失の過大なリスク評価について検討した。 ワイルドリフィッティングの考え方を活用することで、基礎となる関数クラスのグローバルな構造に頼ることなく、いわゆる「ワイルド・オプティミズム」を通じて、過剰なリスクを効率的に上限にすることができることを示す。 この性質は我々のアプローチを本質的にモデルフリーにする。 従来の分析とは異なり、我々のフレームワークは1つのデータセットとトレーニング手順へのブラックボックスアクセスで動作します。 この手法はランダム化Rademacher対称性と, 微分空間の摂動による人工的な出力の構成を適切なスケーリングで行い, 過大リスク推定のための第2の予測器を再訓練する。 固定設計設定とランダム設計設定の両方の下で高確率性能を保証し、ブレグマン損失下でのワイルドリフィットが、適切に選択されたワイルドノイズスケールで、過剰なリスクに有効な上限を与えることを示す。 このように、我々の研究は、古典的学習理論や経験的プロセス技術には関数クラスが複雑すぎる深層ニューラルネットワークや生成モデルのような、現代の不透明なMLモデルを理論的に評価することを約束している。

関連論文リスト

• Robust Bayesian Dynamic Programming for On-policy Risk-sensitive Reinforcement Learning [4.71677151409532]
  本稿では,過渡不確実性に対するロバスト性を含むリスク感応性強化学習のための新しい枠組みを提案する。 本フレームワークは,内的リスク対策と外的リスク対策の両方に対して,一般的なコヒーレントリスク対策を許容することにより,既存のRLフレームワークを統一・一般化する。
  論文  参考訳（メタデータ） (2025-12-31T03:13:22Z)
• Worst-case generation via minimax optimization in Wasserstein space [19.645939141861543]
  最悪のケース生成は、分散シフト下でのロバストネスとストレステストシステムを評価する上で重要な役割を果たす。 我々は,所定のリスクに対する最悪のケース生成のための生成モデリングフレームワークを開発する。
  論文  参考訳（メタデータ） (2025-12-09T02:11:08Z)
• Doubly Wild Refitting: Model-Free Evaluation of High Dimensional Black-Box Predictions under Convex Losses [15.386375612838371]
  一般凸損失関数の下での実証的リスク最小化のための過剰リスク評価の問題について検討する。 我々の貢献は、過大なリスクを計算し、固定設計設定の下で高確率な上限を提供する効率的な調整手順である。
  論文  参考訳（メタデータ） (2025-11-24T05:38:47Z)
• Risk-aware Direct Preference Optimization under Nested Risk Measure [23.336246526648374]
  Ra-DPO(Ra-Aware Direct Preference Optimization)は、ネストしたリスク対策を取り入れた新しいアプローチである。 3つのオープンソースデータセットに対する実験結果は、アライメント性能とモデルドリフトのバランスをとる上で、提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2025-05-26T08:01:37Z)
• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• Risk-Averse Certification of Bayesian Neural Networks [70.44969603471903]
  本稿では,RAC-BNNと呼ばれるベイズニューラルネットワークに対するリスク・アバース認証フレームワークを提案する。 提案手法はサンプリングと最適化を利用して,BNNの出力集合の音響近似を計算する。 我々は,RAC-BNNを回帰および分類ベンチマークで検証し,その性能を最先端の手法と比較した。
  論文  参考訳（メタデータ） (2024-11-29T14:22:51Z)
• Bayesian Nonparametrics Meets Data-Driven Distributionally Robust Optimization [29.24821214671497]
  機械学習と統計モデルのトレーニングは、しばしばデータ駆動型リスク基準の最適化を伴う。 ベイズ的非パラメトリック(ディリクレ過程)理論と、スムーズなあいまいさ-逆選好の最近の決定論的モデルを組み合わせた、新しいロバストな基準を提案する。 実用的な実装として、よく知られたディリクレプロセスの表現に基づいて、評価基準の抽出可能な近似を提案し、研究する。
  論文  参考訳（メタデータ） (2024-01-28T21:19:15Z)
• Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
  モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。 本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
  論文  参考訳（メタデータ） (2023-12-07T15:55:58Z)
• Outlier-robust neural network training: variation regularization meets trimmed loss to prevent functional breakdown [2.5628953713168685]
  我々は,高度に表現力のあるニューラルネットワークを用いた外乱予測モデリングの課題に取り組む。 提案手法は,(1)変換トリミング損失(TTL)と(2)高次変動正規化(HOVR)の2つの重要な要素を統合し,予測関数に滑らかさの制約を課す。
  論文  参考訳（メタデータ） (2023-08-04T12:57:13Z)
• Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level Stability and High-Level Behavior [51.60683890503293]
  生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。 任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
  論文  参考訳（メタデータ） (2023-07-27T04:27:26Z)
• When Demonstrations Meet Generative World Models: A Maximum Likelihood Framework for Offline Inverse Reinforcement Learning [62.00672284480755]
  本稿では, 専門家エージェントから, 一定の有限個の実演において観測された動作を過小評価する報酬と環境力学の構造を復元することを目的とする。 タスクを実行するための正確な専門知識モデルは、臨床的意思決定や自律運転のような安全に敏感な応用に応用できる。
  論文  参考訳（メタデータ） (2023-02-15T04:14:20Z)
• GEC: A Unified Framework for Interactive Decision Making in MDP, POMDP, and Beyond [101.5329678997916]
  対話型意思決定の一般的な枠組みの下で, サンプル高能率強化学習(RL)について検討した。 本稿では,探索とエクスプロイトの基本的なトレードオフを特徴付ける,新しい複雑性尺度である一般化エルダー係数(GEC)を提案する。 低 GEC の RL 問題は非常にリッチなクラスであり、これは低ベルマン楕円体次元問題、双線型クラス、低証人ランク問題、PO-双線型クラス、一般化正規PSR を仮定する。
  論文  参考訳（メタデータ） (2022-11-03T16:42:40Z)
• Learning Dynamical Systems via Koopman Operator Regression in Reproducing Kernel Hilbert Spaces [52.35063796758121]
  動的システムの有限データ軌跡からクープマン作用素を学ぶためのフレームワークを定式化する。 リスクとクープマン作用素のスペクトル分解の推定を関連付ける。 以上の結果から,RRRは他の広く用いられている推定値よりも有益である可能性が示唆された。
  論文  参考訳（メタデータ） (2022-05-27T14:57:48Z)
• Mitigating multiple descents: A model-agnostic framework for risk monotonization [84.6382406922369]
  クロスバリデーションに基づくリスクモノトナイズのための一般的なフレームワークを開発する。 本稿では,データ駆動方式であるゼロステップとワンステップの2つの手法を提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:41:40Z)
• Safe Continuous Control with Constrained Model-Based Policy Optimization [0.0]
  制約付き高次元制御のためのモデルベースセーフ探索アルゴリズムを提案する。 また、モデル生成データによるポリシー探索を高速化する実用的なアルゴリズムも導入する。
  論文  参考訳（メタデータ） (2021-04-14T15:20:55Z)
• Provable Model-based Nonlinear Bandit and Reinforcement Learning: Shelve Optimism, Embrace Virtual Curvature [61.22680308681648]
  決定論的報酬を有する1層ニューラルネットバンディットにおいても,グローバル収束は統計的に難解であることを示す。 非線形バンディットとRLの両方に対して,オンラインモデル学習者による仮想アセンジ(Virtual Ascent with Online Model Learner)というモデルベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-08T12:41:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。