論文の概要: Generalization Error of the Tilted Empirical Risk
- arxiv url: http://arxiv.org/abs/2409.19431v2
- Date: Thu, 17 Oct 2024 12:23:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-05 23:19:24.941525
- Title: Generalization Error of the Tilted Empirical Risk
- Title(参考訳): 汚れた経験的リスクの一般化誤差
- Authors: Gholamali Aminian, Amir R. Asadi, Tian Li, Ahmad Beirami, Gesine Reinert, Samuel N. Cohen,
- Abstract要約: 教師付き統計学習アルゴリズムの一般化誤差(リスク)は、これまで見られなかったデータに対する予測能力を定量化する。
指数傾斜にインスパイアされたLi et al. (2021) は、機械学習アプリケーションのための非線形リスク指標として傾いた経験的リスクを提案した。
- 参考スコア(独自算出の注目度): 17.48212403081267
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The generalization error (risk) of a supervised statistical learning algorithm quantifies its prediction ability on previously unseen data. Inspired by exponential tilting, Li et al. (2021) proposed the tilted empirical risk as a non-linear risk metric for machine learning applications such as classification and regression problems. In this work, we examine the generalization error of the tilted empirical risk. In particular, we provide uniform and information-theoretic bounds on the tilted generalization error, defined as the difference between the population risk and the tilted empirical risk, with a convergence rate of $O(1/\sqrt{n})$ where $n$ is the number of training samples. Furthermore, we study the solution to the KL-regularized expected tilted empirical risk minimization problem and derive an upper bound on the expected tilted generalization error with a convergence rate of $O(1/n)$.
- Abstract(参考訳): 教師付き統計学習アルゴリズムの一般化誤差(リスク)は、これまで見られなかったデータに対する予測能力を定量化する。
指数的傾きにインスパイアされたLi et al (2021) は、分類や回帰問題といった機械学習応用のための非線形リスク指標として傾いた経験的リスクを提案した。
本研究では,傾いた経験的リスクの一般化誤差について検討する。
特に、傾いた一般化誤差に関する一様および情報理論的境界を、集団リスクと傾いた経験的リスクの差として定義し、収束率は$O(1/\sqrt{n})$で、$n$はトレーニングサンプルの数である。
さらに, KL-正則な傾き型傾き型リスク最小化問題の解法について検討し, 収束率$O(1/n)$で予測傾き型一般化誤差の上界を導出する。
関連論文リスト
- Data-driven decision-making under uncertainty with entropic risk measure [5.407319151576265]
エントロピーリスク尺度は、不確実な損失に関連する尾のリスクを考慮に入れた高い意思決定に広く用いられている。
経験的エントロピーリスク推定器を劣化させるため, 強く一貫したブートストラップ手法を提案する。
検証性能のバイアスが補正されない場合,クロスバリデーション手法は,保険業者のアウト・オブ・サンプルリスクを著しく高める可能性があることを示す。
論文 参考訳(メタデータ) (2024-09-30T04:02:52Z) - Error Bounds of Supervised Classification from Information-Theoretic Perspective [0.0]
我々は、情報理論の観点から、教師付き分類にディープニューラルネットワークを使用する場合の予測リスクのバウンダリについて検討する。
経験的リスクをさらに分解したモデルリスクとフィッティングエラーを導入する。
論文 参考訳(メタデータ) (2024-06-07T01:07:35Z) - Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。
我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。
本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
論文 参考訳(メタデータ) (2023-12-07T15:55:58Z) - Non-Asymptotic Bounds for Adversarial Excess Risk under Misspecified
Models [9.65010022854885]
本研究では,ある平滑な条件下での分布的敵攻撃によって引き起こされるリスクに,敵対的リスクが等価であることを示す。
対向推定器の一般化性能を評価するため, 対向過大リスクについて検討した。
論文 参考訳(メタデータ) (2023-09-02T00:51:19Z) - Domain Generalization without Excess Empirical Risk [83.26052467843725]
一般的なアプローチは、一般化を捉え、ペナルティと共同で経験的リスクを最小化するために、データ駆動の代理ペナルティを設計することである。
我々は、このレシピの重大な失敗モードは、共同最適化における誤ったペナルティや難しさによる過度なリスクであると主張している。
我々は,この問題を解消するアプローチを提案し,経験的リスクと刑罰を同時に最小化する代わりに,経験的リスクの最適性の制約の下でのペナルティを最小化する。
論文 参考訳(メタデータ) (2023-08-30T08:46:46Z) - Mean-field Analysis of Generalization Errors [1.1344265020822928]
KL-正則化経験的リスク最小化問題を考察し、一般化誤差収束率(英語版)が$n$のサンプルでトレーニングする場合は$mathcalO (1/n)$であるような一般的な条件を確立する。
平均場状態における一層ニューラルネットワークによる教師あり学習の文脈では、これらの条件は、損失と活性化関数に対する適切な積分性と規則性仮定に反映される。
論文 参考訳(メタデータ) (2023-06-20T15:49:09Z) - A Generalized Unbiased Risk Estimator for Learning with Augmented
Classes [70.20752731393938]
ラベルなしのデータが与えられた場合、非バイアスリスク推定器(URE)が導出され、理論的保証のあるLACでは最小限にすることができる。
理論的な保証を維持しつつ任意の損失関数を装備できる一般化されたUREを提案する。
論文 参考訳(メタデータ) (2023-06-12T06:52:04Z) - Prediction Risk and Estimation Risk of the Ridgeless Least Squares Estimator under General Assumptions on Regression Errors [10.857775300638831]
より一般的な回帰誤差仮定の下で予測リスクと推定リスクについて検討する。
その結果,パラメータ化の利点は時系列,パネル,グループ化データにまで拡張できることが示唆された。
論文 参考訳(メタデータ) (2023-05-22T10:04:20Z) - Mitigating multiple descents: A model-agnostic framework for risk
monotonization [84.6382406922369]
クロスバリデーションに基づくリスクモノトナイズのための一般的なフレームワークを開発する。
本稿では,データ駆動方式であるゼロステップとワンステップの2つの手法を提案する。
論文 参考訳(メタデータ) (2022-05-25T17:41:40Z) - Learning Bounds for Risk-sensitive Learning [86.50262971918276]
リスクに敏感な学習では、損失のリスク・アバース(またはリスク・シーキング)を最小化する仮説を見つけることを目的としている。
最適化された確実性等価性によって最適性を記述するリスク感応学習スキームの一般化特性について検討する。
論文 参考訳(メタデータ) (2020-06-15T05:25:02Z) - Understanding and Mitigating the Tradeoff Between Robustness and
Accuracy [88.51943635427709]
逆行訓練は、堅牢なエラーを改善するために、摂動でトレーニングセットを増強する。
拡張摂動が最適線形予測器からノイズのない観測を行う場合であっても,標準誤差は増大する可能性がある。
論文 参考訳(メタデータ) (2020-02-25T08:03:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。