論文の概要: Generalization and Robustness of the Tilted Empirical Risk
- arxiv url: http://arxiv.org/abs/2409.19431v3
- Date: Sat, 07 Jun 2025 17:10:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-10 16:33:09.105551
- Title: Generalization and Robustness of the Tilted Empirical Risk
- Title（参考訳）: 試行錯誤リスクの一般化とロバスト性
- Authors: Gholamali Aminian, Amir R. Asadi, Tian Li, Ahmad Beirami, Gesine Reinert, Samuel N. Cohen,
- Abstract要約: 教師付き統計学習アルゴリズムの一般化誤差(リスク)は、これまで見られなかったデータに対する予測能力を定量化する。
指数的傾きにインスパイアされたcitetli 2020tiltedは、機械学習アプリケーションのための非線形リスク指標として、経験的リスク(TER)を傾けることを提案した。
- 参考スコア（独自算出の注目度）: 17.48212403081267
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The generalization error (risk) of a supervised statistical learning algorithm quantifies its prediction ability on previously unseen data. Inspired by exponential tilting, \citet{li2020tilted} proposed the {\it tilted empirical risk} (TER) as a non-linear risk metric for machine learning applications such as classification and regression problems. In this work, we examine the generalization error of the tilted empirical risk in the robustness regime under \textit{negative tilt}. Our first contribution is to provide uniform and information-theoretic bounds on the {\it tilted generalization error}, defined as the difference between the population risk and the tilted empirical risk, under negative tilt for unbounded loss function under bounded $(1+\epsilon)$-th moment of loss function for some $\epsilon\in(0,1]$ with a convergence rate of $O(n^{-\epsilon/(1+\epsilon)})$ where $n$ is the number of training samples, revealing a novel application for TER under no distribution shift. Secondly, we study the robustness of the tilted empirical risk with respect to noisy outliers at training time and provide theoretical guarantees under distribution shift for the tilted empirical risk. We empirically corroborate our findings in simple experimental setups where we evaluate our bounds to select the value of tilt in a data-driven manner.
- Abstract（参考訳）: 教師付き統計学習アルゴリズムの一般化誤差(リスク)は、これまで見られなかったデータに対する予測能力を定量化する。
指数的傾きにインスパイアされた \citet{li2020tilted} は、分類や回帰問題などの機械学習応用のための非線形リスク指標として {\it tilted empirical risk} (TER) を提案した。
本研究では,ロバストネス系における傾いた経験的リスクの一般化誤差をtextit{ negative tilt} の下で検討する。
1+\epsilon)$-th moment of loss function for some $\epsilon\in(0,1]$ with a convergence rate of $O(n^{-\epsilon/(1+\epsilon)}$ where $n$ is the number of training sample, revealing a novel application for TER under unbounded loss function under bounded $(1+\epsilon)$-th moment of loss function for some $O(n^{-\epsilon/(1+\epsilon)}$。
第2に,傾いた経験的リスクのトレーニング時のノイズ発生率に対するロバスト性について検討し,傾いた経験的リスクに対する分布シフトの理論的保証を提供する。
データ駆動方式で傾きの値を選択するための境界値を評価するための簡単な実験装置で,実験によって得られた知見を実証的に相関付けする。
関連論文リスト
- Causal Lifting of Neural Representations: Zero-Shot Generalization for Causal Inferences [56.23412698865433]
本研究では,ラベル付き類似実験を微調整した予測モデルを用いて,ラベル付き実結果を用いた対象実験の因果推論に焦点をあてる。
まず,経験的リスク最小化(ERM)による実結果推定は,対象個体群に対して有効な因果推論を導出できない可能性があることを示す。
本稿では,実証的リスク最小化法(DEM)を提案する。
論文 参考訳（メタデータ） (2025-02-10T10:52:17Z) - Data-driven decision-making under uncertainty with entropic risk measure [5.407319151576265]
エントロピーリスク尺度は、不確実な損失に関連する尾のリスクを考慮に入れた高い意思決定に広く用いられている。
経験的エントロピーリスク推定器を劣化させるため, 強く一貫したブートストラップ手法を提案する。
検証性能のバイアスが補正されない場合,クロスバリデーション手法は,保険業者のアウト・オブ・サンプルリスクを著しく高める可能性があることを示す。
論文 参考訳（メタデータ） (2024-09-30T04:02:52Z) - Error Bounds of Supervised Classification from Information-Theoretic Perspective [0.0]
我々は、情報理論の観点から、教師付き分類にディープニューラルネットワークを使用する場合の予測リスクのバウンダリについて検討する。
経験的リスクをさらに分解したモデルリスクとフィッティングエラーを導入する。
論文 参考訳（メタデータ） (2024-06-07T01:07:35Z) - Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。
我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。
本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
論文 参考訳（メタデータ） (2023-12-07T15:55:58Z) - Non-Asymptotic Bounds for Adversarial Excess Risk under Misspecified
Models [9.65010022854885]
本研究では,ある平滑な条件下での分布的敵攻撃によって引き起こされるリスクに,敵対的リスクが等価であることを示す。
対向推定器の一般化性能を評価するため, 対向過大リスクについて検討した。
論文 参考訳（メタデータ） (2023-09-02T00:51:19Z) - Domain Generalization without Excess Empirical Risk [83.26052467843725]
一般的なアプローチは、一般化を捉え、ペナルティと共同で経験的リスクを最小化するために、データ駆動の代理ペナルティを設計することである。
我々は、このレシピの重大な失敗モードは、共同最適化における誤ったペナルティや難しさによる過度なリスクであると主張している。
我々は,この問題を解消するアプローチを提案し,経験的リスクと刑罰を同時に最小化する代わりに,経験的リスクの最適性の制約の下でのペナルティを最小化する。
論文 参考訳（メタデータ） (2023-08-30T08:46:46Z) - Mean-field Analysis of Generalization Errors [1.1344265020822928]
KL-正則化経験的リスク最小化問題を考察し、一般化誤差収束率(英語版)が$n$のサンプルでトレーニングする場合は$mathcalO (1/n)$であるような一般的な条件を確立する。
平均場状態における一層ニューラルネットワークによる教師あり学習の文脈では、これらの条件は、損失と活性化関数に対する適切な積分性と規則性仮定に反映される。
論文 参考訳（メタデータ） (2023-06-20T15:49:09Z) - A Generalized Unbiased Risk Estimator for Learning with Augmented
Classes [70.20752731393938]
ラベルなしのデータが与えられた場合、非バイアスリスク推定器(URE)が導出され、理論的保証のあるLACでは最小限にすることができる。
理論的な保証を維持しつつ任意の損失関数を装備できる一般化されたUREを提案する。
論文 参考訳（メタデータ） (2023-06-12T06:52:04Z) - Prediction Risk and Estimation Risk of the Ridgeless Least Squares Estimator under General Assumptions on Regression Errors [10.857775300638831]
より一般的な回帰誤差仮定の下で予測リスクと推定リスクについて検討する。
その結果,パラメータ化の利点は時系列,パネル,グループ化データにまで拡張できることが示唆された。
論文 参考訳（メタデータ） (2023-05-22T10:04:20Z) - Mitigating multiple descents: A model-agnostic framework for risk
monotonization [84.6382406922369]
クロスバリデーションに基づくリスクモノトナイズのための一般的なフレームワークを開発する。
本稿では,データ駆動方式であるゼロステップとワンステップの2つの手法を提案する。
論文 参考訳（メタデータ） (2022-05-25T17:41:40Z) - Learning Bounds for Risk-sensitive Learning [86.50262971918276]
リスクに敏感な学習では、損失のリスク・アバース(またはリスク・シーキング)を最小化する仮説を見つけることを目的としている。
最適化された確実性等価性によって最適性を記述するリスク感応学習スキームの一般化特性について検討する。
論文 参考訳（メタデータ） (2020-06-15T05:25:02Z) - Understanding and Mitigating the Tradeoff Between Robustness and
Accuracy [88.51943635427709]
逆行訓練は、堅牢なエラーを改善するために、摂動でトレーニングセットを増強する。
拡張摂動が最適線形予測器からノイズのない観測を行う場合であっても,標準誤差は増大する可能性がある。
論文 参考訳（メタデータ） (2020-02-25T08:03:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。