論文の概要: Empirical Risk Minimization for Losses without Variance
- arxiv url: http://arxiv.org/abs/2309.03818v1
- Date: Thu, 7 Sep 2023 16:14:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-08 12:17:54.008710
- Title: Empirical Risk Minimization for Losses without Variance
- Title(参考訳): 変動のない損失に対する経験的リスク最小化
- Authors: Guanhua Fang, Ping Li, Gennady Samorodnitsky
- Abstract要約: 重み付けされた条件下では、データは有限分散を持たないが、$p in (1,2)$で$p$のモーメントしか持たない経験的リスク問題を考察する。
トランカットされた観測データに基づいて推定を行う代わりに,リスク値の最小化による最小化を選択する。
これらのリスク値は、顕著なカトニ法(Catoni, 2012)を用いて、頑健に推定できる。
- 参考スコア(独自算出の注目度): 26.30435936379624
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper considers an empirical risk minimization problem under
heavy-tailed settings, where data does not have finite variance, but only has
$p$-th moment with $p \in (1,2)$. Instead of using estimation procedure based
on truncated observed data, we choose the optimizer by minimizing the risk
value. Those risk values can be robustly estimated via using the remarkable
Catoni's method (Catoni, 2012). Thanks to the structure of Catoni-type
influence functions, we are able to establish excess risk upper bounds via
using generalized generic chaining methods. Moreover, we take computational
issues into consideration. We especially theoretically investigate two types of
optimization methods, robust gradient descent algorithm and empirical
risk-based methods. With an extensive numerical study, we find that the
optimizer based on empirical risks via Catoni-style estimation indeed shows
better performance than other baselines. It indicates that estimation directly
based on truncated data may lead to unsatisfactory results.
- Abstract(参考訳): 本稿では,データに有限分散性はないが,$p \in (1,2)$ で$p$-th のモーメントしか持たない重み付き設定下での経験的リスク最小化問題を考える。
トランケートされた観測データに基づいて推定を行う代わりに,リスク値の最小化によりオプティマイザを選択する。
これらのリスク値は、markive catoni's method (catoni, 2012)を用いてロバストに推定できる。
カタニ型影響関数の構造により、一般化されたジェネリック連鎖法を用いて過剰リスク上限を確立することができる。
さらに,計算問題を考慮に入れている。
特に,ロバスト勾配降下アルゴリズムと経験的リスクベース手法の2つの最適化手法について理論的に検討した。
広範な数値研究により,カトーニ型推定による経験的リスクに基づくオプティマイザが,他のベースラインよりも優れた性能を示すことがわかった。
断続データに基づく推定は不満足な結果につながる可能性がある。
関連論文リスト
- Bayesian Nonparametrics Meets Data-Driven Robust Optimization [34.55288809402238]
機械学習と統計モデルのトレーニングは、しばしばデータ駆動型リスク基準の最適化を伴う。
ベイズ的非パラメトリック(ディリクレ過程)理論と、スムーズなあいまいさ-逆選好の最近の決定論的モデルとの知見を組み合わせることで、新しいロバストな基準を提案する。
実用的な実装として、よく知られたディリクレプロセスの表現に基づいて、評価基準の抽出可能な近似を提案し、研究する。
論文 参考訳(メタデータ) (2024-01-28T21:19:15Z) - Model-Based Epistemic Variance of Values for Risk-Aware Policy
Optimization [63.32053223422317]
モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。
特に、MDP上の分布によって誘導される値の分散を特徴付けることに焦点をあてる。
我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。
論文 参考訳(メタデータ) (2023-12-07T15:55:58Z) - Safe Deployment for Counterfactual Learning to Rank with Exposure-Based
Risk Minimization [63.93275508300137]
本稿では,安全な配置を理論的に保証する新たなリスク認識型対実学習ランク法を提案する。
提案手法の有効性を実験的に検証し,データが少ない場合の動作不良の早期回避に有効であることを示す。
論文 参考訳(メタデータ) (2023-04-26T15:54:23Z) - Risk-Aware Linear Bandits: Theory and Applications in Smart Order
Routing [10.69955834942979]
スマート・オーダー・ルーティング(SOR)におけるリスク・アウェア・バンディットの最適化について検討する。
分散最小化グローバル最適化(G-Optimal)設計により、新しいインスタンス非依存型リスク意識探索-then-Commit(RISE)アルゴリズムとインスタンス依存型リスク意識継承排除(RISE++)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-08-04T00:21:10Z) - Mitigating multiple descents: A model-agnostic framework for risk
monotonization [84.6382406922369]
クロスバリデーションに基づくリスクモノトナイズのための一般的なフレームワークを開発する。
本稿では,データ駆動方式であるゼロステップとワンステップの2つの手法を提案する。
論文 参考訳(メタデータ) (2022-05-25T17:41:40Z) - Risk Minimization from Adaptively Collected Data: Guarantees for
Supervised and Policy Learning [57.88785630755165]
経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。
本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。
政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
論文 参考訳(メタデータ) (2021-06-03T09:50:13Z) - Minimax Off-Policy Evaluation for Multi-Armed Bandits [58.7013651350436]
有界報酬を用いたマルチアームバンディットモデルにおけるオフポリシー評価の問題点について検討する。
3つの設定でミニマックスレート・オプティマティックな手順を開発。
論文 参考訳(メタデータ) (2021-01-19T18:55:29Z) - Dimensionality reduction, regularization, and generalization in
overparameterized regressions [8.615625517708324]
主成分回帰(主成分回帰)としても知られるPCA-OLSは次元の減少によって回避できることを示す。
OLSは任意に敵の攻撃を受けやすいが,次元性低下はロバスト性を向上させることを示す。
その結果,プロジェクションがトレーニングデータに依存する手法は,トレーニングデータとは独立にプロジェクションが選択される手法よりも優れていることがわかった。
論文 参考訳(メタデータ) (2020-11-23T15:38:50Z) - Large-Scale Methods for Distributionally Robust Optimization [53.98643772533416]
我々のアルゴリズムは、トレーニングセットのサイズとパラメータの数によらず、多くの評価勾配を必要とすることを証明している。
MNIST と ImageNet の実験により,本手法の 9-36 倍の効率性を持つアルゴリズムの理論的スケーリングが確認された。
論文 参考訳(メタデータ) (2020-10-12T17:41:44Z) - Asymptotic normality of robust risk minimizers [2.0432586732993374]
本稿では,古典的経験的リスクのロバストな類似と見なせるアルゴリズムの特性について検討する。
幅広いパラメトリック問題に対して、適切に定義されたリスクのロバストプロキシの最小化は、同じ速度で真のリスクの最小化に収束することを示す。
論文 参考訳(メタデータ) (2020-04-05T22:03:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。