論文の概要: Empirical Risk Minimization with Relative Entropy Regularization:
Optimality and Sensitivity Analysis
- arxiv url: http://arxiv.org/abs/2202.04385v1
- Date: Wed, 9 Feb 2022 10:55:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-10 20:19:59.265476
- Title: Empirical Risk Minimization with Relative Entropy Regularization:
Optimality and Sensitivity Analysis
- Title（参考訳）: 相対エントロピー規則化による経験的リスク最小化:最適性と感度分析
- Authors: Samir M. Perlaza and Gaetan Bisson and I\~naki Esnaola and Alain
Jean-Marie and Stefano Rini
- Abstract要約: ERM-RER問題の解からの偏差に対する期待される経験的リスクの感度について検討した。
感度の期待値は、モデルとデータセット間のラウタム情報の正方根によって、最大で一定の係数まで上限づけられている。
- 参考スコア（独自算出の注目度）: 7.953455469099826
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The optimality and sensitivity of the empirical risk minimization problem
with relative entropy regularization (ERM-RER) are investigated for the case in
which the reference is a sigma-finite measure instead of a probability measure.
This generalization allows for a larger degree of flexibility in the
incorporation of prior knowledge over the set of models. In this setting, the
interplay of the regularization parameter, the reference measure, the risk
function, and the empirical risk induced by the solution of the ERM-RER problem
is characterized. This characterization yields necessary and sufficient
conditions for the existence of a regularization parameter that achieves an
arbitrarily small empirical risk with arbitrarily high probability. The
sensitivity of the expected empirical risk to deviations from the solution of
the ERM-RER problem is studied. The sensitivity is then used to provide upper
and lower bounds on the expected empirical risk. Moreover, it is shown that the
expectation of the sensitivity is upper bounded, up to a constant factor, by
the square root of the lautum information between the models and the datasets.
- Abstract（参考訳）: 相対エントロピー正則化 (ERM-RER) による経験的リスク最小化問題の最適性と感度について, 基準が確率測度ではなくシグマ有限測度である場合について検討した。
この一般化は、モデルの集合に対する事前知識の組み入れにおいて、より大きな柔軟性を実現する。
この設定では、ERM-RER問題の解によって引き起こされる正規化パラメータ、基準尺度、リスク関数、および経験的リスクの相互作用を特徴付ける。
この特徴付けは、任意に小さな経験的リスクを任意に高い確率で達成する正規化パラメータの存在に必要な十分な条件を与える。
ERM-RER問題の解からの偏差に対する期待される経験的リスクの感度について検討した。
感度は、期待される経験的リスクの上限と下限を提供するために使用される。
さらに, モデルとデータセット間のラウタム情報の平方根によって, 感度の期待値が最大で一定の値に上限づけられていることが示唆された。
関連論文リスト
- Error Bounds of Supervised Classification from Information-Theoretic Perspective [0.0]
我々は、情報理論の観点から、教師付き分類にディープニューラルネットワークを使用する場合の予測リスクのバウンダリについて検討する。
経験的リスクをさらに分解したモデルリスクとフィッティングエラーを導入する。
論文 参考訳（メタデータ） (2024-06-07T01:07:35Z) - Continuous-time Risk-sensitive Reinforcement Learning via Quadratic Variation Penalty [5.710971447109951]
本稿では,連続時間リスク感応性強化学習(RL)について検討する。
従来の政策勾配表現は2次変動の非線形性に起因するリスク感受性問題には不十分である。
本稿では,メルトンの投資問題に対する提案アルゴリズムの収束性を証明し,学習過程の挙動に対する温度パラメータの影響を定量化する。
論文 参考訳（メタデータ） (2024-04-19T03:05:41Z) - Provable Risk-Sensitive Distributional Reinforcement Learning with
General Function Approximation [54.61816424792866]
本稿では,リスク感性分布強化学習(RS-DisRL)と静的リプシッツリスク対策(LRM),一般関数近似について紹介する。
モデルに基づく関数近似のためのモデルベース戦略であるtextttRS-DisRL-M と、一般値関数近似のためのモデルフリーアプローチである textttRS-DisRL-V の2つの革新的なメタアルゴリズムを設計する。
論文 参考訳（メタデータ） (2024-02-28T08:43:18Z) - Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。
我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。
本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
論文 参考訳（メタデータ） (2023-12-07T15:55:58Z) - Out-of-Distribution Optimality of Invariant Risk Minimization [20.389816785165333]
不変リスク最小化(IRM)は、o.o.d.リスクを最小化するための有望なアプローチであると考えられている。
本稿では、二段階最適化問題の解が特定の条件下でのo.o.d.リスクを最小限に抑えることを厳密に証明する。
論文 参考訳（メタデータ） (2023-07-22T03:31:15Z) - Analysis of the Relative Entropy Asymmetry in the Regularization of
Empirical Risk Minimization [70.540936204654]
相対エントロピー非対称性の効果は、相対エントロピー正則化(ERM-RER)問題による経験的リスク最小化において解析される。
新しい正規化はType-II正規化(Type-II regularization)と呼ばれ、ERM-RER問題の解決を可能にする。
論文 参考訳（メタデータ） (2023-06-12T13:56:28Z) - On the Variance, Admissibility, and Stability of Empirical Risk
Minimization [80.26309576810844]
2乗損失を持つ経験的リスク最小化(ERM)は、極小最適誤差率に達する可能性がある。
軽微な仮定では、ERMの準最適性はばらつきよりも大きなバイアスによるものでなければならない。
また、我々の推定は、非ドンスカー類に対するCaponnetto と Rakhlin (2006) の主な結果を補完する ERM の安定性を示唆している。
論文 参考訳（メタデータ） (2023-05-29T15:25:48Z) - Empirical Risk Minimization with Relative Entropy Regularization [6.815730801645783]
相対エントロピー正則化(ERM-RER)を伴う経験的リスク最小化(ERM)問題について検討した。
この問題の解が存在すれば、一意の確率測度であることが示され、互いに基準測度と絶対的に連続である。
固定されたデータセットと特定の条件の下では、経験的リスクはガウス以下の確率変数であることが示される。
論文 参考訳（メタデータ） (2022-11-12T09:41:02Z) - The Risks of Invariant Risk Minimization [52.7137956951533]
不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。
我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。
IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
論文 参考訳（メタデータ） (2020-10-12T14:54:32Z) - Learning Bounds for Risk-sensitive Learning [86.50262971918276]
リスクに敏感な学習では、損失のリスク・アバース(またはリスク・シーキング)を最小化する仮説を見つけることを目的としている。
最適化された確実性等価性によって最適性を記述するリスク感応学習スキームの一般化特性について検討する。
論文 参考訳（メタデータ） (2020-06-15T05:25:02Z) - Asymptotic normality of robust risk minimizers [2.0432586732993374]
本稿では,古典的経験的リスクのロバストな類似と見なせるアルゴリズムの特性について検討する。
幅広いパラメトリック問題に対して、適切に定義されたリスクのロバストプロキシの最小化は、同じ速度で真のリスクの最小化に収束することを示す。
論文 参考訳（メタデータ） (2020-04-05T22:03:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。