論文の概要: Analysis of the Relative Entropy Asymmetry in the Regularization of
Empirical Risk Minimization
- arxiv url: http://arxiv.org/abs/2306.07123v1
- Date: Mon, 12 Jun 2023 13:56:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-13 14:19:43.499708
- Title: Analysis of the Relative Entropy Asymmetry in the Regularization of
Empirical Risk Minimization
- Title（参考訳）: 経験的リスク最小化の正則化における相対エントロピー非対称性の解析
- Authors: Francisco Daunas, I\~naki Esnaola, Samir M. Perlaza, H. Vincent Poor
- Abstract要約: 相対エントロピー非対称性の効果は、相対エントロピー正則化(ERM-RER)問題による経験的リスク最小化において解析される。
新しい正規化はType-II正規化(Type-II regularization)と呼ばれ、ERM-RER問題の解決を可能にする。
- 参考スコア（独自算出の注目度）: 70.540936204654
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The effect of the relative entropy asymmetry is analyzed in the empirical
risk minimization with relative entropy regularization (ERM-RER) problem. A
novel regularization is introduced, coined Type-II regularization, that allows
for solutions to the ERM-RER problem with a support that extends outside the
support of the reference measure. The solution to the new ERM-RER Type-II
problem is analytically characterized in terms of the Radon-Nikodym derivative
of the reference measure with respect to the solution. The analysis of the
solution unveils the following properties of relative entropy when it acts as a
regularizer in the ERM-RER problem: i) relative entropy forces the support of
the Type-II solution to collapse into the support of the reference measure,
which introduces a strong inductive bias that dominates the evidence provided
by the training data; ii) Type-II regularization is equivalent to classical
relative entropy regularization with an appropriate transformation of the
empirical risk function. Closed-form expressions of the expected empirical risk
as a function of the regularization parameters are provided.
- Abstract（参考訳）: 相対エントロピー非対称性の効果は、相対エントロピー正則化(ERM-RER)問題による経験的リスク最小化において解析される。
新しい正規化(type-ii regularization)が導入され、erm-rer問題の解が参照測度の支持の外側に拡張される。
新しいERM-RER Type-II問題の解は、その解に関する基準測度のラドン-ニコディム微分によって解析的に特徴づけられる。
溶液の分析は、ERM-RER問題の正則化剤として作用する相対エントロピーの以下の性質を明らかにする。
一 相対エントロピーは、タイプiiの解の支持を基準尺度の支持に崩壊させ、トレーニングデータが提供する証拠を支配する強い帰納的バイアスをもたらす。
二 タイプII正則化は、経験的リスク関数の適切な変換を伴う古典的相対エントロピー正則化と等価である。
正規化パラメータの関数として期待される経験的リスクのクローズドフォーム表現を提供する。
関連論文リスト
- Asymmetry of the Relative Entropy in the Regularization of Empirical Risk Minimization [45.935798913942904]
相対エントロピー非対称性の効果は、経験的リスク最小化の文脈で分析される。
良く理解されたタイプI ERM-RERとタイプII ERM-RERを比較することにより、エントロピー非対称性の影響が強調される。
その結果,Type-II正則化は経験的リスク関数の適切な変換を伴うType-I正則化と同値であることが示唆された。
論文 参考訳（メタデータ） (2024-10-02T09:43:43Z) - Equivalence of the Empirical Risk Minimization to Regularization on the Family of f-Divergences [45.935798913942904]
経験的リスク最小化の解決策として、$f$-divergence regularization (ERM-$f$DR) を挙げる。
関数の特定の選択に対する解の例は、$f$である。
論文 参考訳（メタデータ） (2024-02-01T11:12:00Z) - Empirical Risk Minimization with Relative Entropy Regularization [6.815730801645783]
相対エントロピー正則化(ERM-RER)を伴う経験的リスク最小化(ERM)問題について検討した。
この問題の解が存在すれば、一意の確率測度であることが示され、互いに基準測度と絶対的に連続である。
固定されたデータセットと特定の条件の下では、経験的リスクはガウス以下の確率変数であることが示される。
論文 参考訳（メタデータ） (2022-11-12T09:41:02Z) - Stability and Generalization for Markov Chain Stochastic Gradient
Methods [49.981789906200035]
本稿では,最小化問題と最小化問題の両方に対して,MC-SGMの包括的一般化解析を行う。
我々はスムーズかつ非スムーズなケースに対して最適な過剰人口リスク境界を確立する。
コンベックス・コンケーブ問題に対する最初期のほぼ最適な収束率を期待と高い確率で開発する。
論文 参考訳（メタデータ） (2022-09-16T15:42:51Z) - Empirical Risk Minimization with Relative Entropy Regularization:
Optimality and Sensitivity Analysis [7.953455469099826]
ERM-RER問題の解からの偏差に対する期待される経験的リスクの感度について検討した。
感度の期待値は、モデルとデータセット間のラウタム情報の正方根によって、最大で一定の係数まで上限づけられている。
論文 参考訳（メタデータ） (2022-02-09T10:55:14Z) - Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector
Problems [98.34292831923335]
オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。
我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
論文 参考訳（メタデータ） (2021-12-29T18:46:52Z) - Linear Convergence of Entropy-Regularized Natural Policy Gradient with
Linear Function Approximation [30.02577720946978]
線形関数近似を用いたエントロピー規則化NPGの有限時間収束解析を確立した。
エントロピー規則化NPGは関数近似誤差までのエンフィナール収束を示すことを示す。
論文 参考訳（メタデータ） (2021-06-08T04:30:39Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳（メタデータ） (2021-03-23T17:15:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。