論文の概要: Empirical Risk Minimization with Generalized Relative Entropy Regularization

• arxiv url: http://arxiv.org/abs/2211.06617v1
• Date: Sat, 12 Nov 2022 09:41:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 21:38:59.908316
• Title: Empirical Risk Minimization with Generalized Relative Entropy Regularization
• Title（参考訳）: 一般化相対エントロピー規則化による経験的リスク最小化
• Authors: Samir M. Perlaza, Gaetan Bisson, I\~naki Esnaola, Alain Jean-Marie, Stefano Rini
• Abstract要約: 相対エントロピー正則化を伴う経験的リスク最小化問題について検討した。 g-ERM-RER問題の解は、基準測度と相互に絶対連続なユニークな確率測度であることが示されている。 g-ERM-RER問題の解からの偏差に対する期待される経験的リスクの感度について検討した。
• 参考スコア（独自算出の注目度）: 7.953455469099826
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The empirical risk minimization (ERM) problem with relative entropy regularization (ERM-RER) is investigated under the assumption that the reference measure is a~$\sigma$-finite measure instead of a probability measure. This assumption leads to a generalization of the ERM-RER (g-ERM-RER) problem that allows for a larger degree of flexibility in the incorporation of prior knowledge over the set of models. The solution of the g-ERM-RER problem is shown to be a unique probability measure mutually absolutely continuous with the reference measure and to exhibit a probably-approximately-correct (PAC) guarantee for the ERM problem. For a given dataset, the empirical risk is shown to be a sub-Gaussian random variable when the models are sampled from the solution to the g-ERM-RER problem. Finally, the sensitivity of the expected empirical risk to deviations from the solution of the g-ERM-RER problem is studied. In particular, the expectation of the absolute value of sensitivity is shown to be upper bounded, up to a constant factor, by the square root of the lautum information between the models and the datasets.
• Abstract（参考訳）: 相対エントロピー正則化(ERM-RER)を伴う経験的リスク最小化(ERM)問題は、基準測度が確率測度ではなくa~$\sigma$-finite測度であるという仮定の下で検討される。 この仮定は ERM-RER (g-ERM-RER) 問題を一般化し、モデルの集合に対する事前知識の組み入れにおいてより大きな柔軟性を実現する。 g-ERM-RER問題の解は、基準測度と相互に絶対的に連続するユニークな確率測度であることが示され、ERM問題に対するおそらくほぼ正しい(PAC)保証を示す。 与えられたデータセットに対して、実験的リスクは、g-ERM-RER問題に対する解からモデルがサンプリングされたときに、亜ガウス確率変数であることが示される。 最後に, g-ERM-RER問題の解から得られる偏差に対する経験的リスクの感度について検討した。 特に、感度の絶対値の期待値は、モデルとデータセットの間のラウタム情報の平方根によって、定数係数まで上界であることが示されている。

関連論文リスト

• Enlarging Feature Support Overlap for Domain Generalization [9.227839292188346]
  不変リスク最小化(IRM)は、不変機能を学び、異なるドメインにわたるリスクを最小限にすることでこの問題に対処する。 本稿では,ドメイン一般化のための機能サポートオーバーラップを拡大する新しい手法を提案する。 具体的には、サンプルの多様性を高め、IRMの欠如を克服するためにベイズランダムデータ拡張を導入する。
  論文  参考訳（メタデータ） (2024-07-08T09:16:42Z)
• Equivalence of the Empirical Risk Minimization to Regularization on the Family of f-Divergences [45.935798913942904]
  経験的リスク最小化の解決策として、$f$-divergence regularization (ERM-$f$DR) を挙げる。 関数の特定の選択に対する解の例は、$f$である。
  論文  参考訳（メタデータ） (2024-02-01T11:12:00Z)
• Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
  モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。 本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
  論文  参考訳（メタデータ） (2023-12-07T15:55:58Z)
• Analysis of the Relative Entropy Asymmetry in the Regularization of Empirical Risk Minimization [70.540936204654]
  相対エントロピー非対称性の効果は、相対エントロピー正則化(ERM-RER)問題による経験的リスク最小化において解析される。 新しい正規化はType-II正規化(Type-II regularization)と呼ばれ、ERM-RER問題の解決を可能にする。
  論文  参考訳（メタデータ） (2023-06-12T13:56:28Z)
• On the Variance, Admissibility, and Stability of Empirical Risk Minimization [80.26309576810844]
  2乗損失を持つ経験的リスク最小化(ERM)は、極小最適誤差率に達する可能性がある。 軽微な仮定では、ERMの準最適性はばらつきよりも大きなバイアスによるものでなければならない。 また、我々の推定は、非ドンスカー類に対するCaponnetto と Rakhlin (2006) の主な結果を補完する ERM の安定性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T15:25:48Z)
• Empirical Risk Minimization with Relative Entropy Regularization: Optimality and Sensitivity Analysis [7.953455469099826]
  ERM-RER問題の解からの偏差に対する期待される経験的リスクの感度について検討した。 感度の期待値は、モデルとデータセット間のラウタム情報の正方根によって、最大で一定の係数まで上限づけられている。
  論文  参考訳（メタデータ） (2022-02-09T10:55:14Z)
• Disentangling Observed Causal Effects from Latent Confounders using Method of Moments [67.27068846108047]
  我々は、軽度の仮定の下で、識別性と学習可能性に関する保証を提供する。 我々は,線形制約付き結合テンソル分解に基づく効率的なアルゴリズムを開発し,スケーラブルで保証可能な解を得る。
  論文  参考訳（メタデータ） (2021-01-17T07:48:45Z)
• Empirical or Invariant Risk Minimization? A Sample Complexity Perspective [49.43806345820883]
  In-variant risk generalization (IRM) が広く採用されている経験的リスク最小化(ERM)フレームワークよりも好まれるかどうかは不明である。 データ生成機構の種類によって、2つのアプローチは、非常に異なる有限サンプルと振舞いを持つ可能性がある。 さらに、OOD溶液からの距離に関して、異なる要因(環境の数、モデルの複雑さ、およびIRMのペナルティ重量)がIRMのサンプルの複雑さにどのように影響するかについても検討する。
  論文  参考訳（メタデータ） (2020-10-30T17:55:30Z)
• The Risks of Invariant Risk Minimization [52.7137956951533]
  不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。 我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。 IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
  論文  参考訳（メタデータ） (2020-10-12T14:54:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。