論文の概要: Empirical Risk Minimization with Relative Entropy Regularization

• arxiv url: http://arxiv.org/abs/2211.06617v4
• Date: Tue, 27 Feb 2024 07:36:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-29 01:15:07.629924
• Title: Empirical Risk Minimization with Relative Entropy Regularization
• Title（参考訳）: 相対エントロピー規則化による経験的リスク最小化
• Authors: Samir M. Perlaza, Gaetan Bisson, I\~naki Esnaola, Alain Jean-Marie, Stefano Rini
• Abstract要約: 相対エントロピー正則化(ERM-RER)を伴う経験的リスク最小化(ERM)問題について検討した。 この問題の解が存在すれば、一意の確率測度であることが示され、互いに基準測度と絶対的に連続である。 固定されたデータセットと特定の条件の下では、経験的リスクはガウス以下の確率変数であることが示される。
• 参考スコア（独自算出の注目度）: 7.012240324005975
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The empirical risk minimization (ERM) problem with relative entropy regularization (ERM-RER) is investigated under the assumption that the reference measure is a $\sigma$-finite measure, and not necessarily a probability measure. Under this assumption, which leads to a generalization of the ERM-RER problem allowing a larger degree of flexibility for incorporating prior knowledge, numerous relevant properties are stated. Among these properties, the solution to this problem, if it exists, is shown to be a unique probability measure, mutually absolutely continuous with the reference measure. Such a solution exhibits a probably-approximately-correct guarantee for the ERM problem independently of whether the latter possesses a solution. For a fixed dataset and under a specific condition, the empirical risk is shown to be a sub-Gaussian random variable when the models are sampled from the solution to the ERM-RER problem. The generalization capabilities of the solution to the ERM-RER problem (the Gibbs algorithm) are studied via the sensitivity of the expected empirical risk to deviations from such a solution towards alternative probability measures. Finally, an interesting connection between sensitivity, generalization error, and lautum information is established.
• Abstract（参考訳）: 相対エントロピー正則化(ERM-RER)を伴う経験的リスク最小化(ERM)問題は、基準測度が$\sigma$-finite測度であり、必ずしも確率測度ではないという仮定の下で検討される。 この仮定の下では、ERM-RER問題を一般化し、事前知識を組み込む柔軟性がより高められ、多くの関連する性質が記述される。 これらの性質のうち、この問題の解が存在すれば、一意な確率測度であることが示され、相互に基準測度と絶対連続である。 そのような解は、後者が解を持つかどうかに関わらず、ERM問題に対するおそらくほぼ正しい保証を示す。 固定されたデータセットと特定の条件下では、モデルが ERM-RER 問題への解からサンプリングされるとき、経験的リスクが準ガウス確率変数であることが示される。 ERM-RER問題に対する解の一般化能力(ギブスアルゴリズム)は、そのような解から代替確率測度への偏差に対する期待された経験的リスクの感度によって研究される。 最後に、感度、一般化誤差、ラウテン情報の間の興味深い接続を確立する。

関連論文リスト

• Enlarging Feature Support Overlap for Domain Generalization [9.227839292188346]
  不変リスク最小化(IRM)は、不変機能を学び、異なるドメインにわたるリスクを最小限にすることでこの問題に対処する。 本稿では,ドメイン一般化のための機能サポートオーバーラップを拡大する新しい手法を提案する。 具体的には、サンプルの多様性を高め、IRMの欠如を克服するためにベイズランダムデータ拡張を導入する。
  論文  参考訳（メタデータ） (2024-07-08T09:16:42Z)
• Equivalence of the Empirical Risk Minimization to Regularization on the Family of f-Divergences [45.935798913942904]
  経験的リスク最小化の解決策として、$f$-divergence regularization (ERM-$f$DR) を挙げる。 関数の特定の選択に対する解の例は、$f$である。
  論文  参考訳（メタデータ） (2024-02-01T11:12:00Z)
• Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
  モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。 本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
  論文  参考訳（メタデータ） (2023-12-07T15:55:58Z)
• Analysis of the Relative Entropy Asymmetry in the Regularization of Empirical Risk Minimization [70.540936204654]
  相対エントロピー非対称性の効果は、相対エントロピー正則化(ERM-RER)問題による経験的リスク最小化において解析される。 新しい正規化はType-II正規化(Type-II regularization)と呼ばれ、ERM-RER問題の解決を可能にする。
  論文  参考訳（メタデータ） (2023-06-12T13:56:28Z)
• On the Variance, Admissibility, and Stability of Empirical Risk Minimization [80.26309576810844]
  2乗損失を持つ経験的リスク最小化(ERM)は、極小最適誤差率に達する可能性がある。 軽微な仮定では、ERMの準最適性はばらつきよりも大きなバイアスによるものでなければならない。 また、我々の推定は、非ドンスカー類に対するCaponnetto と Rakhlin (2006) の主な結果を補完する ERM の安定性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T15:25:48Z)
• Empirical Risk Minimization with Relative Entropy Regularization: Optimality and Sensitivity Analysis [7.953455469099826]
  ERM-RER問題の解からの偏差に対する期待される経験的リスクの感度について検討した。 感度の期待値は、モデルとデータセット間のラウタム情報の正方根によって、最大で一定の係数まで上限づけられている。
  論文  参考訳（メタデータ） (2022-02-09T10:55:14Z)
• Disentangling Observed Causal Effects from Latent Confounders using Method of Moments [67.27068846108047]
  我々は、軽度の仮定の下で、識別性と学習可能性に関する保証を提供する。 我々は,線形制約付き結合テンソル分解に基づく効率的なアルゴリズムを開発し,スケーラブルで保証可能な解を得る。
  論文  参考訳（メタデータ） (2021-01-17T07:48:45Z)
• Empirical or Invariant Risk Minimization? A Sample Complexity Perspective [49.43806345820883]
  In-variant risk generalization (IRM) が広く採用されている経験的リスク最小化(ERM)フレームワークよりも好まれるかどうかは不明である。 データ生成機構の種類によって、2つのアプローチは、非常に異なる有限サンプルと振舞いを持つ可能性がある。 さらに、OOD溶液からの距離に関して、異なる要因(環境の数、モデルの複雑さ、およびIRMのペナルティ重量)がIRMのサンプルの複雑さにどのように影響するかについても検討する。
  論文  参考訳（メタデータ） (2020-10-30T17:55:30Z)
• The Risks of Invariant Risk Minimization [52.7137956951533]
  不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。 我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。 IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
  論文  参考訳（メタデータ） (2020-10-12T14:54:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。