論文の概要: Equivalence of the Empirical Risk Minimization to Regularization on the Family of f-Divergences

• arxiv url: http://arxiv.org/abs/2402.00501v2
• Date: Wed, 23 Oct 2024 20:55:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-25 12:50:50.726189
• Title: Equivalence of the Empirical Risk Minimization to Regularization on the Family of f-Divergences
• Title（参考訳）: f-divergencesファミリーにおける経験的リスク最小化と正規化の等価性
• Authors: Francisco Daunas, Iñaki Esnaola, Samir M. Perlaza, H. Vincent Poor,
• Abstract要約: 経験的リスク最小化の解決策として、$f$-divergence regularization (ERM-$f$DR) を挙げる。 関数の特定の選択に対する解の例は、$f$である。
• 参考スコア（独自算出の注目度）: 45.935798913942904
• License:
• Abstract: The solution to empirical risk minimization with $f$-divergence regularization (ERM-$f$DR) is presented under mild conditions on $f$. Under such conditions, the optimal measure is shown to be unique. Examples of the solution for particular choices of the function $f$ are presented. Previously known solutions to common regularization choices are obtained by leveraging the flexibility of the family of $f$-divergences. These include the unique solutions to empirical risk minimization with relative entropy regularization (Type-I and Type-II). The analysis of the solution unveils the following properties of $f$-divergences when used in the ERM-$f$DR problem: $i\bigl)$ $f$-divergence regularization forces the support of the solution to coincide with the support of the reference measure, which introduces a strong inductive bias that dominates the evidence provided by the training data; and $ii\bigl)$ any $f$-divergence regularization is equivalent to a different $f$-divergence regularization with an appropriate transformation of the empirical risk function.
• Abstract（参考訳）: 経験的リスク最小化を$f$分割正則化(ERM-$f$DR)とする解は、$f$の穏やかな条件下で提示される。 このような条件下では、最適測度は一意であることが示される。 関数の特定の選択に対する解の例は、$f$である。 以前は、一般的な正規化の選択に対する解は、$f$-divergencesのファミリーの柔軟性を活用することで得られる。 これらは、相対エントロピー正則化 (Type-I と Type-II) による経験的リスク最小化のユニークな解を含む。 例:$i\bigl)$$f$-divergence regularization 例:$i\bigl)$$f$-divergence regularization 例:$f$-divergence regularization 例:$i\bigl)$$f$-divergence regularization 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例: 例:

関連論文リスト

• Sparsity via Sparse Group $k$-max Regularization [22.05774771336432]
  本稿では,新規かつ簡潔な正規化,すなわちスパース群$k$-max正規化を提案する。 提案手法の有効性と柔軟性を,合成データセットと実世界のデータセットの数値実験により検証する。
  論文  参考訳（メタデータ） (2024-02-13T14:41:28Z)
• Variance Reduced Halpern Iteration for Finite-Sum Monotone Inclusions [18.086061048484616]
  平衡問題の幅広いクラスをモデル化した有限サム単調包含問題について検討する。 我々の主な貢献は、複雑性の保証を改善するために分散還元を利用する古典的ハルパーン反復の変種である。 我々は、この複雑さが単調なリプシッツ設定では改善できないと論じる。
  論文  参考訳（メタデータ） (2023-10-04T17:24:45Z)
• Analysis of the Relative Entropy Asymmetry in the Regularization of Empirical Risk Minimization [70.540936204654]
  相対エントロピー非対称性の効果は、相対エントロピー正則化(ERM-RER)問題による経験的リスク最小化において解析される。 新しい正規化はType-II正規化(Type-II regularization)と呼ばれ、ERM-RER問題の解決を可能にする。
  論文  参考訳（メタデータ） (2023-06-12T13:56:28Z)
• A Robustness Analysis of Blind Source Separation [91.3755431537592]
  ブラインドソース分離(BSS)は、変換$f$が可逆であるが未知であるという条件の下で、その混合である$X=f(S)$から観測されていない信号を復元することを目的としている。 このような違反を分析し、その影響を$X$から$S$のブラインドリカバリに与える影響を定量化するための一般的なフレームワークを提案する。 定義された構造的仮定からの偏差に対する一般的なBSS溶出は、明示的な連続性保証という形で、利益的に分析可能であることを示す。
  論文  参考訳（メタデータ） (2023-03-17T16:30:51Z)
• Empirical Risk Minimization with Relative Entropy Regularization [6.815730801645783]
  相対エントロピー正則化(ERM-RER)を伴う経験的リスク最小化(ERM)問題について検討した。 この問題の解が存在すれば、一意の確率測度であることが示され、互いに基準測度と絶対的に連続である。 固定されたデータセットと特定の条件の下では、経験的リスクはガウス以下の確率変数であることが示される。
  論文  参考訳（メタデータ） (2022-11-12T09:41:02Z)
• A Primal-Dual Approach to Solving Variational Inequalities with General Constraints [54.62996442406718]
  Yang et al. (2023) は最近、一般的な変分不等式を解決するために一階勾配法を使う方法を示した。 この方法の収束性を証明し、演算子が$L$-Lipschitz と monotone である場合、この手法の最後の繰り返しのギャップ関数が$O(frac1sqrtK)$で減少することを示す。
  論文  参考訳（メタデータ） (2022-10-27T17:59:09Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• The Risks of Invariant Risk Minimization [52.7137956951533]
  不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。 我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。 IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
  論文  参考訳（メタデータ） (2020-10-12T14:54:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。