論文の概要: Empirical Risk Minimization with $f$-Divergence Regularization

• arxiv url: http://arxiv.org/abs/2601.13191v1
• Date: Mon, 19 Jan 2026 16:13:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:22.966972
• Title: Empirical Risk Minimization with $f$-Divergence Regularization
• Title（参考訳）: $f$-divergence正規化による経験的リスク最小化
• Authors: Francisco Daunas, Iñaki Esnaola, Samir M. Perlaza, H. Vincent Poor,
• Abstract要約: 本稿では,$f$-divergence regularization (ERM-$f$DR)による経験的リスク最小化問題の解を提案する。 提案手法は, これまでに報告されたよりも幅広い$f$-divergencesのクラスに適用可能性を高め, 既知の結果を回復する理論的結果を得る。
• 参考スコア（独自算出の注目度）: 48.54320235705813
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, the solution to the empirical risk minimization problem with $f$-divergence regularization (ERM-$f$DR) is presented and conditions under which the solution also serves as the solution to the minimization of the expected empirical risk subject to an $f$-divergence constraint are established. The proposed approach extends applicability to a broader class of $f$-divergences than previously reported and yields theoretical results that recover previously known results. Additionally, the difference between the expected empirical risk of the ERM-$f$DR solution and that of its reference measure is characterized, providing insights into previously studied cases of $f$-divergences. A central contribution is the introduction of the normalization function, a mathematical object that is critical in both the dual formulation and practical computation of the ERM-$f$DR solution. This work presents an implicit characterization of the normalization function as a nonlinear ordinary differential equation (ODE), establishes its key properties, and subsequently leverages them to construct a numerical algorithm for approximating the normalization factor under mild assumptions. Further analysis demonstrates structural equivalences between ERM-$f$DR problems with different $f$-divergences via transformations of the empirical risk. Finally, the proposed algorithm is used to compute the training and test risks of ERM-$f$DR solutions under different $f$-divergence regularizers. This numerical example highlights the practical implications of choosing different functions $f$ in ERM-$f$DR problems.
• Abstract（参考訳）: 本稿では,$f$-divergence regularization (ERM-$f$DR)による経験的リスク最小化問題の解を提示し,その解が$f$-divergence constraintによる期待される経験的リスク最小化の解となる条件を確立する。 提案手法は, これまでに報告されたよりも幅広い$f$-divergencesのクラスに適用可能性を高め, 既知の結果を回復する理論的結果を得る。 さらに、ERM-$f$DR溶液の予想される経験的リスクと基準尺度の差が特徴づけられ、以前に研究された$f$-divergencesのケースに対する洞察を与える。 中心的な貢献は正規化関数の導入であり、これは ERM-$f$DR 解の双対定式化と実用計算の両方において重要な数学的対象である。 この研究は、正規化関数を非線形常微分方程式(ODE)として暗黙的に特徴づけ、その重要な性質を確立し、その後にそれらを利用して、軽度な仮定の下で正規化係数を近似する数値アルゴリズムを構築する。 さらなる分析は、経験的リスクの変換を通じて異なる$f$-divergencesを持つERM-$f$DR問題の構造的等価性を示す。 最後に、提案アルゴリズムは、異なる$f$-divergence正則化の下でERM-$f$DRソリューションのトレーニングとテストのリスクを計算するために用いられる。 この数値的な例は、ERM-$f$DR問題において異なる関数を$f$で選択することの実践的意味を強調している。

関連論文リスト

• Generalization Error of $f$-Divergence Stabilized Algorithms via Duality [2.6024036282674587]
  制限付き最適化問題に対して、$f$-divergence regularization (ERM-$f$DR)による経験的リスク最小化の解が拡張される。 ERM-$f$DRの双対定式化を導入し、ERM-$f$DR解の正規化関数を導出する計算効率の良い方法を提供する。
  論文  参考訳（メタデータ） (2025-02-20T13:21:01Z)
• Equivalence of the Empirical Risk Minimization to Regularization on the Family of f-Divergences [45.935798913942904]
  経験的リスク最小化の解決策として、$f$-divergence regularization (ERM-$f$DR) を挙げる。 関数の特定の選択に対する解の例は、$f$である。
  論文  参考訳（メタデータ） (2024-02-01T11:12:00Z)
• Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
  モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。 本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
  論文  参考訳（メタデータ） (2023-12-07T15:55:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。