論文の概要: Asymmetry of the Relative Entropy in the Regularization of Empirical Risk Minimization

• arxiv url: http://arxiv.org/abs/2410.02833v2
• Date: Wed, 9 Oct 2024 11:28:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-03 05:24:53.680471
• Title: Asymmetry of the Relative Entropy in the Regularization of Empirical Risk Minimization
• Title（参考訳）: 経験的リスク最小化の正則化における相対エントロピーの非対称性
• Authors: Francisco Daunas, Iñaki Esnaola, Samir M. Perlaza, H. Vincent Poor,
• Abstract要約: 相対エントロピー非対称性の効果は、経験的リスク最小化の文脈で分析される。 良く理解されたタイプI ERM-RERとタイプII ERM-RERを比較することにより、エントロピー非対称性の影響が強調される。 その結果,Type-II正則化は経験的リスク関数の適切な変換を伴うType-I正則化と同値であることが示唆された。
• 参考スコア（独自算出の注目度）: 45.935798913942904
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The effect of relative entropy asymmetry is analyzed in the context of empirical risk minimization (ERM) with relative entropy regularization (ERM-RER). Two regularizations are considered: $(a)$ the relative entropy of the measure to be optimized with respect to a reference measure (Type-I ERM-RER); or $(b)$ the relative entropy of the reference measure with respect to the measure to be optimized (Type-II ERM-RER). The main result is the characterization of the solution to the Type-II ERM-RER problem and its key properties. By comparing the well-understood Type-I ERM-RER with Type-II ERM-RER, the effects of entropy asymmetry are highlighted. The analysis shows that in both cases, regularization by relative entropy forces the solution's support to collapse into the support of the reference measure, introducing a strong inductive bias that can overshadow the evidence provided by the training data. Finally, it is shown that Type-II regularization is equivalent to Type-I regularization with an appropriate transformation of the empirical risk function.
• Abstract（参考訳）: 相対エントロピー非対称性の効果は、経験的リスク最小化(ERM)と相対エントロピー正則化(ERM-RER)の文脈で分析される。 2つの正規化が考慮されている。 (a) 基準測度(Type-I ERM-RER)に関して最適化すべき測度の相対エントロピー、または$ (b) 最適化すべき基準測度の相対エントロピー(タイプII ERM-RER)について。 主な結果は、タイプII ERM-RER問題の解とその鍵となる性質を特徴づけることである。 良く理解されたタイプI ERM-RERとタイプII ERM-RERを比較することにより、エントロピー非対称性の影響が強調される。 どちらの場合も、相対エントロピーによる正則化は、ソリューションの支持を基準尺度の支持に崩壊させ、トレーニングデータが提供する証拠を覆す強い帰納バイアスをもたらす。 最後に、タイプII正則化は経験的リスク関数の適切な変換を伴うタイプI正則化と等価であることを示す。

関連論文リスト

• Ridge interpolators in correlated factor regression models -- exact risk analysis [0.0]
  我々は、相関型エンフェール回帰モデル(FRM)を考察し、古典的なリッジ補間器の性能を解析する。 我々は,すべてのキーモデルパラメータへの依存性を明確に示し,予測リスクのキャラクタリゼーションを提供する。
  論文  参考訳（メタデータ） (2024-06-13T14:46:08Z)
• Equivalence of the Empirical Risk Minimization to Regularization on the Family of f-Divergences [45.935798913942904]
  経験的リスク最小化の解決策として、$f$-divergence regularization (ERM-$f$DR) を挙げる。 関数の特定の選択に対する解の例は、$f$である。
  論文  参考訳（メタデータ） (2024-02-01T11:12:00Z)
• Analysis of the Relative Entropy Asymmetry in the Regularization of Empirical Risk Minimization [70.540936204654]
  相対エントロピー非対称性の効果は、相対エントロピー正則化(ERM-RER)問題による経験的リスク最小化において解析される。 新しい正規化はType-II正規化(Type-II regularization)と呼ばれ、ERM-RER問題の解決を可能にする。
  論文  参考訳（メタデータ） (2023-06-12T13:56:28Z)
• Symmetry breaking slows convergence of the ADAPT Variational Quantum Eigensolver [0.0]
  2つの強い相関系を用いたADAPT-VQEの性能に及ぼす対称性の破れの影響について検討した。 我々は、フェルミオンハミルトニアンの基準状態における対称性の破れと軌道マッピングがADAPT-VQEのコンパクト性と性能に与える影響を分析する。
  論文  参考訳（メタデータ） (2022-07-07T03:09:54Z)
• Empirical Risk Minimization with Relative Entropy Regularization: Optimality and Sensitivity Analysis [7.953455469099826]
  ERM-RER問題の解からの偏差に対する期待される経験的リスクの感度について検討した。 感度の期待値は、モデルとデータセット間のラウタム情報の正方根によって、最大で一定の係数まで上限づけられている。
  論文  参考訳（メタデータ） (2022-02-09T10:55:14Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。