Fugu-MT 論文翻訳(概要): Generalization Error of $f$-Divergence Stabilized Algorithms via Duality

論文の概要: Generalization Error of $f$-Divergence Stabilized Algorithms via Duality

arxiv url: http://arxiv.org/abs/2502.14544v1
Date: Thu, 20 Feb 2025 13:21:01 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-21 14:29:33.676976
Title: Generalization Error of $f$-Divergence Stabilized Algorithms via Duality
Title（参考訳）: 二重性による$f$-divergence安定化アルゴリズムの一般化誤差
Authors: Francisco Daunas, Iñaki Esnaola, Samir M. Perlaza, Gholamali Aminian,
Abstract要約: 制限付き最適化問題に対して、$f$-divergence regularization (ERM-$f$DR)による経験的リスク最小化の解が拡張される。 ERM-$f$DRの双対定式化を導入し、ERM-$f$DR解の正規化関数を導出する計算効率の良い方法を提供する。
参考スコア（独自算出の注目度）: 2.6024036282674587
License:
Abstract: The solution to empirical risk minimization with $f$-divergence regularization (ERM-$f$DR) is extended to constrained optimization problems, establishing conditions for equivalence between the solution and constraints. A dual formulation of ERM-$f$DR is introduced, providing a computationally efficient method to derive the normalization function of the ERM-$f$DR solution. This dual approach leverages the Legendre-Fenchel transform and the implicit function theorem, enabling explicit characterizations of the generalization error for general algorithms under mild conditions, and another for ERM-$f$DR solutions.
Abstract（参考訳）: 経験的リスク最小化を$f$-divergence regularization (ERM-$f$DR) とする解は、制約付き最適化問題に拡張され、解と制約の等価性の条件が確立される。 ERM-$f$DRの双対定式化を導入し、ERM-$f$DR解の正規化関数を導出する計算効率の良い方法を提供する。この双対アプローチはルジャンドル・フェンシェル変換と暗黙の関数定理を利用して、穏やかな条件下での一般アルゴリズムの一般化誤差の明示的な特徴づけと、ERM-$f$DR解に対する別の方法を可能にする。

関連論文リスト

Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
論文参考訳（メタデータ） (2024-10-22T10:19:27Z)
Alternating Minimization Schemes for Computing Rate-Distortion-Perception Functions with $f$-Divergence Perception Constraints [10.564071872770146]
離散メモリレスソースに対するRDPF(Ralse-Distortion-Perception Function)の計算について検討した。最適パラメトリック解を特徴付ける。歪みと知覚制約について十分な条件を提供する。
論文参考訳（メタデータ） (2024-08-27T12:50:12Z)
Double Duality: Variational Primal-Dual Policy Optimization for Constrained Reinforcement Learning [132.7040981721302]
本研究では,訪問尺度の凸関数を最小化することを目的として,制約付き凸決定プロセス(MDP)について検討する。制約付き凸MDPの設計アルゴリズムは、大きな状態空間を扱うなど、いくつかの課題に直面している。
論文参考訳（メタデータ） (2024-02-16T16:35:18Z)
Equivalence of the Empirical Risk Minimization to Regularization on the Family of f-Divergences [45.935798913942904]
経験的リスク最小化の解決策として、$f$-divergence regularization (ERM-$f$DR) を挙げる。関数の特定の選択に対する解の例は、$f$である。
論文参考訳（メタデータ） (2024-02-01T11:12:00Z)
Hedging Complexity in Generalization via a Parametric Distributionally Robust Optimization Framework [18.6306170209029]
経験的リスク最小化(ERM)と分散ロバスト最適化(DRO)は最適化問題の解法として一般的な手法である。本稿では,パラメトリックな分布系列を用いて乱摂動分布を近似する簡単な手法を提案する。この新たな誤差源は適切なDRO定式化によって制御可能であることを示す。
論文参考訳（メタデータ） (2022-12-03T03:26:34Z)
Algorithm for Constrained Markov Decision Process with Linear Convergence [55.41644538483948]
エージェントは、そのコストに対する複数の制約により、期待される累積割引報酬を最大化することを目的としている。エントロピー正規化ポリシーとベイダの二重化という2つの要素を統合した新しい双対アプローチが提案されている。提案手法は(線形速度で)大域的最適値に収束することが示されている。
論文参考訳（メタデータ） (2022-06-03T16:26:38Z)
Faster Algorithm and Sharper Analysis for Constrained Markov Decision Process [56.55075925645864]
制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
論文参考訳（メタデータ） (2021-10-20T02:57:21Z)
A Dual Approach to Constrained Markov Decision Processes with Entropy Regularization [7.483040617090451]
本研究では,ソフトマックスパラメータ化の下で,エントロピー規則化制約付きマルコフ決定過程(CMDP)について検討する。我々の理論的解析は、ラグランジアン双対函数は滑らかであり、ラグランジアン双対性ギャップは原始性ギャップと制約違反に分解できることを示している。
論文参考訳（メタデータ） (2021-10-17T21:26:40Z)
Efficient Consensus Model based on Proximal Gradient Method applied to Convolutional Sparse Problems [2.335152769484957]
我々は、勾配近似(PG)アプローチに基づく効率的なコンセンサスアルゴリズムの理論解析を導出し、詳述する。提案アルゴリズムは、異常検出タスクに対する別の特別な畳み込み問題にも適用できる。
論文参考訳（メタデータ） (2020-11-19T20:52:48Z)
Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文参考訳（メタデータ） (2020-06-11T17:43:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。