論文の概要: Entropic Mirror Descent for Linear Systems: Polyak's Stepsize and Implicit Bias

• arxiv url: http://arxiv.org/abs/2505.02614v1
• Date: Mon, 05 May 2025 12:33:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-06 18:49:35.672804
• Title: Entropic Mirror Descent for Linear Systems: Polyak's Stepsize and Implicit Bias
• Title（参考訳）: リニアシステムのためのエントロピックミラーダイス -Polyakのステップサイズとインシシットバイアス-
• Authors: Yura Malitsky, Alexander Posch,
• Abstract要約: 本稿では,線形系を解くためにエントロピックミラー降下を適用することに焦点を当てる。 収束解析の主な課題は、領域の非有界性に起因する。 制限的な仮定を課さずにこれを克服するために、Polyak型階段の変種を導入する。
• 参考スコア（独自算出の注目度）: 55.72269695392027
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper focuses on applying entropic mirror descent to solve linear systems, where the main challenge for the convergence analysis stems from the unboundedness of the domain. To overcome this without imposing restrictive assumptions, we introduce a variant of Polyak-type stepsizes. Along the way, we strengthen the bound for $\ell_1$-norm implicit bias, obtain sublinear and linear convergence results, and generalize the convergence result to arbitrary convex $L$-smooth functions. We also propose an alternative method that avoids exponentiation, resembling the original Hadamard descent, but with provable convergence.
• Abstract（参考訳）: 本稿では, 収束解析の主な課題は領域の非有界性に起因する線形系を解くために, エントロピックミラー降下を適用することである。 制限的な仮定を課さずにこれを克服するために、Polyak型階段の変種を導入する。 その過程で、$\ell_1$-normの暗黙バイアスのバウンダリを強化し、サブ線形および線形収束結果を取得し、収束結果を任意の凸$L$-smooth関数に一般化する。 また、元のアダマール降下に似ているが、証明可能な収束を伴って指数化を回避する方法を提案する。

関連論文リスト

• A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
  近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。 本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
  論文  参考訳（メタデータ） (2024-05-24T21:09:19Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Linear Convergence of Generalized Mirror Descent with Time-Dependent Mirrors [23.738242876364865]
  時間依存ミラーを用いたミラー降下の一般化のためのPLに基づく解析法を提案する。 この結果は十分な条件を確立し、ミラー降下率の収束学習を提供する。 関数に対しては、この解に対してGMDの補間解が存在することを示唆する。
  論文  参考訳（メタデータ） (2020-09-18T01:05:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。