論文の概要: A New Kernel Regularity Condition for Distributed Mirror Descent: Broader Coverage and Simpler Analysis
- arxiv url: http://arxiv.org/abs/2603.12838v1
- Date: Fri, 13 Mar 2026 09:40:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-16 17:38:12.030828
- Title: A New Kernel Regularity Condition for Distributed Mirror Descent: Broader Coverage and Simpler Analysis
- Title（参考訳）: 分散ミラーダイスのための新しいカーネル規則条件:広帯域化と簡易解析
- Authors: Junwen Qiu, Ziyang Zeng, Leilei Mei, Junyu Zhang,
- Abstract要約: ヘッセンの相対的一様連続性は、穏やかな条件下で収束を保証する。
我々は、制限的な仮定を課すことなく、ミラー降下に基づく勾配追跡の収束保証を導出する。
- 参考スコア（独自算出の注目度）: 12.17232701440245
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing convergence of distributed optimization methods in non-Euclidean geometries typically rely on kernel assumptions: (i) global Lipschitz smoothness and (ii) bi-convexity of the associated Bregman divergence function. Unfortunately, these conditions are violated by nearly all kernels used in practice, leaving a huge theory-practice gap. This work closes this gap by developing a unified analytical tool that guarantees convergence under mild conditions. Specifically, we introduce Hessian relative uniform continuity (HRUC), a regularity satisfied by nearly all standard kernels. Importantly, HRUC is closed under concatenation, positive scaling, composition, and various kernel combinations. Leveraging the geometric structure induced by HRUC, we derive convergence guarantees for mirror descent-based gradient tracking without imposing any restrictive assumptions. More broadly, our analysis techniques extend seamlessly to other decentralized optimization methods in genuinely non-Euclidean and non-Lipschitz settings.
- Abstract（参考訳）: 非ユークリッド幾何学における分散最適化手法の既存の収束は通常、カーネルの仮定に依存する。
(i)グローバルリプシッツの滑らか性と
(ii)関連するブレグマン発散関数の両凸性。
残念なことに、これらの条件は実際に使用されるほとんど全てのカーネルによって破られ、理論と実践的なギャップが残されている。
この研究は、穏やかな条件下で収束を保証する統一的な解析ツールを開発することで、このギャップを埋める。
具体的には、ほぼすべての標準カーネルで満たされる正則性である Hessian relative uniform continuity (HRUC) を導入する。
重要なことに、HRUCは結合、正のスケーリング、構成、および様々なカーネルの組み合わせの下で閉じている。
HRUCによって誘導される幾何構造を利用して、制限的な仮定を課すことなく、ミラー降下に基づく勾配追跡の収束保証を導出する。
より広範に、我々の分析手法は真に非ユークリッドおよび非リプシッツ設定における他の分散最適化手法にシームレスに拡張する。
関連論文リスト
- Consequences of Kernel Regularity for Bandit Optimization [4.655159257282135]
カーネルベースおよび局所適応型アルゴリズムは統合されたフレームワーク内で解析可能であることを示す。
これにより、各カーネルファミリに対して明確な後悔境界を導出し、いくつかのケースで新しい結果を得ることができ、他のケースに対して改善された分析を行うことができる。
論文 参考訳（メタデータ） (2025-12-05T18:54:09Z) - Revisiting Convergence: Shuffling Complexity Beyond Lipschitz Smoothness [50.78508362183774]
シャッフル型勾配法はその単純さと迅速な経験的性能のために実践的に好まれる。
リプシッツ条件は一般的な機械学習スキームでは満たされないことが多い。
論文 参考訳（メタデータ） (2025-07-11T15:36:48Z) - Generalization Bound of Gradient Flow through Training Trajectory and Data-dependent Kernel [55.82768375605861]
我々は、カーネル法における古典的ラデマッハ複雑性と整合する勾配流の一般化を確立する。
NTKのような静的カーネルとは異なり、LPKはトレーニング軌跡全体をキャプチャし、データと最適化の両方に適応する。
論文 参考訳（メタデータ） (2025-06-12T23:17:09Z) - Learning Analysis of Kernel Ridgeless Regression with Asymmetric Kernel Learning [33.34053480377887]
本稿では,局所適応バンド幅(LAB)RBFカーネルを用いたカーネルリッジレスレグレッションを強化する。
初めて、LAB RBFカーネルから学習した関数は、Reproducible Kernel Hilbert Spaces (RKHSs) の積分空間に属することを示した。
論文 参考訳（メタデータ） (2024-06-03T15:28:12Z) - A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。
本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
論文 参考訳（メタデータ） (2024-05-24T21:09:19Z) - Taming Nonconvex Stochastic Mirror Descent with General Bregman
Divergence [25.717501580080846]
本稿では、現代の非最適化設定における勾配フォワードミラー(SMD)の収束を再考する。
トレーニングのために,線形ネットワーク問題に対する確率収束アルゴリズムを開発した。
論文 参考訳（メタデータ） (2024-02-27T17:56:49Z) - Last-Iterate Convergence of Adaptive Riemannian Gradient Descent for Equilibrium Computation [52.73824786627612]
本稿では,テクスト幾何学的強単調ゲームに対する新たな収束結果を確立する。
我々のキーとなる結果は、RGDがテクスト幾何学的手法で最終定位線形収束を実現することを示しています。
全体として、ユークリッド設定を超えるゲームに対して、幾何学的に非依存な最終点収束解析を初めて提示する。
論文 参考訳（メタデータ） (2023-06-29T01:20:44Z) - Kernel Ridge Regression Inference [5.981623867626376]
有効かつ鋭い信頼セットを構築し、最小値に近い速度で縮小し、非標準回帰器を許容する。
我々は、この手順を用いて、マッチ効果の試験、すなわち、生徒が高いランクの学校からより多くの利益を得るかどうかを立案する。
論文 参考訳（メタデータ） (2023-02-13T18:26:36Z) - Randomized Coordinate Subgradient Method for Nonsmooth Composite
Optimization [11.017632675093628]
非滑らかな問題に対処するコーディネート型劣階法は、リプシッツ型仮定の性質のセットのため、比較的過小評価されている。
論文 参考訳（メタデータ） (2022-06-30T02:17:11Z) - Optimization on manifolds: A symplectic approach [127.54402681305629]
本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。
我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
論文 参考訳（メタデータ） (2021-07-23T13:43:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。