論文の概要: Using Non-Lipschitz Signum-based Functions for Distributed Optimization and Machine Learning: Trade-off Between Con-vergence Rate and Optimality Gap
- arxiv url: http://arxiv.org/abs/2608.01220v1
- Date: Sun, 02 Aug 2026 13:06:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.12653
- Title: Using Non-Lipschitz Signum-based Functions for Distributed Optimization and Machine Learning: Trade-off Between Con-vergence Rate and Optimality Gap
- Title（参考訳）: 分散最適化と機械学習のための非Lipschitzシグナブル関数の利用:コンバージェンス率と最適ゲップのトレードオフ
- Abstract要約: 非Lipschitz連続最適化アルゴリズムは、既存の線形解の緩やかな収束率を改善するために提案されている。
分散回帰問題を解析し、線形および非リプシッツ符号に基づく関数を適用して収束率をチェックする。
以上の結果から,シグナムをベースとした菌根反応はより高速に収束するが,高い最適性ギャップが生じる可能性が示唆された。
- 参考スコア（独自算出の注目度）: 9.045698110081686
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, the prevalence of large-scale data-sets and the demand for sophisti-cated learning models have necessitated the development of efficient distributed ma-chine learning (ML) solutions. Convergence speed is a critical factor influencing the practicality and effectiveness of these distributed frameworks. Recently, non-Lipschitz continuous optimization algorithms have been proposed to improve the slow conver-gence rate of the existing linear solutions. The use of signum-based functions is previ-ously considered in consensus and control literature to reach fast convergence in the prescribed time and also to provide robust algorithms to noisy/outlier data. However, as shown in this work, these algorithms lead to an optimality gap and steady-state re-sidual of the objective function in discrete-time setup. This motivates us to investigate the distributed optimization and ML algorithms in terms of trade-off between conver-gence rate and optimality gap. In this direction, we specifically consider the distributed regression problem and check its convergence rate by applying both linear and non-Lipschitz signum-based functions. We check our distributed regression approach by extensive simulations. Our results show that although adopting signum-based func-tions may give faster convergence, it results in large optimality gaps. The findings pre-sented in this paper may contribute to and advance the ongoing discourse of similar distributed algorithms, e.g., for distributed constrained optimization and distributed estimation.
- Abstract（参考訳）: 近年,大規模データセットの普及とソフィスティ・キャット学習モデルの需要は,効率的な分散マシーン学習(ML)ソリューションの開発を必要としている。
収束速度は、これらの分散フレームワークの実用性と有効性に影響を与える重要な要因である。
近年,既存の線形解の収束速度を遅くするために,非Lipschitz連続最適化アルゴリズムが提案されている。
シグナブル関数の使用は、あらかじめコンセンサスと制御文学において、所定時間内に高速収束を達成するとともに、ノイズ/外れ値データに対するロバストなアルゴリズムを提供するために、事前に考慮されている。
しかし、この研究で示されているように、これらのアルゴリズムは、離散時間設定における目的関数の最適性ギャップと定常的再帰をもたらす。
これにより、コンバージェンス率と最適性ギャップのトレードオフの観点から、分散最適化とMLアルゴリズムについて検討する動機付けとなる。
この方向では、分散回帰問題を特に考慮し、線形および非リプシッツ符号に基づく関数を適用して収束率をチェックする。
分散回帰手法を広範囲なシミュレーションで検証する。
以上の結果から,シグナムをベースとした菌根反応はより高速に収束するが,高い最適性ギャップが生じる可能性が示唆された。
本稿では,分散制約最適化と分散推定のために,類似の分散アルゴリズム,例えば分散アルゴリズムの現在進行中の言論に寄与し,進展する可能性がある。
関連論文リスト
- Natural Hypergradient Descent: Algorithm Design, Convergence Analysis, and Parallel Implementation [5.754044493040163]
Natural Hypergradient Descent (NHGD) は二段階最適化問題の解法である。
我々の主な理論的貢献は、NHGDの高確率誤差境界とサンプル複雑性保証を確立することである。
代表的二段階学習課題に関する実証評価は、NHGDの実用的利点を示している。
論文 参考訳（メタデータ） (2026-02-11T14:31:33Z) - Stochastic Optimization with Optimal Importance Sampling [49.484190237840714]
本稿では,両者の時間的分離を必要とせずに,意思決定とIS分布を共同で更新する反復型アルゴリズムを提案する。
本手法は,IS分布系に対する目的的,軽度な仮定の凸性の下で,最小の変数分散を達成し,大域収束を保証する。
論文 参考訳（メタデータ） (2025-04-04T16:10:18Z) - A Bias-Correction Decentralized Stochastic Gradient Algorithm with Momentum Acceleration [19.83835152405735]
我々は運動量加速分散勾配(Exact-Diffusion with Momentum (EDM))を提案する。
EDMはデータの異質性からバイアスを緩和し、ディープラーニングでよく使われる運動量技術を取り込む。
理論的解析により,EDMアルゴリズムは局所的に近傍最適解に収束することを示した。
論文 参考訳（メタデータ） (2025-01-31T12:15:58Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳（メタデータ） (2024-01-29T02:08:40Z) - Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。
本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-04T01:47:37Z) - Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。
本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
論文 参考訳（メタデータ） (2023-06-13T01:18:16Z) - Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。
これらの問題に対する新規で簡単な最適化法を開発した。
結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
論文 参考訳（メタデータ） (2021-09-23T17:38:24Z) - On Accelerating Distributed Convex Optimizations [0.0]
本稿では,分散マルチエージェント凸最適化問題について検討する。
提案アルゴリズムは, 従来の勾配偏光法よりも収束率を向上し, 線形収束することを示す。
実ロジスティック回帰問題の解法として,従来の分散アルゴリズムと比較して,アルゴリズムの性能が優れていることを示す。
論文 参考訳（メタデータ） (2021-08-19T13:19:54Z) - Asynchronous Distributed Reinforcement Learning for LQR Control via Zeroth-Order Block Coordinate Descent [7.6860514640178]
分散強化学習のための新しいゼロ階最適化アルゴリズムを提案する。
これにより、各エージェントはコンセンサスプロトコルを使わずに、コスト評価を独立してローカル勾配を推定できる。
論文 参考訳（メタデータ） (2021-07-26T18:11:07Z) - Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。
我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。
また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
論文 参考訳（メタデータ） (2021-07-02T16:21:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。