Fugu-MT 論文翻訳(概要): A Distributed Cubic-Regularized Newton Method for Smooth Convex Optimization over Networks

論文の概要: A Distributed Cubic-Regularized Newton Method for Smooth Convex Optimization over Networks

arxiv url: http://arxiv.org/abs/2007.03562v1
Date: Tue, 7 Jul 2020 15:38:47 GMT
ステータス: 処理完了
システム内更新日: 2022-11-12 19:26:24.869405
Title: A Distributed Cubic-Regularized Newton Method for Smooth Convex Optimization over Networks
Title（参考訳）: ネットワーク上の平滑凸最適化のための分散立方体規則化ニュートン法
Authors: C\'esar A. Uribe and Ali Jadbabaie
Abstract要約: ネットワーク上の大規模凸最適化のための分散3次正規化ニュートン法を提案する。コスト関数がリプシッツ勾配とヘシアンと凸であるときに、$O(k-3)$収束率を示し、$k$は反復数である。
参考スコア（独自算出の注目度）: 19.767938436958296
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We propose a distributed, cubic-regularized Newton method for large-scale convex optimization over networks. The proposed method requires only local computations and communications and is suitable for federated learning applications over arbitrary network topologies. We show a $O(k^{{-}3})$ convergence rate when the cost function is convex with Lipschitz gradient and Hessian, with $k$ being the number of iterations. We further provide network-dependent bounds for the communication required in each step of the algorithm. We provide numerical experiments that validate our theoretical results.
Abstract（参考訳）: ネットワーク上の大規模凸最適化のための分散3次正規化ニュートン法を提案する。提案手法は局所的な計算と通信のみを必要とし,任意のネットワークトポロジ上でのフェデレーション学習に適している。コスト関数がリプシッツ勾配とヘシアンと凸であるときに、$O(k^{{-}3})$収束率を示し、$k$は反復数である。さらに,アルゴリズムの各ステップに必要な通信にネットワーク依存境界を提供する。理論的結果を検証する数値実験を行う。

関連論文リスト

Verification of Geometric Robustness of Neural Networks via Piecewise Linear Approximation and Lipschitz Optimisation [57.10353686244835]
我々は、回転、スケーリング、せん断、翻訳を含む入力画像の幾何学的変換に対するニューラルネットワークの検証の問題に対処する。提案手法は, 分枝・分枝リプシッツと組み合わせたサンプリングおよび線形近似を用いて, 画素値に対する楽音線形制約を求める。提案手法では,既存の手法よりも最大32%の検証ケースが解決されている。
論文参考訳（メタデータ） (2024-08-23T15:02:09Z)
The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。本稿では,凸型神経回復モデルについて検討する。定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文参考訳（メタデータ） (2023-12-19T23:04:56Z)
Network-GIANT: Fully distributed Newton-type optimization via harmonic Hessian consensus [2.8617826964327113]
本稿では,GIANTに基づくNewton型完全分散最適化アルゴリズムであるNetwork-GIANTを紹介する。このアルゴリズムは,強い凸関数と滑らかな損失関数を仮定して,ネットワーク上の厳密解に対する半言語的および指数的収束を保証する。我々は,Network-DANEやNewton-Raphson Consensusのような最先端の分散学習アルゴリズムに比べて,Network-GIANTの収束性能が優れていることを示す実証的な証拠を提供する。
論文参考訳（メタデータ） (2023-05-13T11:42:40Z)
Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
論文参考訳（メタデータ） (2022-10-14T01:42:05Z)
Decentralized Gossip-Based Stochastic Bilevel Optimization over Communication Networks [42.76623191830371]
本稿では,ゴシップに基づく分散二段階最適化アルゴリズムを提案する。エージェントはネットワークと外部の両方の問題を一度に解くことができる。我々のアルゴリズムは最先端の効率とテスト精度を達成する。
論文参考訳（メタデータ） (2022-06-22T06:38:54Z)
Distributed stochastic proximal algorithm with random reshuffling for non-smooth finite-sum optimization [28.862321453597918]
非滑らかな有限サム最小化は機械学習の基本的な問題である。本稿では,確率的リシャフリングを用いた分散近位勾配アルゴリズムを開発し,その問題の解法を提案する。
論文参考訳（メタデータ） (2021-11-06T07:29:55Z)
Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
論文参考訳（メタデータ） (2021-06-08T15:54:44Z)
q-RBFNN:A Quantum Calculus-based RBF Neural Network [31.14412266444568]
放射状基底関数ニューラルネットワーク(RBFNN)に対する勾配降下に基づく学習手法を提案する。提案手法は、ジャクソン微分(Jackson derivative)とも呼ばれるq勾配に基づく。提案した$q$-RBFNNは最小二乗アルゴリズムの文脈における収束性能について解析する。
論文参考訳（メタデータ） (2021-06-02T08:27:12Z)
Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文参考訳（メタデータ） (2020-05-05T18:08:23Z)
Lipschitz constant estimation of Neural Networks via sparse polynomial optimization [47.596834444042685]
LiPoptは、ニューラルネットワークのリプシッツ定数上のより厳密な上限を計算するためのフレームワークである。ネットワークの疎結合性を利用して、ネットワークの複雑さを大幅に軽減する方法を示す。ランダムな重みを持つネットワークと、MNISTで訓練されたネットワークで実験を行う。
論文参考訳（メタデータ） (2020-04-18T18:55:02Z)
Channel Assignment in Uplink Wireless Communication using Machine Learning Approach [54.012791474906514]
本稿では,アップリンク無線通信システムにおけるチャネル割り当て問題について検討する。我々の目標は、整数チャネル割り当て制約を受ける全ユーザの総和率を最大化することです。計算複雑性が高いため、機械学習アプローチは計算効率のよい解を得るために用いられる。
論文参考訳（メタデータ） (2020-01-12T15:54:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。