論文の概要: Optimized Gradient Tracking for Decentralized Online Learning
- arxiv url: http://arxiv.org/abs/2306.06375v1
- Date: Sat, 10 Jun 2023 07:54:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-13 19:24:42.881336
- Title: Optimized Gradient Tracking for Decentralized Online Learning
- Title（参考訳）: 分散オンライン学習のための最適勾配追跡
- Authors: Shivangi Dubey Sharma (1) and Ketan Rajawat (1), ((1) Indian Institute
of Technology Kanpur)
- Abstract要約: 我々は,GGT(Generalized Gradient Tracking)フレームワークを紹介した。
提案したGGTアルゴリズムの性能は, 半定値プログラミングに基づく新しい解析法を用いて理論的に解析する。
問題パラメータのみを用いたパラメータのオフラインチューニング手順についても詳述する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: This work considers the problem of decentralized online learning, where the
goal is to track the optimum of the sum of time-varying functions, distributed
across several nodes in a network. The local availability of the functions and
their gradients necessitates coordination and consensus among the nodes. We put
forth the Generalized Gradient Tracking (GGT) framework that unifies a number
of existing approaches, including the state-of-the-art ones. The performance of
the proposed GGT algorithm is theoretically analyzed using a novel semidefinite
programming-based analysis that yields the desired regret bounds under very
general conditions and without requiring the gradient boundedness assumption.
The results are applicable to the special cases of GGT, which include various
state-of-the-art algorithms as well as new dynamic versions of various
classical decentralized algorithms. To further minimize the regret, we consider
a condensed version of GGT with only four free parameters. A procedure for
offline tuning of these parameters using only the problem parameters is also
detailed. The resulting optimized GGT (oGGT) algorithm not only achieves
improved dynamic regret bounds, but also outperforms all state-of-the-art
algorithms on both synthetic and real-world datasets.
- Abstract（参考訳）: 本研究は,ネットワーク内の複数のノードに分散した時間変化関数の総和を最適に追跡することを目的とした分散オンライン学習の課題を考察する。
関数とその勾配の局所的な可用性は、ノード間の協調とコンセンサスを必要とする。
我々は,最先端のアプローチを含む既存のアプローチを統一する一般化勾配追跡(ggt)フレームワークを発表した。
提案したGGTアルゴリズムの性能は、非常に一般的な条件下で、勾配境界性仮定を必要とせず、所望の後悔境界が得られるような、新しい半定プログラムベース解析を用いて理論的に解析される。
結果は、様々な最先端のアルゴリズムと、様々な古典的な分散アルゴリズムの新しい動的バージョンを含むGGTの特殊なケースに適用できる。
さらに後悔を最小限に抑えるため、GGTの縮合版は4つの自由パラメータしか持たないと考える。
問題パラメータのみを用いたパラメータのオフラインチューニング手順についても詳述する。
その結果、最適化されたggt(oggt)アルゴリズムは、改善された動的後悔境界を達成するだけでなく、合成データと実世界のデータセットの両方で最先端のアルゴリズムを上回る。
関連論文リスト
- Qudit inspired optimization for graph coloring [0.0]
グラフ色問題(GCP)のための量子インスパイアされたアルゴリズムを提案する。
我々は、グラフ内のノードを表現し、d次元球面座標でパラメータ化した各キューディットを積状態に使用する。
我々は、QdGD(qudit gradient descent)、ランダムな状態におけるクォーディットの開始、コスト関数の最小化のために勾配降下を利用する2つの最適化戦略をベンチマークする。
論文 参考訳（メタデータ） (2024-06-02T16:19:55Z) - On the Generalization Capability of Temporal Graph Learning Algorithms:
Theoretical Insights and a Simpler Method [59.52204415829695]
テンポラルグラフ学習(TGL)は、様々な現実世界のアプリケーションにまたがる一般的なテクニックとなっている。
本稿では,異なるTGLアルゴリズムの一般化能力について検討する。
一般化誤差が小さく、全体的な性能が向上し、モデルの複雑さが低下する単純化されたTGLネットワークを提案する。
論文 参考訳（メタデータ） (2024-02-26T08:22:22Z) - T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。
実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
論文 参考訳（メタデータ） (2023-10-05T02:58:29Z) - Online Dynamic Submodular Optimization [0.0]
オンラインバイナリ最適化のための証明可能な性能を持つ新しいアルゴリズムを提案する。
高速な需要応答とリアルタイム分散ネットワーク再構成という2つのパワーシステムアプリケーションでアルゴリズムを数値的にテストする。
論文 参考訳（メタデータ） (2023-06-19T10:37:15Z) - Genetically Modified Wolf Optimization with Stochastic Gradient Descent
for Optimising Deep Neural Networks [0.0]
本研究の目的は、人口ベースメタヒューリスティックアルゴリズムを用いて、ニューラルネットワーク(NN)重み付けを最適化するための代替アプローチを分析することである。
Grey Wolf (GWO) と Genetic Modified Algorithms (GA) のハイブリッドをグラディエント・Descent (SGD) と組み合わせて検討した。
このアルゴリズムは、高次元性の問題にも対処しながら、エクスプロイトと探索の組み合わせを可能にする。
論文 参考訳（メタデータ） (2023-01-21T13:22:09Z) - Flipping the switch on local exploration: Genetic Algorithms with
Reversals [0.0]
著者らは、勾配のない探索手法が離散領域における最適解を提供するのに適していることを示した。
また、複数のローカル検索を使用することで、ローカル検索のパフォーマンスが向上することを示した。
提案したGA変種は,提案した問題を含む全てのベンチマークにおいて,最小平均コストであり,ICが構成成分よりも優れた性能を発揮することが観察された。
論文 参考訳（メタデータ） (2022-02-02T08:27:11Z) - Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex
Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。
我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。
我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
論文 参考訳（メタデータ） (2021-06-08T15:54:44Z) - Parameter-free Locally Accelerated Conditional Gradients [91.19349793915615]
私たちは小説を紹介します。
自由局所加速cg(pf-lacg)アルゴリズムは,厳密な収束保証を提供する。
我々の理論結果は,局所加速度を実証し,非加速アルゴリズムに対するPF-LaCGの実用的改善を示す数値実験によって補完される。
論文 参考訳（メタデータ） (2021-02-12T22:50:01Z) - Community detection using fast low-cardinality semidefinite programming [94.4878715085334]
局所的な更新を一般化し、ライデン-k-カットから導かれる半定緩和を最大化する、新しい低カルチナリティアルゴリズムを提案する。
提案アルゴリズムはスケーラビリティが高く,最先端のアルゴリズムより優れ,実時間では性能が向上し,追加コストがほとんどない。
論文 参考訳（メタデータ） (2020-12-04T15:46:30Z) - Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization [71.03797261151605]
適応性は現代最適化理論において重要であるが、研究されていない性質である。
提案アルゴリズムは,PL目標に対して既存のアルゴリズムよりも優れた性能を保ちながら,PL目標に対して最適な収束性を実現することを実証した。
論文 参考訳（メタデータ） (2020-02-13T05:42:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。