論文の概要: Decentralized Gradient Tracking with Local Steps

• arxiv url: http://arxiv.org/abs/2301.01313v1
• Date: Tue, 3 Jan 2023 19:06:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-05 16:16:50.067601
• Title: Decentralized Gradient Tracking with Local Steps
• Title（参考訳）: 局所ステップによる分散勾配追従
• Authors: Yue Liu, Tao Lin, Anastasia Koloskova, Sebastian U. Stich
• Abstract要約: GT(Gradient Tracking)は、ネットワーク上の分散最適化問題を解決するために設計されたアルゴリズムである。 GTの重要な特徴は、ノード間の不均一性を克服するトラッキングメカニズムである。
• 参考スコア（独自算出の注目度）: 37.41185751866015
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gradient tracking (GT) is an algorithm designed for solving decentralized optimization problems over a network (such as training a machine learning model). A key feature of GT is a tracking mechanism that allows to overcome data heterogeneity between nodes. We develop a novel decentralized tracking mechanism, $K$-GT, that enables communication-efficient local updates in GT while inheriting the data-independence property of GT. We prove a convergence rate for $K$-GT on smooth non-convex functions and prove that it reduces the communication overhead asymptotically by a linear factor $K$, where $K$ denotes the number of local steps. We illustrate the robustness and effectiveness of this heterogeneity correction on convex and non-convex benchmark problems and on a non-convex neural network training task with the MNIST dataset.
• Abstract（参考訳）: 勾配追跡(gt)は、ネットワーク上の分散最適化問題を解決するために設計されたアルゴリズムである(機械学習モデルのトレーニングなど)。 GTの重要な特徴は、ノード間のデータの均一性を克服するトラッキングメカニズムである。 我々は,GTのデータ独立性を継承しつつ,GTにおける通信効率のよいローカル更新を可能にする分散トラッキング機構である$K$-GTを開発した。 滑らかな非凸関数上での$K$-GTの収束率を証明し、局所的なステップの数を表す線形係数$K$によって漸近的に通信オーバーヘッドを減少させることを示す。 本稿では,mnistデータセットを用いた非凸ニューラルネットワーク学習タスクにおいて,凸および非凸ベンチマーク問題に対する不均一性補正の頑健性と有効性を示す。

関連論文リスト

• AdaRC: Mitigating Graph Structure Shifts during Test-Time [66.40525136929398]
  テスト時間適応(TTA)は、ソースドメインに再アクセスすることなく、トレーニング済みのモデルをターゲットドメインに適応できる能力によって注目を集めている。 AdaRCは,グラフの構造シフトに効果的かつ効率的な適応を意図した,革新的なフレームワークである。
  論文  参考訳（メタデータ） (2024-10-09T15:15:40Z)
• Cell Graph Transformer for Nuclei Classification [78.47566396839628]
  我々は,ノードとエッジを入力トークンとして扱うセルグラフ変換器(CGT)を開発した。 不愉快な特徴は、騒々しい自己注意スコアと劣等な収束につながる可能性がある。 グラフ畳み込みネットワーク(GCN)を利用して特徴抽出器を学習する新しいトポロジ対応事前学習法を提案する。
  論文  参考訳（メタデータ） (2024-02-20T12:01:30Z)
• T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
  T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。 実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T02:58:29Z)
• Transitivity-Preserving Graph Representation Learning for Bridging Local Connectivity and Role-based Similarity [2.5252594834159643]
  局所的およびグローバルな構造情報を固定長ベクトル表現に統合するUnified Graph Transformer Networks (UGT)を提案する。 まず、UGTは各ノードの局所的な部分構造を特定し、各ノードの$k$ホップ近傍の特徴を集約することによって局所構造を学習する。 第三に、UGTは自己アテンションを通じて統一表現を学び、構造距離とノードペア間の$p$ステップ遷移確率を符号化する。
  論文  参考訳（メタデータ） (2023-08-18T12:49:57Z)
• On the Performance of Gradient Tracking with Local Updates [10.14746251086461]
  LU-GTは通信品質は同じであるが、任意のネットワークトポロジが可能であることを示す。 数値的な例では、局所的な更新は特定のレシエーションにおける通信コストを低下させる可能性がある。
  論文  参考訳（メタデータ） (2022-10-10T15:13:23Z)
• DR-DSGD: A Distributionally Robust Decentralized Learning Algorithm over Graphs [54.08445874064361]
  本稿では,分散環境下での正規化された分散ロバストな学習問題を解くことを提案する。 Kullback-Liebler正規化関数をロバストなmin-max最適化問題に追加することにより、学習問題を修正されたロバストな問題に還元することができる。 提案アルゴリズムは, 最低分布検定精度を最大10%向上できることを示す。
  論文  参考訳（メタデータ） (2022-08-29T18:01:42Z)
• A Communication-efficient Algorithm with Linear Convergence for Federated Minimax Learning [1.713291434132985]
  GAN(Geneimation Adversarial Networks)をモデル化した大規模マルチエージェントミニマックス最適化問題について検討する。 全体的な目的は、エージェントのプライベートなローカルな目的関数の総和である。 我々は,FedGDA-GTが,大域的な$epsilon GDA解に一定のステップサイズで線形収束することを示した。
  論文  参考訳（メタデータ） (2022-06-02T16:31:16Z)
• An Improved Analysis of Gradient Tracking for Decentralized Machine Learning [34.144764431505486]
  トレーニングデータが$n$エージェントに分散されるネットワーク上での分散機械学習を検討する。 エージェントの共通の目標は、すべての局所損失関数の平均を最小化するモデルを見つけることである。 ノイズのない場合、$p$を$mathcalO(p-1)$から$mathcalO(p-1)$に改善します。
  論文  参考訳（メタデータ） (2022-02-08T12:58:14Z)
• Node Feature Extraction by Self-Supervised Multi-scale Neighborhood Prediction [123.20238648121445]
  我々は、新しい自己教師型学習フレームワーク、グラフ情報支援ノード機能exTraction (GIANT)を提案する。 GIANT は eXtreme Multi-label Classification (XMC) 形式を利用しており、これはグラフ情報に基づいた言語モデルの微調整に不可欠である。 我々は,Open Graph Benchmarkデータセット上での標準GNNパイプラインよりもGIANTの方が優れた性能を示す。
  論文  参考訳（メタデータ） (2021-10-29T19:55:12Z)
• A fast randomized incremental gradient method for decentralized non-convex optimization [19.540926205375857]
  我々は,GT-SAGA GTSAGAと呼ばれる単一時間ランダム化手法を,バッチ・ノン有限サム文脈問題に対して解析する。 GT-SAGAのほぼ確実に1次勾配定常点への収束を示す。
  論文  参考訳（メタデータ） (2020-11-07T21:30:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。