論文の概要: A Hybrid Stochastic Gradient Tracking Method for Distributed Online Optimization Over Time-Varying Directed Networks

• arxiv url: http://arxiv.org/abs/2508.20645v1
• Date: Thu, 28 Aug 2025 10:47:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-29 18:12:02.342469
• Title: A Hybrid Stochastic Gradient Tracking Method for Distributed Online Optimization Over Time-Varying Directed Networks
• Title（参考訳）: 時間変化指向ネットワーク上での分散オンライン最適化のためのハイブリッド確率勾配追従法
• Authors: Xinli Shi, Xingxing Yuan, Longkang Zhu, Guanghui Wen,
• Abstract要約: そこで本研究では,TV-HSGTという,時間変化型ハイブリッドグラディエントトラッキングアルゴリズムを提案する。 TV-HSGTは、時間変化ダイグラフ上の行確率と列確率の通信スキームを統合している。 グローバルな降下方向を正確に追跡しながら、分散を効果的に低減する。
• 参考スコア（独自算出の注目度）: 12.821275204894635
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the increasing scale and dynamics of data, distributed online optimization has become essential for real-time decision-making in various applications. However, existing algorithms often rely on bounded gradient assumptions and overlook the impact of stochastic gradients, especially in time-varying directed networks. This study proposes a novel Time-Varying Hybrid Stochastic Gradient Tracking algorithm named TV-HSGT, based on hybrid stochastic gradient tracking and variance reduction mechanisms. Specifically, TV-HSGT integrates row-stochastic and column-stochastic communication schemes over time-varying digraphs, eliminating the need for Perron vector estimation or out-degree information. By combining current and recursive stochastic gradients, it effectively reduces gradient variance while accurately tracking global descent directions. Theoretical analysis demonstrates that TV-HSGT can achieve improved bounds on dynamic regret without assuming gradient boundedness. Experimental results on logistic regression tasks confirm the effectiveness of TV-HSGT in dynamic and resource-constrained environments.
• Abstract（参考訳）: データのスケールとダイナミクスの増大により、分散オンライン最適化は、様々なアプリケーションにおけるリアルタイムな意思決定に欠かせないものとなっている。 しかし、既存のアルゴリズムはしばしば境界勾配の仮定に依存し、特に時間変化のある有向ネットワークにおいて確率勾配の影響を見落としている。 本研究は, ハイブリッド確率勾配追跡と分散低減機構に基づく, TV-HSGT という新しい時間変化ハイブリッド確率勾配追従アルゴリズムを提案する。 具体的には、TV-HSGTは、時間変化ダイグラフ上の行確率的および列確率的通信スキームを統合し、ペロンベクトル推定や外度情報を必要としない。 電流と再帰確率勾配を組み合わせることで、グローバルな降下方向を正確に追跡しながら、勾配のばらつきを効果的に低減する。 理論的解析により,TV-HSGTは勾配境界性を仮定することなく,動的後悔のバウンドを改善できることが示されている。 動的・資源制約環境におけるTV-HSGTの有効性を,ロジスティック回帰タスクの実験により検証した。

関連論文リスト

• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• Online Graph Topology Learning via Time-Vertex Adaptive Filters: From Theory to Cardiac Fibrillation [37.69303106863453]
  本稿では,動的グラフトポロジ推定のための空間適応アルゴリズムであるAdaCGPを紹介する。 AdaCGPは一貫して最先端の手法より優れている。 確立した手法よりも効果的に伝搬パターンの動的変化を追跡する。
  論文  参考訳（メタデータ） (2024-11-03T13:43:51Z)
• Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
  平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。 近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。 有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-12T16:28:11Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• GTAdam: Gradient Tracking with Adaptive Momentum for Distributed Online Optimization [4.103281325880475]
  本稿では、中央コーディネータを使わずに、局所的な計算と通信によって、オンライン最適化問題を分散的に解決することを目的とした、計算機エージェントのネットワークを扱う。 本稿では,適応運動量推定法(GTAdam)を用いた勾配追従法と,勾配の1次および2次運動量推定法を組み合わせた勾配追従法を提案する。 マルチエージェント学習によるこれらの数値実験では、GTAdamは最先端の分散最適化手法よりも優れている。
  論文  参考訳（メタデータ） (2020-09-03T15:20:21Z)
• Variance Reduction for Deep Q-Learning using Stochastic Recursive Gradient [51.880464915253924]
  深層Q-ラーニングアルゴリズムは、過度な分散を伴う勾配推定に苦しむことが多い。 本稿では、SRG-DQNと呼ばれる新しいアルゴリズムを実現するため、深層Q-ラーニングにおける勾配推定を更新するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-25T00:54:20Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• Dynamical mean-field theory for stochastic gradient descent in Gaussian mixture classification [25.898873960635534]
  高次元景観を分類する単一層ニューラルネットワークにおける勾配降下(SGD)の閉学習ダイナミクスを解析する。 連続次元勾配流に拡張可能なプロトタイププロセスを定義する。 フルバッチ限界では、標準勾配流を回復する。
  論文  参考訳（メタデータ） (2020-06-10T22:49:41Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。