論文の概要: CTP-FL: Common-Trajectory Gradient Prediction for Federated Learning

• arxiv url: http://arxiv.org/abs/2609.35130v1
• Date: Mon, 28 Sep 2026 13:22:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 16:42:50.131751
• Title: CTP-FL: Common-Trajectory Gradient Prediction for Federated Learning
• Title（参考訳）: CTP-FL:フェデレーション学習のための共通軌道勾配予測
• Abstract要約: 通信効率のよいフェデレーション最適化は、通常、サーバ更新間でいくつかの勾配評価に費やします。 共通軌道予測フェデレーション学習(textttCTP-FL)を提案する。 textttCTP-FLは、クライアントごとに$K$のミニバッチ勾配と、各通信方向のモデルサイズのベクトルを使い、全参加型FedAvg-Mのラウンドごとの計算と通信にマッチする。
• 参考スコア（独自算出の注目度）: 0.42303492200814446
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Communication-efficient federated optimization commonly spends several gradient evaluations between server updates. Existing local-update methods use this computation to advance an independent model on each client. Under heterogeneous data, however, these models evaluate gradients at different locations, making the aggregated update difficult to interpret as a gradient of the global objective. We study an alternative use of the same computation budget: \emph{evaluate the global objective along a shared, predicted path}. We propose Common-Trajectory Predictive Federated Learning (\texttt{CTP-FL}). At each round, all clients construct the same sequence of query points from the current global model and the previous aggregated direction, evaluate $K$ stochastic gradients along this sequence, and upload their average. The server then performs a single global update. Thus, \texttt{CTP-FL} uses $K$ mini-batch gradients per client and one model-sized vector in each communication direction, matching the per-round computation and communication of full-participation FedAvg-M. Shared query points make the aggregated direction an unbiased estimator of the average \emph{global} gradient along the predicted path. The remaining discrepancy from the gradient at the current model is controlled by the path length, without assuming bounded client-gradient dissimilarity or bounded gradients. For smooth non-convex objectives, we establish an $\mathcal{O}\!\left( \sqrt{LΔσ^2/(NKR)}+LΔ/R \right)$ average-stationarity bound under full participation. The analysis isolates a testable trade-off: extending the prediction path provides more forward-looking gradient information but increases its displacement bias.
• Abstract（参考訳）: 通信効率のよいフェデレーション最適化は、通常、サーバ更新間でいくつかの勾配評価に費やします。 既存のローカル更新メソッドはこの計算を使用して、各クライアント上で独立したモデルを前進させる。 しかし、不均一なデータの下では、これらのモデルは異なる位置での勾配を評価するため、集約された更新を大域的な目的の勾配と解釈することは困難である。 我々は,同じ計算予算の代替的利用として,共有された予測経路に沿ってグローバルな目的を評価する。 本稿では,共通軌道予測フェデレート学習(\texttt{CTP-FL})を提案する。 各ラウンドにおいて、すべてのクライアントは、現在のグローバルモデルと以前の集約された方向から同じクエリポイントのシーケンスを構築し、このシーケンスに沿って$K$確率勾配を評価し、平均をアップロードする。 その後、サーバは単一のグローバルアップデートを実行する。 したがって、 \texttt{CTP-FL} はクライアント毎の$K$のミニバッチ勾配と、各通信方向のモデルサイズのベクトルを使い、全参加型 FedAvg-M のラウンドごとの計算と通信にマッチする。 共有クエリポイントは、アグリゲートされた方向を予測された経路に沿った平均な 'emph{global} 勾配の偏りのない推定子にする。 現在のモデルにおける勾配からの残りの相違は、有界なクライアント-勾配の相似性や有界な勾配を仮定することなく、経路長によって制御される。 滑らかな非凸目的に対して、$\mathcal{O}\! \left( \sqrt{LΔσ^2/(NKR)}+LΔ/R \right)$ average-stationarity bound under full part。 予測経路の拡張は、より前方に見える勾配情報を提供するが、その変位バイアスを増加させる。

関連論文リスト

• GAPSL: A Gradient-Aligned Parallel Split Learning on Heterogeneous Data [61.365432566830485]
  本稿では、リーダー勾配同定(LGI)と勾配方向アライメント(GDA)の2つの主要な構成要素からなる勾配整列並列分割学習(PSL)フレームワークを提案する。 GAPSLは、トレーニングの精度とレイテンシにおいて、最先端のベンチマークを一貫して上回る。
  論文  参考訳（メタデータ） (2026-03-19T06:51:05Z)
• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• Decentralized Sporadic Federated Learning: A Unified Algorithmic Framework with Convergence Guarantees [18.24213566328972]
  分散学習計算(DFL)は、(i)モデル更新と(ii)モデルアグリゲーションの両方が中央サーバなしでクライアントによって実行されるFL設定をキャプチャする。 $textttDSpodFL$は、ローカルグラデーションとアグリゲーションプロセスの両方において、$textitsporadicity$という一般的な概念に基づいて構築されたDFL方法論である。 $textttDSpodFL$は、さまざまなシステム設定のベースラインと比較して、改善されたスピードを一貫して達成する。
  論文  参考訳（メタデータ） (2024-02-05T19:02:19Z)
• Neural Gradient Learning and Optimization for Oriented Point Normal Estimation [53.611206368815125]
  本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。 局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。 本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
  論文  参考訳（メタデータ） (2023-09-17T08:35:11Z)
• FedVeca: Federated Vectorized Averaging on Non-IID Data with Adaptive Bi-directional Global Objective [26.224761851536684]
  非IIDデータ上の問題に対処するフェデレートベクトル平均化法(FedVeca)を提案する。 FedVecaでは、方向はステップサイズの影響を受けており、異なるステップサイズの影響を低減するために、双方向ベクトルを平均化する。 上界に基づいて,目的を最適に近づけるステップサイズを適応的に調整する,サーバとクライアントのためのアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2022-09-28T03:14:10Z)
• $\texttt{FedBC}$: Calibrating Global and Local Models via Federated Learning Beyond Consensus [66.62731854746856]
  フェデレートラーニング(FL)では、デバイス全体にわたるモデル更新の集約を通じて、グローバルモデルを協調的に学習する目的は、ローカル情報を通じたパーソナライズという目標に反対する傾向にある。 本研究では,このトレードオフを多基準最適化により定量的にキャリブレーションする。 私たちは、$texttFedBC$が、スイートデータセット間でグローバルおよびローカルモデルのテスト精度のメトリクスのバランスをとることを実証しています。
  論文  参考訳（メタデータ） (2022-06-22T02:42:04Z)
• Exploiting Adam-like Optimization Algorithms to Improve the Performance of Convolutional Neural Networks [82.61182037130405]
  勾配降下(SGD)は深いネットワークを訓練するための主要なアプローチです。 本研究では,現在と過去の勾配の違いに基づいて,Adamに基づく変分を比較する。 resnet50を勾配降下訓練したネットワークのアンサンブルと融合実験を行った。
  論文  参考訳（メタデータ） (2021-03-26T18:55:08Z)
• Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds [72.63031036770425]
  有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。 標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
  論文  参考訳（メタデータ） (2020-06-24T06:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。