論文の概要: TALLOP: Joint Optimization of Local Training and Communication Compression for Time-Constrained Federated Learning

• arxiv url: http://arxiv.org/abs/2610.22996v1
• Date: Fri, 16 Oct 2026 06:20:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.793348
• Title: TALLOP: Joint Optimization of Local Training and Communication Compression for Time-Constrained Federated Learning
• Title（参考訳）: TALLOP: 時間制約付きフェデレーションラーニングのためのローカルトレーニングとコミュニケーション圧縮の共同最適化
• Abstract要約: 目標精度に達するのに必要なウォールクロック時間を最小化することは、連合学習において不可欠である。 近年の研究では、時間単位の制約と、利用可能な時間内に適応されたクライアントワークロードが導入されている。 実時間制約下でのローカルトレーニング作業負荷と通信圧縮を協調的に最適化するTALLOPを提案する。
• 参考スコア（独自算出の注目度）: 3.171201514550686
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Minimizing the wall-clock time required to reach a target accuracy is crucial in federated learning (FL), where many applications require frequent model updates as data distributions evolve over time. Nevertheless, in heterogeneous environments, slow clients with limited computational and communication capabilities can delay global synchronization, forcing faster clients to wait and increasing the overall training time. To mitigate this straggler effect, recent studies have introduced per-round time constraints and adapted client workloads within the available time. However, these approaches primarily focus on local computation, whereas communication can become a major bottleneck in communication-limited environments, motivating the joint optimization of training workload and communication compression. Although previous studies have explored such joint optimization, determining an effective training--communication balance under a fixed per-round time budget remains challenging, as the resulting model performance depends on both training progress and compression-induced degradation. We therefore propose TALLOP, which jointly optimizes the local training workload and communication compression under per-round time constraints. TALLOP predicts the training loss achievable under different computation budgets from the early-stage mini-batch loss trajectory (LENS), and estimates the degradation caused by communication compression using a compression-error model (CLEN). TALLOP combines these predictions to select the training-communication allocation that minimizes the post-compression loss under the given round time constraint. Experiments in heterogeneous FL environments show that TALLOP generally achieves competitive or improved time-to-accuracy compared with approaches that optimize only local training or neither, although the benefit over training-only adaptation depends on the setting.
• Abstract（参考訳）: 目標精度に達するのに必要なウォールクロック時間を最小化することは、フェデレートラーニング(FL)において重要であり、多くのアプリケーションがデータ分散が時間とともに進化するにつれて、頻繁なモデル更新を必要とする。 それでも、不均一な環境では、計算能力と通信能力に制限のある遅いクライアントは、グローバル同期を遅らせ、より高速なクライアントを待機させ、全体的なトレーニング時間を短縮することができる。 このトラグラー効果を緩和するため、最近の研究では、時間単位の制約と、利用可能な時間内に適応されたクライアントワークロードを導入している。 しかし、これらの手法は主に局所的な計算に焦点をあてる一方で、コミュニケーションは通信制限のある環境において大きなボトルネックとなり、訓練作業負荷と通信圧縮の協調最適化を動機付けている。 従来の研究ではこのような共同最適化が検討されているが、訓練の進行と圧縮による劣化の両方に依存するため、固定単位の時間予算下でのコミュニケーションバランスの効果的な決定は依然として困難である。 そこで本研究では,TALLOPを提案する。このTALLOPは,時間内制約下でのローカルトレーニング作業負荷と通信圧縮を協調的に最適化する。 TALLOPは、初期のミニバッチ損失軌道(LENS)から異なる計算予算で達成可能なトレーニング損失を予測し、圧縮エラーモデル(CLEN)を用いて通信圧縮による劣化を推定する。 TALLOPはこれらの予測を組み合わせて、与えられたラウンドタイム制約の下での圧縮後の損失を最小限に抑えるトレーニングコミュニケーション割り当てを選択する。 不均質なFL環境での実験では、TALLOPはローカルトレーニングのみを最適化するアプローチよりも、一般的に競争力や改善された時間対正確性を達成している。

関連論文リスト

• FedPLT: Scalable, Resource-Efficient, and Heterogeneity-Aware Federated Learning via Partial Layer Training [0.42970700836450487]
  Federated Learning (FL) は分散機械学習において大きな注目を集めている。 本稿では,FedPLT(Federated Learning with partial Layer Training)を提案する。 FedPLTがフルモデルのトレーニングに匹敵する、あるいは超えるパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2026-05-04T08:41:02Z)
• Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
  フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。 我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
  論文  参考訳（メタデータ） (2025-05-29T19:59:18Z)
• PacTrain: Pruning and Adaptive Sparse Gradient Compression for Efficient Collective Communication in Distributed Deep Learning [0.0]
  PacTrainは、プルーニングとスパース勾配圧縮を組み合わせることで、分散トレーニングを加速する新しいフレームワークである。 PacTrain圧縮方式は,全再生プリミティブとの互換性を維持しつつ,ほぼ最適圧縮戦略を実現する。
  論文  参考訳（メタデータ） (2025-05-24T07:06:36Z)
• Sparse-ProxSkip: Accelerated Sparse-to-Sparse Training in Federated Learning [56.21666819468249]
  FL(Federated Learning)では、クライアントリソースの制約と通信コストの両方が、大規模モデルのトレーニングに大きな問題を引き起こします。 最近の研究によると、局所的な訓練は加速によってコミュニケーションの複雑さを確実に改善する。 Sparse-ProxSkipを導入し、その課題に対処し、Sparse Training に展開する Straight-Through Estorimat の効率的な手法を実装した。
  論文  参考訳（メタデータ） (2024-05-31T05:21:12Z)
• FedComLoc: Communication-Efficient Distributed Training of Sparse and Quantized Models [52.13056951033747]
  フェデレートラーニング(FL)は、異種クライアントがローカルにプライベートデータを処理し、中央サーバーと対話できるというユニークな特徴から、注目を集めている。 FLにおける重要なボトルネックは通信コストです。 我々の研究は、FLにおける通信複雑性の低減を推進した革新的なScaffnewアルゴリズムにインスパイアされている。 我々はFedComLocを導入し、実用的で効果的な圧縮をScaffnewに統合し、通信効率をさらに高める。
  論文  参考訳（メタデータ） (2024-03-14T22:29:59Z)
• TAMUNA: Doubly Accelerated Distributed Optimization with Local Training, Compression, and Partial Participation [53.84175614198885]
  分散最適化と学習では、複数のマシンが並列にローカル計算と遠隔サーバとの通信を交互に行う。 ローカルトレーニングと圧縮の2つの戦略を共同で活用し,部分的参加を可能にする分散最適化のための最初のアルゴリズムであるTAMUNAを提案する。
  論文  参考訳（メタデータ） (2023-02-20T08:37:44Z)
• Revisiting Communication-Efficient Federated Learning with Balanced Global and Local Updates [14.851898446967672]
  本研究では,地域研修の数とグローバルアグリゲーションの数との最適なトレードオフを調査し,分析する。 提案手法は予測精度の点で性能が向上し,ベースライン方式よりもはるかに高速に収束する。
  論文  参考訳（メタデータ） (2022-05-03T13:05:26Z)
• Accelerating Federated Edge Learning via Optimized Probabilistic Device Scheduling [57.271494741212166]
  本稿では,通信時間最小化問題を定式化し,解決する。 最適化されたポリシーは、トレーニングプロセスが進むにつれて、残りの通信ラウンドの抑制から、ラウンドごとのレイテンシの低減へと、徐々に優先順位を転換している。 提案手法の有効性は,自律運転における協調的3次元目標検出のユースケースを通じて実証される。
  論文  参考訳（メタデータ） (2021-07-24T11:39:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。