論文の概要: SPARK: Igniting Communication-Efficient Decentralized Learning via Stage-wise Projected NTK and Accelerated Regularization

• arxiv url: http://arxiv.org/abs/2512.12737v1
• Date: Sun, 14 Dec 2025 15:21:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-16 17:54:56.409877
• Title: SPARK: Igniting Communication-Efficient Decentralized Learning via Stage-wise Projected NTK and Accelerated Regularization
• Title（参考訳）: SPARK:段階的予測型NTKと高速化正規化によるコミュニケーション効率の良い分散学習の実現
• Authors: Li Xia,
• Abstract要約: SPARK は NTK-DFL と比較して98.7% の通信削減を実現し、収束速度と精度が向上した。 モーメントにより、SPARKは目標性能を3倍高速に達成し、通信効率の高い分散学習のための最先端の結果を確立する。
• 参考スコア（独自算出の注目度）: 2.703475174913382
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decentralized federated learning (DFL) faces critical challenges from statistical heterogeneity and communication overhead. While NTK-based methods achieve faster convergence, transmitting full Jacobian matrices is impractical for bandwidth-constrained edge networks. We propose SPARK, synergistically integrating random projection-based Jacobian compression, stage-wise annealed distillation, and Nesterov momentum acceleration. Random projections compress Jacobians while preserving spectral properties essential for convergence. Stage-wise annealed distillation transitions from pure NTK evolution to neighbor-regularized learning, counteracting compression noise. Nesterov momentum accelerates convergence through stable accumulation enabled by distillation smoothing. SPARK achieves 98.7% communication reduction compared to NTK-DFL while maintaining convergence speed and superior accuracy. With momentum, SPARK reaches target performance 3 times faster, establishing state-of-the-art results for communication-efficient decentralized learning and enabling practical deployment in bandwidth-limited edge environments.
• Abstract（参考訳）: 分散連合学習(DFL)は、統計的不均一性と通信オーバーヘッドから重要な課題に直面している。 NTKベースの手法はより高速な収束を実現するが、帯域制限エッジネットワークでは完全なヤコビ行列の送信は不可能である。 本研究では,ランダムプロジェクションに基づくヤコビアン圧縮,ステージワイド焼鈍蒸留,ネステロフ運動加速度を相乗的に統合したSPARKを提案する。 ランダム射影は、収束に必要なスペクトル特性を保持しながらヤコビアンを圧縮する。 段別焼鈍蒸留は純NTK進化から隣り合う正規化学習へ移行し、圧縮ノイズに対処する。 ネステロフ運動量は蒸留平滑化により安定な蓄積によって収束を加速する。 SPARK は NTK-DFL と比較して98.7% の通信削減を実現し、収束速度と精度が向上した。 モメンタブルにより、SPARKは目標性能を3倍速くし、通信効率の高い分散学習の最先端結果を確立し、帯域幅制限エッジ環境に実用的な展開を可能にする。

関連論文リスト

• Plug-and-Play Homeostatic Spark: Zero-Cost Acceleration for SNN Training Across Paradigms [40.57310813106791]
  スパイキングニューラルネットワークは、イベント駆動計算、スパースアクティベーション、ハードウェア効率を提供するが、トレーニングはしばしばゆっくりと収束し、安定性に欠ける。 AHSAR(Adaptive Homeostatic Spiking Activity Regulation)は,超簡易なプラグインおよびトレーニングパラダイムである。 AHSARは最適化を安定化し、モデルアーキテクチャや損失、勾配を変更することなく収束を加速する。
  論文  参考訳（メタデータ） (2025-12-04T17:26:46Z)
• Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
  フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。 我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
  論文  参考訳（メタデータ） (2025-05-29T19:59:18Z)
• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• Accelerated Distributed Optimization with Compression and Error Feedback [22.94016026311574]
  ADEFはネステロフ加速、収縮圧縮、エラーフィードバック、勾配差圧縮を統合している。 我々は,ADEFが分散最適化のための圧縮圧縮による最初の加速収束率を達成することを証明した。
  論文  参考訳（メタデータ） (2025-03-11T13:40:34Z)
• Communication-Efficient Federated Learning by Quantized Variance Reduction for Heterogeneous Wireless Edge Networks [55.467288506826755]
  フェデレーテッド・ラーニング(FL)は、無線エッジネットワークにおけるローカル・プライバシ・アウェア・コラボレーティブ・モデルトレーニングの有効なソリューションとして認識されている。 既存の通信効率の高いFLアルゴリズムは、デバイス間の大きなばらつきを低減できない。 本稿では,高度分散還元方式に依存する新しい通信効率FLアルゴリズムであるFedQVRを提案する。
  論文  参考訳（メタデータ） (2025-01-20T04:26:21Z)
• Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
  本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。 実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
  論文  参考訳（メタデータ） (2024-10-09T06:17:16Z)
• Heterogeneity-Aware Cooperative Federated Edge Learning with Adaptive Computation and Communication Compression [7.643645513353701]
  クラウドベースのフェデレーション・ラーニング(FL)の欠点により、モバイルエッジネットワーク上でのFLの効率を改善するために、協調フェデレーション・エッジ・ラーニング(CFEL)が提案されている。 CFELは、動的および不均一なデバイス特性から生じる重要な課題に直面し、収束を遅くし、リソース消費を増加させる。 本稿では、トレーニング時間とエネルギー消費を最小化し、モデル精度を最大化することを目的とした、textitHeterogeneity-Aware Cooperative Edge-based Federated Averaging (HCEF)と呼ばれる不均一性を考慮したCFEL方式を提案する。
  論文  参考訳（メタデータ） (2024-09-06T04:26:57Z)
• Quantize Once, Train Fast: Allreduce-Compatible Compression with Provable Guarantees [53.950234267704]
  我々は、全リデュース勾配互換量子化法であるGlobal-QSGDを紹介する。 ベースライン量子化法で最大3.51%の分散トレーニングを高速化することを示す。
  論文  参考訳（メタデータ） (2023-05-29T21:32:15Z)
• HFedMS: Heterogeneous Federated Learning with Memorable Data Semantics in Industrial Metaverse [49.1501082763252]
  本稿では,新しい産業メタバースに実用FLを取り入れたHFEDMSを提案する。 動的グルーピングとトレーニングモード変換によってデータの均一性を低下させる。 そして、圧縮された履歴データセマンティクスを融合することで、忘れられた知識を補う。 ストリームされた非I.d.FEMNISTデータセットに対して,368個のシミュレーションデバイスを用いて実験を行った。
  論文  参考訳（メタデータ） (2022-11-07T04:33:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。