論文の概要: DPA: Decentralized Primal Averaging with Quasi-Global Momentum for Highly Heterogeneous Data
- arxiv url: http://arxiv.org/abs/2611.16871v1
- Date: Thu, 12 Nov 2026 14:38:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.487186
- Title: DPA: Decentralized Primal Averaging with Quasi-Global Momentum for Highly Heterogeneous Data
- Title(参考訳): DPA:高度不均一データのための準グローバルモーメントを用いた分散プリマル平均化
- Abstract要約: 本稿では,局所的な準グロバル運動量バッファ出力とネットワーク出力を組み合わせた分散学習アルゴリズムである分散プライマル平均化を提案する。
実験の結果,DPAは勾配追跡,QG-DSGDm,運動量追跡,QG-GUTmと良好に比較できることがわかった。
同じ通信コストで、両方のDPA変種は、ResNet-20によるCIFAR-10の最良のベースラインよりも高い平均テスト精度を達成する。
- 参考スコア(独自算出の注目度): 4.219722822139438
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Decentralized training of deep learning models keeps training data local and supports on-device learning over networks. In realistic scenarios, heterogeneity across agents' local data poses an optimization challenge and can severely degrade test accuracy, especially on sparse communication graphs. Building on recent advances in centralized primal averaging, we propose Decentralized Primal Averaging (DPA), a decentralized learning algorithm that combines primal averaging with a local quasi-global momentum buffer. DPA maintains three coupled sequences for optimization, gradient evaluation, and output averaging, while using consecutive mixed iterates to construct a network-aware momentum direction without transmitting an auxiliary tracking variable. For smooth nonconvex objectives, we establish a convergence bound for DPA and identify conditions for linear speedup in the number of agents for sufficiently many iterations. We also introduce DPA-1G, a variant that uses one communication round per iteration and matches the per-iteration communication cost of DSGD-style baselines. Experiments following the GUT decentralized image-classification benchmark show that DPA compares favorably with DSGD, gradient tracking, QG-DSGDm, momentum tracking, and QG-GUTm across datasets, architectures, topologies, and heterogeneity levels, with the largest gains under high heterogeneity on sparse rings. At the same total communication cost, both DPA variants achieve higher mean test accuracy than the best baseline on CIFAR-10 and CIFAR-100 with ResNet-20. Our code is publicly available.
- Abstract(参考訳): ディープラーニングモデルの分散トレーニングは、トレーニングデータをローカルに保持し、ネットワーク上でデバイス上での学習をサポートする。
現実的なシナリオでは、エージェントのローカルデータ間の不均一性は最適化の課題となり、特にスパース通信グラフにおいてテストの精度を著しく低下させる。
近年の中央集権的原始平均化の進歩を基盤として,原始平均化と準球運動量バッファを組み合わせた分散学習アルゴリズムである分散原始平均化(DPA)を提案する。
DPAは、最適化、勾配評価、出力平均化のための3つの結合シーケンスを維持し、連続的な混合反復を用いて、補助的なトラッキング変数を送信することなく、ネットワーク対応モーメント方向を構築する。
滑らかな非凸目的に対して、DPAの収束バウンドを確立し、十分に多くの反復に対するエージェント数の線形高速化条件を特定する。
また,DSGDスタイルのベースライン毎の通信コストに適合するDPA-1Gも導入した。
GUT分散画像分類ベンチマークの結果、DPAはデータセット、アーキテクチャ、トポロジ、ヘテロジニティのレベルでDSGD、勾配追跡、QG-DSGDm、運動量追跡、QG-GUTmと好適に比較され、スパース環上では最大のヘテロジニティが得られた。
同じ通信コストで、両方のDPA変種は、ResNet-20によるCIFAR-10とCIFAR-100の最良のベースラインよりも高い平均テスト精度を達成する。
私たちのコードは公開されています。
関連論文リスト
- The Impact of Federated Learning on Distributed Remote Sensing Archives [0.5833117322405447]
地球観測ミッションでは5ペタバイト以上の画像が蓄積され、多くの地理的に分散したプラットフォームに格納され、処理されている。
中央集権的な方法で機械学習モデルをトレーニングすることは、データボリューム、主権の制約、地理的分布のために現実的ではない。
フェデレートラーニング(FL)は、データをローカルに保持し、モデル更新のみを交換することで、この問題に対処する。
論文 参考訳(メタデータ) (2026-04-13T14:46:20Z) - Multi-Prompt Progressive Alignment for Multi-Source Unsupervised Domain Adaptation [73.40696661117408]
未ラベルの下流タスクにCLIPを適用するためのプログレッシブアライメント戦略を提案する。
私たちはアプローチをMP2Aと名付け、ImageCLEF、Office-Home、そして最も難しいDomainNetという3つの人気のあるUDAベンチマークでテストします。
実験によると、MP2Aは最新のCLIPベースのMS-UDAアプローチと比較して最先端のパフォーマンスを実現している。
論文 参考訳(メタデータ) (2025-07-31T09:42:42Z) - A Lightweight Deep Learning-based Model for Ranking Influential Nodes in Complex Networks [1.03590082373586]
1D-CGSは、1次元畳み込みニューラルネットワーク(1D-CNN)の速度とGraphSAGEのトポロジ的表現能力を統合し、効率的なノードランク付けを実現する軽量で効果的なハイブリッドモデルである。
1D-CGSは、非常に高速な実行環境で動作しながら、従来の集中度尺度や近年のディープラーニングモデルよりも格付け精度が優れていることを示す。
論文 参考訳(メタデータ) (2025-07-25T22:45:56Z) - Progressive Multi-Level Alignments for Semi-Supervised Domain Adaptation SAR Target Recognition Using Simulated Data [3.1951121258423334]
我々は、ソースドメインインスタンスを対応するプロトタイプに近づけるために、インスタンス-プロトタイプアライメント(AIPA)戦略を開発する。
また、ソースドメインインスタンスを対応するプロトタイプに近づけるための、インスタンス-プロトタイプアライメント(AIPA)戦略も開発しています。
論文 参考訳(メタデータ) (2024-11-07T13:53:13Z) - DRAG: Divergence-based Adaptive Aggregation in Federated learning on
Non-IID Data [11.830891255837788]
局所勾配降下(SGD)は、フェデレートラーニング(FL)におけるコミュニケーション効率向上の基本的なアプローチである
我々は,局所勾配と大域基準方向の角度を定量化する「発散度」と呼ばれる新しい計量を導入する。
本稿では,各ラウンドの参照方向に対して受信した局所的な更新を,余分な通信オーバーヘッドを伴わずに動的にドラッグする分散型アダプティブアグリゲーション(DRAG)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-09-04T19:40:58Z) - Straggler-Resilient Decentralized Learning via Adaptive Asynchronous Updates [28.813671194939225]
完全に分散化された最適化手法は、人気のあるパラメータサーバフレームワークに代わるものとして提唱されている。
本稿では、各労働者が通信する近隣労働者の数を適応的に決定することで、適応的な非同期更新を施した完全に分散化されたアルゴリズムを提案する。
DSGD-AAUは収束の線形高速化を実現し,その有効性を示す。
論文 参考訳(メタデータ) (2023-06-11T02:08:59Z) - Collaborative Learning with a Drone Orchestrator [79.75113006257872]
インテリジェントな無線デバイス群は、ドローンの助けを借りて共有ニューラルネットワークモデルを訓練する。
提案したフレームワークは,トレーニングの大幅な高速化を実現し,ドローンホバリング時間の平均24%と87%の削減を実現している。
論文 参考訳(メタデータ) (2023-03-03T23:46:25Z) - Divide and Contrast: Source-free Domain Adaptation via Adaptive
Contrastive Learning [122.62311703151215]
Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。
DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。
さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
論文 参考訳(メタデータ) (2022-11-12T09:21:49Z) - Frequency Spectrum Augmentation Consistency for Domain Adaptive Object
Detection [107.52026281057343]
周波数スペクトル拡張整合(FSAC)フレームワークを4種類の低周波フィルタで構成する。
最初の段階では、オリジナルおよび拡張されたソースデータを全て利用して、オブジェクト検出器を訓練する。
第2段階では、予測一貫性のための自己学習を行うために、擬似ラベル付き拡張現実とターゲットデータを採用する。
論文 参考訳(メタデータ) (2021-12-16T04:07:01Z) - Quasi-Global Momentum: Accelerating Decentralized Deep Learning on
Heterogeneous Data [77.88594632644347]
ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。
現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。
本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
論文 参考訳(メタデータ) (2021-02-09T11:27:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。