論文の概要: Controlled disagreement improves generalization in decentralized training

• arxiv url: http://arxiv.org/abs/2602.02899v1
• Date: Mon, 02 Feb 2026 23:14:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 18:37:15.129202
• Title: Controlled disagreement improves generalization in decentralized training
• Title（参考訳）: 制御された不一致は分散訓練における一般化を改善する
• Authors: Zesen Wang, Mikael Johansson,
• Abstract要約: 集中型トレーニングは、コンセンサスエラーが収束と一般化を損なうため、集中型トレーニングよりも劣ると見なされることが多い。 本研究は,Adaptive Consensus (DSGD-AC) を用いた分散SGDの導入により,この視点に挑戦する。 これらの誤差はランダムノイズではなく、支配的なヘッセン部分空間と体系的に一致し、フラットなミニマに向けて最適化を導く構造的摂動として機能することを証明する。
• 参考スコア（独自算出の注目度）: 10.764160559530845
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decentralized training is often regarded as inferior to centralized training because the consensus errors between workers are thought to undermine convergence and generalization, even with homogeneous data distributions. This work challenges this view by introducing decentralized SGD with Adaptive Consensus (DSGD-AC), which intentionally preserves non-vanishing consensus errors through a time-dependent scaling mechanism. We prove that these errors are not random noise but systematically align with the dominant Hessian subspace, acting as structured perturbations that guide optimization toward flatter minima. Across image classification and machine translation benchmarks, DSGD-AC consistently surpasses both standard DSGD and centralized SGD in test accuracy and solution flatness. Together, these results establish consensus errors as a useful implicit regularizer and open a new perspective on the design of decentralized learning algorithms.
• Abstract（参考訳）: 分散トレーニングは、労働者間のコンセンサスエラーが、均質なデータ分布であっても収束と一般化を損なうと考えられるため、集中トレーニングよりも劣ると見なされることが多い。 本研究は,DSGD-ACによる分散SGDの導入により,時間依存のスケーリング機構を通じて,意図的に非消滅的コンセンサスエラーを保存することにより,この視点に挑戦する。 これらの誤差はランダムノイズではなく、支配的なヘッセン部分空間と体系的に一致し、フラットなミニマに向けて最適化を導く構造的摂動として機能することを証明する。 画像分類と機械翻訳のベンチマークを通じて、DSGD-ACは、テスト精度とソリューション平坦性において、標準DSGDと集中型SGDの両方を一貫して上回っている。 これらの結果とともに、コンセンサスエラーを有用な暗黙正則化器として確立し、分散学習アルゴリズムの設計に関する新たな視点を開く。

関連論文リスト

• Accelerating Decentralized Optimization via Overlapping Local Steps [6.713278402701195]
  本稿では,理論的な保証を犠牲にすることなく分散計算を高速化する新しい手法を提案する。 OLDSGD は局部分散 SGDOLDD と同じイテレーションを維持しつつ,通信遅延の異なるレベルにおいて,各項目の収束性を改善していることを示す。
  論文  参考訳（メタデータ） (2026-01-04T11:40:22Z)
• Generalized Incremental Learning under Concept Drift across Evolving Data Streams [32.62505920071586]
  実世界のデータストリームは、概念の漂流を特徴とする固有の非定常性を示し、適応学習システムにとって重要な課題となっている。 我々は,GILCD (Generalized Incremental Learning under Concept Drift) を定式化し,オープン環境ストリーミング環境における分布空間とラベル空間の連成進化を特徴付ける。 本稿では,新しいプロトタイプをベース表現と融合させ,新しいクラス識別を安定的に実現するCalibrated Source-Free Adaptation (CSFA)を提案する。
  論文  参考訳（メタデータ） (2025-06-06T04:36:24Z)
• DeCAF: Decentralized Consensus-And-Factorization for Low-Rank Adaptation of Foundation Models [22.45637113673959]
  Low-Rank Adaptation (LoRA)は視覚言語モデル(VLM)とLarge Language Models(LLM)を訓練するための最も効果的で、計算に難解な微調整手法の1つとして登場した。 この研究は、分散化LoRAの収束率を改善し、滑らか性を確保することにより、分散化勾配SGDの速度に適合する。 また,DLoRAとTSVDに基づく行列分解を統合し,コンセンサス干渉を解消する新しいアルゴリズムであるDeCAFを導入する。
  論文  参考訳（メタデータ） (2025-05-27T16:10:53Z)
• Stability and Generalization for Distributed SGDA [70.97400503482353]
  分散SGDAのための安定性に基づく一般化分析フレームワークを提案する。 我々は, 安定性の誤差, 一般化ギャップ, 人口リスクの包括的分析を行う。 理論的結果から,一般化ギャップと最適化誤差のトレードオフが明らかになった。
  論文  参考訳（メタデータ） (2024-11-14T11:16:32Z)
• Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
  本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。 実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
  論文  参考訳（メタデータ） (2024-10-09T06:17:16Z)
• Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm [80.94861441583275]
  本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。 本研究は,D-SGDAの一般化における各因子の影響を解析した。 また、最適凸凹設定を得るために一般化とバランスをとる。
  論文  参考訳（メタデータ） (2023-10-31T11:27:01Z)
• Decentralized SGD and Average-direction SAM are Asymptotically Equivalent [101.37242096601315]
  分散勾配降下(D-SGD)は、中央サーバを制御せずに大規模デバイス上で協調学習を可能にする。 既存の理論では、分散化は必ず一般化される。
  論文  参考訳（メタデータ） (2023-06-05T14:19:52Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。