論文の概要: Composite Optimization with Error Feedback: the Dual Averaging Approach

• arxiv url: http://arxiv.org/abs/2510.03507v1
• Date: Fri, 03 Oct 2025 20:42:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.079857
• Title: Composite Optimization with Error Feedback: the Dual Averaging Approach
• Title（参考訳）: 誤差フィードバックを用いた複合最適化:2次平均化手法
• Authors: Yuan Gao, Anton Rodomanov, Jeremy Rack, Sebastian Stich,
• Abstract要約: 誤差フィードバック(EF)手法は、複合最適化のより広範かつ事実上重要な設定で失敗する。 EF機構の最先端版であるEControl(Gao et al., 2024)とDual Averagingを組み合わせた新しい手法を提案する。 また,非接触二値平均化のための新しい新しい解析テンプレートも提供する。
• 参考スコア（独自算出の注目度）: 13.234182544232604
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Communication efficiency is a central challenge in distributed machine learning training, and message compression is a widely used solution. However, standard Error Feedback (EF) methods (Seide et al., 2014), though effective for smooth unconstrained optimization with compression (Karimireddy et al., 2019), fail in the broader and practically important setting of composite optimization, which captures, e.g., objectives consisting of a smooth loss combined with a non-smooth regularizer or constraints. The theoretical foundation and behavior of EF in the context of the general composite setting remain largely unexplored. In this work, we consider composite optimization with EF. We point out that the basic EF mechanism and its analysis no longer stand when a composite part is involved. We argue that this is because of a fundamental limitation in the method and its analysis technique. We propose a novel method that combines Dual Averaging with EControl (Gao et al., 2024), a state-of-the-art variant of the EF mechanism, and achieves for the first time a strong convergence analysis for composite optimization with error feedback. Along with our new algorithm, we also provide a new and novel analysis template for inexact dual averaging method, which might be of independent interest. We also provide experimental results to complement our theoretical findings.
• Abstract（参考訳）: コミュニケーション効率は分散機械学習トレーニングにおける中心的な課題であり、メッセージ圧縮は広く使われているソリューションである。 しかし、標準的なエラーフィードバック (EF) 法 (Seide et al , 2014) は圧縮によるスムーズな非制約最適化 (Karimireddy et al , 2019) には有効であるが、より広範かつ実用的に重要な合成最適化の設定では失敗する。 一般合成セッティングの文脈におけるEFの理論的基礎と振舞いは、ほとんど未解明のままである。 本研究では,EFを用いた複合最適化について考察する。 我々は,複合部品が関与する場合,基本EF機構とその解析がもはや成り立たないことを指摘する。 本稿では,本手法の基本的な限界とその解析手法について論じる。 本稿では,EF メカニズムの最先端版である EControl (Gao et al , 2024) とDual Averaging を組み合わせた新しい手法を提案する。 また,新しいアルゴリズムとともに,非現実的二値平均化手法の新たな新しい解析テンプレートも提供する。 理論的知見を補完する実験結果も提供する。

関連論文リスト

• MARINA-P: Superior Performance in Non-smooth Federated Optimization with Adaptive Stepsizes [57.24311218570012]
  EF21-P (匿名2024) と MARINA-P (arXiv:2402.06412) の非滑らか凸理論を非サイズ凸設定で拡張する。 我々は、定数、減少、適応(aktype)ステップの理論的保証を提供する。
  論文  参考訳（メタデータ） (2024-12-22T16:18:34Z)
• Constrained Bayesian Optimization Under Partial Observations: Balanced Improvements and Provable Convergence [6.461785985849886]
  我々は、制約付きベイズ最適化の枠組みの下で、高価なPOCOPの効率的かつ証明可能な手法を設計する。 本稿では,最適化時の平衡探索を取り入れた取得関数の設計を改良した。 部分的に観測可能な制約に対する代理モデルとして異なる確率を埋め込んだガウス過程を提案する。
  論文  参考訳（メタデータ） (2023-12-06T01:00:07Z)
• Momentum Provably Improves Error Feedback! [54.93799845077906]
  未処理の場合、圧縮による誤差は指数的トレーニングの振る舞いを伝播させる。 EF21-SGDMは、従来のエラーフィードバックアルゴリズムの通信とサンプルの複雑さを改善している。
  論文  参考訳（メタデータ） (2023-05-24T13:52:02Z)
• Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
  本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。 微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
  論文  参考訳（メタデータ） (2023-02-24T18:41:48Z)
• Optimizing Two-way Partial AUC with an End-to-end Framework [154.47590401735323]
  ROC曲線のエリア(AUC)は、機械学習にとって重要な指標である。 最近の研究は、TPAUCが既存のPartial AUCメトリクスと本質的に矛盾していることを示している。 本論文では,この新指標を最適化するための最初の試行について述べる。
  論文  参考訳（メタデータ） (2022-06-23T12:21:30Z)
• EF21 with Bells & Whistles: Six Algorithmic Extensions of Modern Error Feedback [65.60461294185853]
  本稿では, 圧縮機により誘導されるマルコフ圧縮機の構成に基づく新しい誤差フィードバック機構EF21を提案する。 これらの技法のいくつかはEF21と組み合わせて分析されていない。
  論文  参考訳（メタデータ） (2021-10-07T09:29:14Z)
• EF21: A New, Simpler, Theoretically Better, and Practically Faster Error Feedback [0.0]
  エラーフィードバック(EF)は、教師付き機械学習の分散トレーニングの文脈において、非常に一般的な安定化メカニズムである。 我々はEF21と呼ばれる新しいEFメカニズムを提案し,解析する。 特に、EF21が滑らかな非収束問題に対する高速なO(1/T)$収束率を享受していることを証明する。
  論文  参考訳（メタデータ） (2021-06-09T16:45:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。