論文の概要: Decentralized Parameter-Free Online Learning with Compressed Gossip
- arxiv url: http://arxiv.org/abs/2605.27831v1
- Date: Wed, 27 May 2026 01:37:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-28 17:38:55.674679
- Title: Decentralized Parameter-Free Online Learning with Compressed Gossip
- Title（参考訳）: 圧縮ゴシップを用いた分散パラメータフリーオンライン学習
- Authors: Tomas Ortega, Hamid Jafarkhani,
- Abstract要約: エージェントがグラフ上で通信し、メッセージが圧縮される場合、分散化されたオンライン凸最適化について検討する。
コインベッティング予測と圧縮差分に基づくゴシップを組み合わせた分散パラメータフリーオンライン学習アルゴリズムDECO-EFを提案する。
- 参考スコア（独自算出の注目度）: 16.66547014107005
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We study decentralized online convex optimization when agents communicate over a graph and messages may be compressed. Classical decentralized online methods typically require learning-rate choices that depend on the horizon, comparator scale, or other problem parameters, while compressed communication introduces additional disagreement that must be controlled. We propose DECO-EF (DEcentralized COin-betting with Error Feedback), a decentralized parameter-free online learning algorithm that combines coin-betting predictions with compressed difference-based gossip. Each agent maintains a clean accumulated state and a compressed tracker, and communicates only compressed state differences during gossip steps. The method is parameter-free in the online-learning sense: it does not tune to the horizon, the comparator norm, or the learning rate. We prove expected comparator-adaptive network-regret bounds for DECO-EF under compressed communication. To the best of our knowledge, this gives the first expected sublinear network-regret guarantees for parameter-free decentralized online learning under compressed communication.
- Abstract（参考訳）: エージェントがグラフ上で通信し、メッセージが圧縮される場合、分散化されたオンライン凸最適化について検討する。
古典的な分散オンライン手法は、一般的に水平線、コンパレータスケール、その他の問題パラメータに依存する学習速度の選択を必要とするが、圧縮された通信は制御されなければならないさらなる不一致をもたらす。
DeCO-EF(Decentralized Coin-betting with Error Feedback)は,コインベッティング予測と圧縮差分に基づくゴシップを組み合わせた分散パラメータフリーオンライン学習アルゴリズムである。
各エージェントは、クリーンな蓄積状態と圧縮されたトラッカーを保持し、ゴシップステップの間のみ圧縮された状態の違いを通信する。
オンライン学習ではパラメータフリーであり、水平線、コンパレータノルム、学習率にチューニングしない。
圧縮通信下でのDEC-EFに対するコンパレータ適応型ネットワーク-レグレット境界の検証を行った。
我々の知る限りでは、圧縮通信下でのパラメータフリーな分散オンライン学習において、最初のサブ線形ネットワーク-レグレット保証が期待できる。
関連論文リスト
- Event-Triggered Gossip for Distributed Learning [61.70659996356528]
我々は,ノード間通信を減らすために,分散学習のためのイベントトリガー型ゴシップフレームワークを開発した。
従来のフルテキスト・オブ・ザ・アート分散学習法と比較して,bf71.61%を限界性能損失のみで分析する。
論文 参考訳（メタデータ） (2026-02-22T10:13:43Z) - DP-CSGP: Differentially Private Stochastic Gradient Push with Compressed Communication [71.60998478544028]
本稿では,分散学習グラフのための圧縮通信(termedfrac-CSGP)を用いた差分的プライベート・グラディエント・プッシュを提案する。
一般の非数学的かつ滑らかな目的関数に対して,本アルゴリズムは高精度かつ効率的な通信を実現するために設計されていることを示す。
論文 参考訳（メタデータ） (2025-12-15T17:37:02Z) - Differential error feedback for communication-efficient decentralized learning [48.924131251745266]
本稿では,差分量子化と誤りフィードバックをブレンドする分散通信効率学習手法を提案する。
その結果,平均二乗誤差と平均ビットレートの両面において通信効率が安定であることが示唆された。
その結果、小さなステップサイズで有限ビットの場合には、圧縮がない場合に達成可能な性能が得られることが判明した。
論文 参考訳（メタデータ） (2024-06-26T15:11:26Z) - AdaGossip: Adaptive Consensus Step-size for Decentralized Deep Learning with Communication Compression [11.290935303784208]
AdaGossipは、隣り合うエージェント間の圧縮モデルの違いに基づいて、コンセンサスのサイズを適応的に調整する新しい手法である。
提案手法は,通信圧縮による分散学習における最先端の手法と比較して,優れた性能を実現する。
論文 参考訳（メタデータ） (2024-04-09T00:43:45Z) - Sparse Decentralized Federated Learning [35.32297764027417]
分散フェデレートラーニング(DFL)は、中央サーバーなしで協調的なモデルトレーニングを可能にするが、効率、安定性、信頼性の課題に直面している。
Sparse DFL (SDFL) に繋がる共有モデルに空間制約を導入し,新しいアルゴリズムCEPSを提案する。
数値実験により,高い信頼性を維持しつつ,コミュニケーションと効率を向上させるための提案アルゴリズムの有効性が検証された。
論文 参考訳（メタデータ） (2023-08-31T12:22:40Z) - QC-ODKLA: Quantized and Communication-Censored Online Decentralized
Kernel Learning via Linearized ADMM [30.795725108364724]
本稿では,分散ネットワーク上でのオンラインカーネル学習に焦点を当てる。
線形化ADMMを用いたオンライン分散カーネル学習という新しい学習フレームワークを提案する。
論文 参考訳（メタデータ） (2022-08-04T17:16:27Z) - Decentralized Composite Optimization with Compression [36.75785129001134]
非滑らかなコンポーネントを用いた分散合成最適化問題について検討する。
圧縮を伴う収束アンダーライン分散アルゴリズム Prox-LEAD を提案する。
我々の定理は、Prox-LEADが任意の圧縮精度で動作することを示している。
論文 参考訳（メタデータ） (2021-08-10T04:54:52Z) - A Linearly Convergent Algorithm for Decentralized Optimization: Sending
Less Bits for Free! [72.31332210635524]
分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。
ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。
本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
論文 参考訳（メタデータ） (2020-11-03T13:35:53Z) - PowerGossip: Practical Low-Rank Communication Compression in
Decentralized Deep Learning [62.440827696638664]
本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。
中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
論文 参考訳（メタデータ） (2020-08-04T09:14:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。