論文の概要: Discount Yourself: Self-inclusive Freshness-weighted Gossip for Decentralised Learning under Client Outages
- arxiv url: http://arxiv.org/abs/2610.28545v1
- Date: Tue, 20 Oct 2026 17:12:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.943015
- Title: Discount Yourself: Self-inclusive Freshness-weighted Gossip for Decentralised Learning under Client Outages
- Title(参考訳): Discount Yourself: クライアントの停止下での分散学習のための自己包括的フレッシュネス重み付けゴシップ
- Abstract要約: 我々は、完全に利用可能なネットワークの状態の推定として、障害後のアグリゲーションを定式化する。
まず、受信機は隣人と同じように割引されなければならない。
第二に、老化は老化よりも遺伝性ラグとして測定されなければならない。
第三に、吸収したラグが後続のラウンドごとに持続するため、ディスカウントは急勾配でなければならない。
- 参考スコア(独自算出の注目度): 4.2826310390353
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Decentralised federated learning (DFL) trains personalised models on devices that average with their neighbours rather than with a central server. Real devices, however, are often offline for hours or days, and a client returning from an outage can recover only by aggregating the models its neighbourhood holds. We observe that the stalest of these models is usually the client's own, a case that existing staleness-aware rules, which discount only the models a client receives, do not address. We formalise aggregation after an outage as estimating the state of a fully available network and derive three principles. First, the receiver must be discounted like any neighbour. Every rule that weights it at least as much as each neighbour has an error that grows without bound with the outage, whereas discounting all candidates by relative staleness keeps the error bounded. Second, staleness must be measured as inherited lag rather than age, since local training resets a model's age but not the lag it absorbed from stale neighbours. We introduce the effective lag, which tracks this quantity at the cost of one scalar per message. Third, the discount must be steep, because absorbed lag persists in every later round. These principles define Self-inclusive Freshness-weighted Gossip (SFG), a family of drop-in aggregation rules with the communication and computation of decentralised federated averaging, whose guarantees hold for the stale receiver itself. On three image benchmarks and eight outage processes, including real smartphone availability traces, the lag-based members SFG-L and SFG-Cut consistently outperform decentralised federated averaging and recent age-of-information rules, and ablations show that each principle is necessary. The analysis also explains why tuned limited merging from gossip learning is effective.
- Abstract(参考訳): 分散連合学習(DFL)は、中央サーバーではなく、隣人との平均的なデバイス上で個人化されたモデルを訓練する。
しかし、実際のデバイスは数時間から数日にわたってオフラインにされ、停電から戻ってくるクライアントは、近隣のモデルにアグリゲーションすることでのみ回復できる。
これは、クライアントが受信するモデルのみを割引する既存の静的なルールが対応しない場合である。
障害後のアグリゲーションを、完全に利用可能なネットワークの状態の推定として定式化し、3つの原則を導出する。
まず、受信機は隣人と同じように割引されなければならない。
近隣のすべてのルールは、少なくとも近隣のルールが、障害に縛られることなく増大するエラーを持つのに対して、全ての候補を相対的な安定度で切り離すことは、エラーを束縛し続ける。
第二に、局所的なトレーニングはモデルの年齢をリセットするが、古い隣人から吸収されるラグではないため、老化は年齢よりも継承ラグとして測定されなければならない。
メッセージあたり1スカラーのコストで、この量をトラックする効果的なラグを導入します。
第三に、吸収したラグが後続のラウンドごとに持続するため、ディスカウントは急勾配でなければならない。
これらの原則は、自己包括的フレッシュネス重み付けゴシップ(SFG)を定義する。これは、分散化されたフェデレーション平均化(英語版)の通信と計算を伴うドロップイン集約ルールのファミリーであり、古い受信機自体を保証している。
3つの画像ベンチマークと、実際のスマートフォンの可用性トレースを含む8つの機能停止プロセスにおいて、ラグベースのメンバーSFG-LとSFG-Cutは、分散化されたフェデレーション平均化と最近の情報化の年齢規則を一貫して上回り、それぞれの原則が不可欠であることを示す。
この分析は、ゴシップ学習による限定的なマージが効果的である理由についても説明している。
関連論文リスト
- RIPPLE in Still Water: Zero-Shot Clustering in Federated Learning with Wavelet Scattering Transform [51.56484100374058]
クラスタ化されたフェデレートラーニング(FL)は、クライアントを同じローカル分布のグループに分割し、クラスタ毎に1つの特別なモデルを訓練する。
本稿では、各クライアントのローカルデータのスペクトル特性からクラスタ割り当てを完全にオフラインで計算するクラスタリングFLフレームワークであるRIPPLEを提案する。
論文 参考訳(メタデータ) (2026-10-02T09:35:39Z) - Differentially Private Clustered Federated Learning with Privacy-Preserving Initialization and Normality-Driven Aggregation [25.94292199187493]
フェデレートラーニング(FL)は、エンドデバイスに生データを保存しながら、グローバルモデルのトレーニングを可能にする。
これにもかかわらず、FLはプライベートなユーザー情報を漏洩していることを示しており、実際には、ディファレンシャルプライバシ(DP)やセキュアなベクトル和といった手法と組み合わせて、参加者に正式なプライバシ保証を提供することが多い。
PINAは、各クライアントが軽量なローランク適応(LoRA)アダプタを微調整し、更新の圧縮スケッチをプライベートに共有できる2段階フレームワークである。
第2段階では、PINAは収束と堅牢性を改善する正規性駆動の凝集機構を導入する。
論文 参考訳(メタデータ) (2026-04-22T14:12:18Z) - A Secure and Private Distributed Bayesian Federated Learning Design [56.92336577799572]
DFL(Distributed Federated Learning)は、中央パラメータサーバを持たない大規模システム間の分散モデルトレーニングを可能にする。
DFLは、3つの重要な課題に直面している: 正直な隣人からのプライバシー漏洩、中央調整の欠如による収束の遅さ、モデルの精度の低下を目指すビザンティンの敵に対する脆弱性。
本稿では,ビザンチンの堅牢性,プライバシー保護,収束促進を統合した新しいDFLフレームワークを提案する。
論文 参考訳(メタデータ) (2026-02-23T16:12:02Z) - Distributed Perceptron under Bounded Staleness, Partial Participation, and Noisy Communication [9.036165374385739]
クライアントはローカルなパーセプトロン更新を実行し、サーバは各通信ラウンドにやってくる更新を集約してグローバルモデルを形成する。
本研究では, 有限の誤差予算が, 軽度な新参加条件下での明示的な有限ラウンド安定化をもたらすことを示す。
論文 参考訳(メタデータ) (2026-01-15T18:56:54Z) - Towards Communication-efficient Federated Learning via Sparse and Aligned Adaptive Optimization [90.08459757321405]
Federated Adam (FedAdam) アルゴリズムはアップリンク通信オーバーヘッドの3倍の増大に悩まされている。
我々はFedAdam-SSMと呼ばれる新しいスパースなFedAdamアルゴリズムを提案する。
我々は,FedAdam-SSMが訓練したモデルと集中型Adamの差異を最小化することにより,スペーシフィケーションエラーによる学習性能劣化を軽減するためにSSMを最適化する。
論文 参考訳(メタデータ) (2024-05-28T07:56:49Z) - Client Orchestration and Cost-Efficient Joint Optimization for
NOMA-Enabled Hierarchical Federated Learning [55.49099125128281]
半同期クラウドモデルアグリゲーションの下で非直交多重アクセス(NOMA)を実現するHFLシステムを提案する。
提案手法は,HFLの性能改善と総コスト削減に関するベンチマークよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-11-03T13:34:44Z) - AsyncFedED: Asynchronous Federated Learning with Euclidean Distance
based Adaptive Weight Aggregation [17.57059932879715]
非同期学習フレームワークでは、サーバがクライアントから更新を受けると、すべての更新が設定通りに到着するのを待つのではなく、グローバルモデルを更新する。
AsyncFedEDと呼ばれる適応重み付けアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-05-27T07:18:11Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。