論文の概要: Efficiency Boost in Decentralized Optimization: Reimagining Neighborhood Aggregation with Minimal Overhead

• arxiv url: http://arxiv.org/abs/2509.22174v1
• Date: Fri, 26 Sep 2025 10:34:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.371209
• Title: Efficiency Boost in Decentralized Optimization: Reimagining Neighborhood Aggregation with Minimal Overhead
• Title（参考訳）: 分散最適化における効率向上:最小限のオーバーヘッドによる近隣集合の想像
• Authors: Durgesh Kalwar, Mayank Baranwal, Harshad Khadilkar,
• Abstract要約: マルチエージェントネットワークにおける情報集約のための新しいフレームワークであるDYNAWEIGHTを紹介する。 DYNAWEIGHTは、ローカルデータセットに対する相対的な損失に基づいて、近隣のサーバに動的に重みを割り当てる。
• 参考スコア（独自算出の注目度）: 3.485627109660862
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In today's data-sensitive landscape, distributed learning emerges as a vital tool, not only fortifying privacy measures but also streamlining computational operations. This becomes especially crucial within fully decentralized infrastructures where local processing is imperative due to the absence of centralized aggregation. Here, we introduce DYNAWEIGHT, a novel framework to information aggregation in multi-agent networks. DYNAWEIGHT offers substantial acceleration in decentralized learning with minimal additional communication and memory overhead. Unlike traditional static weight assignments, such as Metropolis weights, DYNAWEIGHT dynamically allocates weights to neighboring servers based on their relative losses on local datasets. Consequently, it favors servers possessing diverse information, particularly in scenarios of substantial data heterogeneity. Our experiments on various datasets MNIST, CIFAR10, and CIFAR100 incorporating various server counts and graph topologies, demonstrate notable enhancements in training speeds. Notably, DYNAWEIGHT functions as an aggregation scheme compatible with any underlying server-level optimization algorithm, underscoring its versatility and potential for widespread integration.
• Abstract（参考訳）: 今日のデータに敏感な状況では、分散学習はプライバシー対策の強化だけでなく、計算処理の合理化にも欠かせないツールとして現れている。 これは、集中集約が欠如しているため、ローカル処理が必須である、完全に分散化されたインフラにおいて、特に重要となる。 本稿では,マルチエージェントネットワークにおける情報集約のための新しいフレームワークであるDYNAWEIGHTを紹介する。 DYNAWEIGHTは、最小限の通信とメモリオーバーヘッドで分散学習の大幅な加速を提供する。 メトロポリスの重みのような従来の静的な重み付けとは異なり、DYNAWEIGHTは局所的なデータセットに対する相対的な損失に基づいて、近隣のサーバに重みを動的に割り当てる。 その結果、特にデータ不均一性のシナリオにおいて、多様な情報を持つサーバが好まれる。 MNIST, CIFAR10, CIFAR100の各種サーバ数とグラフトポロジを組み込んだ各種データセット実験により, トレーニング速度の顕著な向上が示された。 特に、DYNAWEIGHTは、基盤となるサーバレベルの最適化アルゴリズムと互換性のあるアグリゲーションスキームとして機能し、その汎用性と広範な統合の可能性を強調している。

関連論文リスト

• Power Grid Control with Graph-Based Distributed Reinforcement Learning [60.49805771047161]
  この作業は、リアルタイムでスケーラブルなグリッド管理のためのグラフベースの分散強化学習フレームワークを前進させる。 グラフニューラルネットワーク(GNN)を使用して、ネットワークのトポロジ情報を単一の低レベルエージェントの観測内にエンコードする。 Grid2Opシミュレーション環境での実験は、このアプローチの有効性を示している。
  論文  参考訳（メタデータ） (2025-09-02T22:17:25Z)
• Optimal Transport-based Domain Alignment as a Preprocessing Step for Federated Learning [0.48342038441006796]
  Federated Learning(FL)は、機械学習のサブフィールドであり、ローカルデータを中央サーバと共有することを避ける。 FLでは、局所的に訓練されたモデルと不均衡なデータセットを融合させることで、グローバルモデルアグリゲーションの性能が低下する可能性がある。 本稿では,エッジデバイスに沿ったデータの分布差を最小化してデータセットを整列する,最適なトランスポートベースの前処理アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-04T15:35:55Z)
• Semi-decentralized Training of Spatio-Temporal Graph Neural Networks for Traffic Prediction [0.15978270011184256]
  スマートモビリティ領域における時空間グラフ時間ニューラルネットワーク(ST-GNN)のための半分散トレーニング手法を探索し,適応する。 センサを複数のクラウドレットに近接してグループ化するシミュレーションフレームワークを実装した。 半分散的なセットアップは、パフォーマンスメトリクスの集中的なアプローチと同等であることを示す。
  論文  参考訳（メタデータ） (2024-12-04T10:20:21Z)
• Fed-QSSL: A Framework for Personalized Federated Learning under Bitwidth and Data Heterogeneity [14.313847382199059]
  Fed-QSSL (Federated Quantization-based self-supervised learning scheme) はFLシステムの不均一性に対処するために設計された。 Fed-QSSLは、デ量子化、重み付けされたアグリゲーション、再量子化をデプロイし、最終的に、各クライアントのデバイスのデータ分散と特定のインフラストラクチャの両方にパーソナライズされたモデルを作成する。
  論文  参考訳（メタデータ） (2023-12-20T19:11:19Z)
• Clustered Federated Learning via Generalized Total Variation Minimization [83.26141667853057]
  本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。 我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。 私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
  論文  参考訳（メタデータ） (2021-05-26T18:07:19Z)
• Reinforcement Learning for Datacenter Congestion Control [50.225885814524304]
  渋滞制御アルゴリズムの成功は、レイテンシとネットワーク全体のスループットを劇的に改善する。 今日まで、このような学習ベースのアルゴリズムはこの領域で実用的な可能性を示さなかった。 実世界のデータセンターネットワークの様々な構成に一般化することを目的としたRLに基づくアルゴリズムを考案する。 本稿では,この手法が他のRL手法よりも優れており,トレーニング中に見られなかったシナリオに一般化可能であることを示す。
  論文  参考訳（メタデータ） (2021-02-18T13:49:28Z)
• Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。 現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。 本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-09T11:27:14Z)
• Dif-MAML: Decentralized Multi-Agent Meta-Learning [54.39661018886268]
  我々は,MAML や Dif-MAML と呼ばれる協調型マルチエージェントメタ学習アルゴリズムを提案する。 提案手法により, エージェントの集合が線形速度で合意に達し, 集約MAMLの定常点に収束できることを示す。 シミュレーションの結果は従来の非協調的な環境と比較して理論的な結果と優れた性能を示している。
  論文  参考訳（メタデータ） (2020-10-06T16:51:09Z)
• Federated Learning with Cooperating Devices: A Consensus Approach for Massive IoT Networks [8.456633924613456]
  分散システムにおける機械学習モデルをトレーニングするための新しいパラダイムとして、フェデレートラーニング(FL)が登場している。 提案するFLアルゴリズムは,ネットワーク内のデータ操作を行うデバイスとの協調を利用して,完全に分散された(あるいはサーバレス)学習手法を提案する。 このアプローチは、分散接続とコンピューティングを特徴とするネットワークを超えて、5G 内で FL を統合するための基盤となる。
  論文  参考訳（メタデータ） (2019-12-27T15:16:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。