Fugu-MT 論文翻訳(概要): Topology-Aware Knowledge Propagation in Decentralized Learning

論文の概要: Topology-Aware Knowledge Propagation in Decentralized Learning

arxiv url: http://arxiv.org/abs/2505.11760v1
Date: Fri, 16 May 2025 23:53:33 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-20 14:57:10.831256
Title: Topology-Aware Knowledge Propagation in Decentralized Learning
Title（参考訳）: 分散型学習におけるトポロジ的知識伝播
Authors: Mansi Sakarvadia, Nathaniel Hudson, Tian Li, Ian Foster, Kyle Chard,
Abstract要約: 本研究では,デバイス間におけるアウト・オブ・ディストリビューション(OOD)知識の伝播について検討する。一般的な分散学習アルゴリズムは、OODの知識をすべてのデバイスに効果的に広めるのに苦労している。デバイス間のOOD知識の伝播を促進するためのトポロジ対応アグリゲーション戦略を提案する。
参考スコア（独自算出の注目度）: 8.696679176075365
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Decentralized learning enables collaborative training of models across naturally distributed data without centralized coordination or maintenance of a global model. Instead, devices are organized in arbitrary communication topologies, in which they can only communicate with neighboring devices. Each device maintains its own local model by training on its local data and integrating new knowledge via model aggregation with neighbors. Therefore, knowledge is propagated across the topology via successive aggregation rounds. We study, in particular, the propagation of out-of-distribution (OOD) knowledge. We find that popular decentralized learning algorithms struggle to propagate OOD knowledge effectively to all devices. Further, we find that both the location of OOD data within a topology, and the topology itself, significantly impact OOD knowledge propagation. We then propose topology-aware aggregation strategies to accelerate (OOD) knowledge propagation across devices. These strategies improve OOD data accuracy, compared to topology-unaware baselines, by 123% on average across models in a topology.
Abstract（参考訳）: 分散学習は、グローバルモデルの集中的な調整やメンテナンスなしに、自然に分散したデータにわたるモデルの協調的なトレーニングを可能にする。代わりに、デバイスは任意の通信トポロジで組織され、隣のデバイスとしか通信できない。各デバイスは、ローカルデータをトレーニングし、隣人とのモデルアグリゲーションを通じて新しい知識を統合することで、独自のローカルモデルを維持している。したがって、知識は連続的な集約ラウンドを通じてトポロジー全体に伝播する。特に、アウト・オブ・ディストリビューション(OOD)の知識の伝播について研究する。一般的な分散学習アルゴリズムは、OODの知識をすべてのデバイスに効果的に広めるのに苦労している。さらに, トポロジ内のOODデータの位置とトポロジ自体がOOD知識の伝播に大きく影響していることが判明した。次に,デバイス間の知識伝達を加速するトポロジ対応アグリゲーション戦略を提案する。これらの戦略は、トポロジを意識しないベースラインと比較して、OODデータの精度を、トポロジのモデル全体で平均123%向上させる。

関連論文リスト

Initialisation and Network Effects in Decentralised Federated Learning [1.5961625979922607]
分散フェデレーション学習は、通信デバイスの分散ネットワーク上で、個々の機械学習モデルの協調トレーニングを可能にする。このアプローチは、集中的な調整を避け、データのプライバシを高め、単一障害点のリスクを取り除く。本稿では,基盤となる通信ネットワークの固有ベクトル集中度分布に基づく,ニューラルネットワークの非協調初期化戦略を提案する。
論文参考訳（メタデータ） (2024-03-23T14:24:36Z)
Impact of network topology on the performance of Decentralized Federated Learning [4.618221836001186]
分散機械学習は、インフラストラクチャの課題とプライバシの懸念に対処し、勢いを増している。本研究では,3つのネットワークトポロジと6つのデータ分散手法を用いて,ネットワーク構造と学習性能の相互作用について検討する。モデル集約時の希釈効果に起因する周辺ノードから中心ノードへの知識伝達の課題を強調した。
論文参考訳（メタデータ） (2024-02-28T11:13:53Z)
Bridged-GNN: Knowledge Bridge Learning for Effective Knowledge Transfer [65.42096702428347]
グラフニューラルネットワーク(GNN)は、隣接するノードから情報を集約する。知識ブリッジ学習(KBL)は、対象ドメインに対する知識強化後部分布を学習する。 Bridged-GNNには、Bridged-Graphを構築するためのAdaptive Knowledge Retrievalモジュールと、Graph Knowledge Transferモジュールが含まれている。
論文参考訳（メタデータ） (2023-08-18T12:14:51Z)
The effect of network topologies on fully decentralized learning: a preliminary investigation [2.9592782993171918]
分散機械学習システムでは、データは複数のデバイスまたはノードに分割され、それぞれが独自のデータを使用してローカルモデルをトレーニングする。異なるタイプのトポロジが「知識の拡散」に与える影響について検討する。具体的には、多かれ少なかれ連結されたノード(ハーブと葉)のこのプロセスにおける異なる役割を強調します。
論文参考訳（メタデータ） (2023-07-29T09:39:17Z)
FedDKD: Federated Learning with Decentralized Knowledge Distillation [3.9084449541022055]
分散知識蒸留法(FedDKD)を応用した新しいフェデレートラーニングフレームワークを提案する。我々は、FedDKDが、いくつかのDKDステップにおいて、より効率的なコミュニケーションと訓練により最先端の手法よりも優れていることを示す。
論文参考訳（メタデータ） (2022-05-02T07:54:07Z)
Igeood: An Information Geometry Approach to Out-of-Distribution Detection [35.04325145919005]
Igeoodは, オフ・オブ・ディストリビューション(OOD)サンプルを効果的に検出する手法である。 Igeoodは任意のトレーニング済みニューラルネットワークに適用され、機械学習モデルにさまざまなアクセス権を持つ。 Igeoodは、さまざまなネットワークアーキテクチャやデータセットにおいて、競合する最先端の手法よりも優れていることを示す。
論文参考訳（メタデータ） (2022-03-15T11:26:35Z)
An Entropy-guided Reinforced Partial Convolutional Network for Zero-Shot Learning [77.72330187258498]
エントロピー誘導強化部分畳み込みネットワーク(ERPCNet)を提案する。 ERPCNetは、人間のアノテーションのない意味的関連性と視覚的相関に基づいて、局所性を抽出し、集約する。グローバルな協力的局所性を動的に発見するだけでなく、ポリシー勾配最適化のためにより高速に収束する。
論文参考訳（メタデータ） (2021-11-03T11:13:13Z)
Triggering Failures: Out-Of-Distribution detection by learning from local adversarial attacks in Semantic Segmentation [76.2621758731288]
セグメンテーションにおけるアウト・オブ・ディストリビューション(OOD)オブジェクトの検出に取り組む。私たちの主な貢献は、ObsNetと呼ばれる新しいOOD検出アーキテクチャであり、ローカル・アタック(LAA)に基づく専用トレーニングスキームと関連付けられています。 3つの異なるデータセットの文献の最近の10つの手法と比較して,速度と精度の両面で最高の性能が得られることを示す。
論文参考訳（メタデータ） (2021-08-03T17:09:56Z)
Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
論文参考訳（メタデータ） (2021-02-27T03:17:20Z)
BayGo: Joint Bayesian Learning and Information-Aware Graph Optimization [48.30183416069897]
BayGoは、ベイズ学習とグラフ最適化のフレームワークである。本研究の枠組みは、完全連結および恒星トポロジーグラフと比較して、より高速な収束と精度を実現する。
論文参考訳（メタデータ） (2020-11-09T11:16:55Z)
Self-organizing Democratized Learning: Towards Large-scale Distributed Learning Systems [71.14339738190202]
民主化された学習(Dem-AI)は、大規模な分散および民主化された機械学習システムを構築するための基本原則を備えた全体主義的哲学を定めている。本稿では,Dem-AI哲学にヒントを得た分散学習手法を提案する。提案アルゴリズムは,従来のFLアルゴリズムと比較して,エージェントにおける学習モデルの一般化性能が向上することを示す。
論文参考訳（メタデータ） (2020-07-07T08:34:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。