論文の概要: Addressing Data Heterogeneity in Decentralized Learning via Topological Pre-processing

• arxiv url: http://arxiv.org/abs/2212.08743v1
• Date: Fri, 16 Dec 2022 22:46:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 18:43:21.323611
• Title: Addressing Data Heterogeneity in Decentralized Learning via Topological Pre-processing
• Title（参考訳）: トポロジカル前処理による分散学習におけるデータ不均一性への対処
• Authors: Waqwoya Abebe, Ali Jannesari
• Abstract要約: 本稿では,プロキシベースの局所異種DLトポロジの構築による収束性の向上とデータプライバシの維持のメリットを示す。 最終学習グラフに配置する前に、ピアを効率的にクラスタ化するための新しいピアクランプ戦略を提案する。
• 参考スコア（独自算出の注目度）: 0.9645196221785693
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, local peer topology has been shown to influence the overall convergence of decentralized learning (DL) graphs in the presence of data heterogeneity. In this paper, we demonstrate the advantages of constructing a proxy-based locally heterogeneous DL topology to enhance convergence and maintain data privacy. In particular, we propose a novel peer clumping strategy to efficiently cluster peers before arranging them in a final training graph. By showing how locally heterogeneous graphs outperform locally homogeneous graphs of similar size and from the same global data distribution, we present a strong case for topological pre-processing. Moreover, we demonstrate the scalability of our approach by showing how the proposed topological pre-processing overhead remains small in large graphs while the performance gains get even more pronounced. Furthermore, we show the robustness of our approach in the presence of network partitions.
• Abstract（参考訳）: 近年、局所的なピアトポロジーは、データ不均一性の存在下での分散学習(DL)グラフの全体収束に影響を与えることが示されている。 本稿では,プロキシベースの局所異種DLトポロジの構築による収束性の向上とデータプライバシの維持のメリットを実証する。 特に,最終的なトレーニンググラフに並べる前に,ピアを効率的にクラスタ化するための新しいピアクロンピング戦略を提案する。 局所的不均質グラフが、同じ大きさの局所的等質グラフと同一のグローバルデータ分布よりいかに優れているかを示すことにより、位相的前処理の強い場合を示す。 さらに,提案するトポロジカルな前処理オーバーヘッドが大規模グラフにおいて小さいままであり,性能向上がさらに顕著であることを示すことにより,このアプローチのスケーラビリティを示す。 さらに,ネットワーク分割の存在下でのアプローチの堅牢性を示す。

関連論文リスト

• Self-Supervised Contrastive Graph Clustering Network via Structural Information Fusion [15.293684479404092]
  CGCNと呼ばれる新しいディープグラフクラスタリング手法を提案する。 提案手法では,事前学習プロセスにコントラスト信号と深部構造情報を導入している。 本手法は,複数の実世界のグラフデータセットに対して実験的に検証されている。
  論文  参考訳（メタデータ） (2024-08-08T09:49:26Z)
• Revealing Decurve Flows for Generalized Graph Propagation [108.80758541147418]
  本研究は,有向グラフと重み付きグラフを用いて,m文を一般化した伝播を定義することによって,従来のメッセージパッシング(中心からグラフ学習)の限界に対処する。 この分野ではじめて、データセットにおける学習された伝播パターンの予備的な探索を含む。
  論文  参考訳（メタデータ） (2024-02-13T14:13:17Z)
• Graph Out-of-Distribution Generalization with Controllable Data Augmentation [51.17476258673232]
  グラフニューラルネットワーク(GNN)は,グラフ特性の分類において異常な性能を示した。 トレーニングとテストデータの選択バイアスが原因で、分散偏差が広まっています。 仮想サンプルの分布偏差を測定するためのOODキャリブレーションを提案する。
  論文  参考訳（メタデータ） (2023-08-16T13:10:27Z)
• Interpolation-based Correlation Reduction Network for Semi-Supervised Graph Learning [49.94816548023729]
  補間型相関低減ネットワーク(ICRN)と呼ばれる新しいグラフコントラスト学習手法を提案する。 提案手法では,決定境界のマージンを大きくすることで,潜在特徴の識別能力を向上させる。 この2つの設定を組み合わせることで、豊富なラベル付きノードと稀に価値あるラベル付きノードから豊富な監視情報を抽出し、離散表現学習を行う。
  論文  参考訳（メタデータ） (2022-06-06T14:26:34Z)
• Optimal Propagation for Graph Neural Networks [51.08426265813481]
  最適グラフ構造を学習するための二段階最適化手法を提案する。 また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
  論文  参考訳（メタデータ） (2022-05-06T03:37:00Z)
• Data-heterogeneity-aware Mixing for Decentralized Learning [63.83913592085953]
  グラフの混合重みとノード間のデータ不均一性の関係に収束の依存性を特徴付ける。 グラフが現在の勾配を混合する能力を定量化する計量法を提案する。 そこで本研究では,パラメータを周期的かつ効率的に最適化する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-13T15:54:35Z)
• Yes, Topology Matters in Decentralized Optimization: Refined Convergence and Topology Learning under Heterogeneous Data [0.0]
  本稿では,分散学習アルゴリズムD-SGD(Decentralized Gradient Descent Algorithm)をデータ不均一性の下で再検討する。 我々は、D-SGDの収束速度において、近隣の不均一性と呼ばれる新しい量によって果たす重要な役割を示す。 エージェント分布のトポロジとヘテロジニティを結合することにより、分散学習におけるこれらの2つの概念間の不十分な相互作用に光を当てる。
  論文  参考訳（メタデータ） (2022-04-09T11:29:12Z)
• A Graph Data Augmentation Strategy with Entropy Preserving [11.886325179121226]
  本稿では,グラフ間の特徴情報を評価するための定量的指標として,新しいグラフエントロピー定義を提案する。 グラフエントロピーの保存を考慮し、摂動機構を用いてトレーニングデータを生成する効果的な方法を提案する。 提案手法はトレーニング過程におけるGCNの堅牢性と一般化能力を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-07-13T12:58:32Z)
• Contrastive and Generative Graph Convolutional Networks for Graph-based Semi-Supervised Learning [64.98816284854067]
  グラフベースのSemi-Supervised Learning (SSL)は、少数のラベル付きデータのラベルをグラフ経由で残りの巨大なラベル付きデータに転送することを目的としている。 本稿では,データ類似性とグラフ構造を両立させ,監視信号の強化を図るため,新しいGCNベースのSSLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-15T13:59:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。