論文の概要: Data-heterogeneity-aware Mixing for Decentralized Learning

• arxiv url: http://arxiv.org/abs/2204.06477v1
• Date: Wed, 13 Apr 2022 15:54:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-14 12:24:19.120405
• Title: Data-heterogeneity-aware Mixing for Decentralized Learning
• Title（参考訳）: 分散学習のためのデータ・ヘテロゲニティ・アウェア・ミキシング
• Authors: Yatin Dandi, Anastasia Koloskova, Martin Jaggi, Sebastian U. Stich
• Abstract要約: グラフの混合重みとノード間のデータ不均一性の関係に収束の依存性を特徴付ける。 グラフが現在の勾配を混合する能力を定量化する計量法を提案する。 そこで本研究では,パラメータを周期的かつ効率的に最適化する手法を提案する。
• 参考スコア（独自算出の注目度）: 63.83913592085953
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decentralized learning provides an effective framework to train machine learning models with data distributed over arbitrary communication graphs. However, most existing approaches toward decentralized learning disregard the interaction between data heterogeneity and graph topology. In this paper, we characterize the dependence of convergence on the relationship between the mixing weights of the graph and the data heterogeneity across nodes. We propose a metric that quantifies the ability of a graph to mix the current gradients. We further prove that the metric controls the convergence rate, particularly in settings where the heterogeneity across nodes dominates the stochasticity between updates for a given node. Motivated by our analysis, we propose an approach that periodically and efficiently optimizes the metric using standard convex constrained optimization and sketching techniques. Through comprehensive experiments on standard computer vision and NLP benchmarks, we show that our approach leads to improvement in test performance for a wide range of tasks.
• Abstract（参考訳）: 分散学習は、任意の通信グラフに分散したデータを持つ機械学習モデルをトレーニングするための効果的なフレームワークを提供する。 しかし、分散学習への既存のアプローチは、データ不均一性とグラフトポロジーの相互作用を無視している。 本稿では,グラフの混合重みとノード間のデータ不均一性の関係について,収束の依存性を特徴付ける。 我々は,現在の勾配を混合するグラフの能力を定量化する指標を提案する。 さらに、各ノード間の不均一性が所定のノードの更新間の確率性を支配する設定において、メトリックが収束率を制御することを証明する。 そこで本研究では,標準凸制約最適化とスケッチ手法を用いて,周期的かつ効率的にメトリックを最適化する手法を提案する。 コンピュータビジョンとNLPベンチマークの総合的な実験を通して、我々の手法は幅広いタスクにおけるテスト性能の向上につながることを示す。

関連論文リスト

• NTK-DFL: Enhancing Decentralized Federated Learning in Heterogeneous Settings via Neural Tangent Kernel [27.92271597111756]
  Decentralized Federated Learning (DFL) は、中央サーバや生のデータ交換なしで参加者間でモデルをトレーニングするための、協調的な機械学習フレームワークである。 近年の研究では、集中型フレームワークにおけるフェデレーション学習に適用されたニューラルタンジェントカーネル(NTK)アプローチが、パフォーマンスの向上につながることが示されている。 本稿では,NTKベースの進化とモデル平均化の相乗効果を導入しながら,分散環境でクライアントモデルを訓練するためにNTKを活用するアプローチを提案する。
  論文  参考訳（メタデータ） (2024-10-02T18:19:28Z)
• Modularity aided consistent attributed graph clustering via coarsening [6.522020196906943]
  グラフクラスタリングは、属性付きグラフを分割し、コミュニティを検出するための重要な教師なし学習手法である。 本稿では,ブロックの最大化最小化手法を用いて,対数行列,滑らか性,モジュラリティを組み込んだ損失関数を提案する。 我々のアルゴリズムはグラフニューラルネットワーク(GNN)と変分グラフオートエンコーダ(VGAE)をシームレスに統合し、拡張ノードの特徴を学習し、例外的なクラスタリング性能を実現する。
  論文  参考訳（メタデータ） (2024-07-09T10:42:19Z)
• Graph Out-of-Distribution Generalization with Controllable Data Augmentation [51.17476258673232]
  グラフニューラルネットワーク(GNN)は,グラフ特性の分類において異常な性能を示した。 トレーニングとテストデータの選択バイアスが原因で、分散偏差が広まっています。 仮想サンプルの分布偏差を測定するためのOODキャリブレーションを提案する。
  論文  参考訳（メタデータ） (2023-08-16T13:10:27Z)
• Towards Relation-centered Pooling and Convolution for Heterogeneous Graph Learning Networks [11.421162988355146]
  不均一グラフニューラルネットワークは,グラフ表現学習において大きな可能性を秘めている。 我々は,PC-HGNという異種グラフ学習ネットワークのための関係中心のPooling and Convolutionを設計し,関係固有サンプリングと相互関係の畳み込みを実現する。 実世界の3つのデータセットにおける最先端グラフ学習モデルとの比較により,提案モデルの性能評価を行った。
  論文  参考訳（メタデータ） (2022-10-31T08:43:32Z)
• Interpolation-based Correlation Reduction Network for Semi-Supervised Graph Learning [49.94816548023729]
  補間型相関低減ネットワーク(ICRN)と呼ばれる新しいグラフコントラスト学習手法を提案する。 提案手法では,決定境界のマージンを大きくすることで,潜在特徴の識別能力を向上させる。 この2つの設定を組み合わせることで、豊富なラベル付きノードと稀に価値あるラベル付きノードから豊富な監視情報を抽出し、離散表現学習を行う。
  論文  参考訳（メタデータ） (2022-06-06T14:26:34Z)
• Deep Graph Clustering via Mutual Information Maximization and Mixture Model [6.488575826304023]
  クラスタリングに親しみやすいノード埋め込みを学習するための対照的な学習フレームワークを導入する。 実世界のデータセットを用いた実験により,コミュニティ検出における本手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-05-10T21:03:55Z)
• Optimal Propagation for Graph Neural Networks [51.08426265813481]
  最適グラフ構造を学習するための二段階最適化手法を提案する。 また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
  論文  参考訳（メタデータ） (2022-05-06T03:37:00Z)
• Score-based Generative Modeling of Graphs via the System of Stochastic Differential Equations [57.15855198512551]
  本稿では,連続時間フレームワークを用いたグラフのスコアベース生成モデルを提案する。 本手法は, トレーニング分布に近い分子を生成できるが, 化学価数則に違反しないことを示す。
  論文  参考訳（メタデータ） (2022-02-05T08:21:04Z)
• Bayesian Graph Contrastive Learning [55.36652660268726]
  本稿では,ランダムな拡張がエンコーダにつながることを示すグラフコントラスト学習手法の新たな視点を提案する。 提案手法は,各ノードを決定論的ベクトルに埋め込む既存の手法とは対照的に,各ノードを潜在空間の分布で表現する。 いくつかのベンチマークデータセットにおける既存の最先端手法と比較して,性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2021-12-15T01:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。