論文の概要: RCD-SGD: Resource-Constrained Distributed SGD in Heterogeneous Environment via Submodular Partitioning

• arxiv url: http://arxiv.org/abs/2211.00839v2
• Date: Mon, 18 Sep 2023 22:31:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-20 20:32:01.487681
• Title: RCD-SGD: Resource-Constrained Distributed SGD in Heterogeneous Environment via Submodular Partitioning
• Title（参考訳）: RCD-SGD:サブモジュール分割による異種環境における資源制約分散SGD
• Authors: Haoze He and Parijat Dube
• Abstract要約: サブモジュール最適化を含む新しいデータ分割アルゴリズムに基づく分散トレーニングアルゴリズムのフレームワークを開発する。 このアルゴリズムに基づいて,既存のSOTA分散トレーニングアルゴリズムを最大32%高速化する分散SGDフレームワークを開発した。
• 参考スコア（独自算出の注目度）: 1.9145351898882879
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The convergence of SGD based distributed training algorithms is tied to the data distribution across workers. Standard partitioning techniques try to achieve equal-sized partitions with per-class population distribution in proportion to the total dataset. Partitions having the same overall population size or even the same number of samples per class may still have Non-IID distribution in the feature space. In heterogeneous computing environments, when devices have different computing capabilities, even-sized partitions across devices can lead to the straggler problem in distributed SGD. We develop a framework for distributed SGD in heterogeneous environments based on a novel data partitioning algorithm involving submodular optimization. Our data partitioning algorithm explicitly accounts for resource heterogeneity across workers while achieving similar class-level feature distribution and maintaining class balance. Based on this algorithm, we develop a distributed SGD framework that can accelerate existing SOTA distributed training algorithms by up to 32%.
• Abstract（参考訳）: SGDベースの分散トレーニングアルゴリズムの収束は、ワーカー間のデータ分散と結びついている。 標準的なパーティショニング手法は、全データセットに比例してクラス毎の人口分布で等サイズの分割を達成しようとする。 クラスごとに同じサイズ、あるいは同じ数のサンプルを持つパーティションは、機能空間に非iid分布を持つ可能性がある。 異種コンピューティング環境では、デバイスが異なる計算能力を持つ場合、デバイス間の均等なパーティションが分散SGDにおけるストラグラー問題を引き起こす可能性がある。 サブモジュール最適化を含む新しいデータ分割アルゴリズムに基づく異種環境における分散SGDのためのフレームワークを開発する。 我々のデータパーティショニングアルゴリズムは、労働者間のリソースの不均一性を明示的に説明し、類似したクラスレベルの特徴分布を実現し、クラスバランスを維持する。 このアルゴリズムに基づいて,既存のSOTA分散トレーニングアルゴリズムを最大32%高速化する分散SGDフレームワークを開発した。

関連論文リスト

• Stability and Generalization for Distributed SGDA [70.97400503482353]
  分散SGDAのための安定性に基づく一般化分析フレームワークを提案する。 我々は, 安定性の誤差, 一般化ギャップ, 人口リスクの包括的分析を行う。 理論的結果から,一般化ギャップと最適化誤差のトレードオフが明らかになった。
  論文  参考訳（メタデータ） (2024-11-14T11:16:32Z)
• Improving Distribution Alignment with Diversity-based Sampling [0.0]
  ドメインシフトは機械学習においてユビキタスであり、実際のデータにデプロイすると、モデルのパフォーマンスが大幅に低下する可能性がある。 本稿では,各サンプル小バッチの多様性を誘導することにより,これらの推定値を改善することを提案する。 同時にデータのバランスを保ち、勾配のばらつきを低減し、それによってモデルの一般化能力を高める。
  論文  参考訳（メタデータ） (2024-10-05T17:26:03Z)
• Clustering-Based Validation Splits for Model Selection under Domain Shift [0.0]
  トレーニングバリデーション分割は2つのセット間の分布ミスマッチを最大化するべきである。 線形プログラミングを利用してスプリットのサイズ、ラベル、および(任意に)グループ分布を制御する制約付きクラスタリングアルゴリズムを示す。
  論文  参考訳（メタデータ） (2024-05-29T19:21:17Z)
• Distribution Shift Inversion for Out-of-Distribution Prediction [57.22301285120695]
  本稿では,OoD(Out-of-Distribution)予測のためのポータブル分布シフト変換アルゴリズムを提案する。 提案手法は,OoDアルゴリズムを広範囲に接続した場合に,一般的な性能向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-06-14T08:00:49Z)
• Latent Distribution Adjusting for Face Anti-Spoofing [29.204168516602568]
  フェース・アンチ・スプーフィング(FAS)モデルの堅牢性を改善するため,LDA(Latent Distribution Adjusting)と呼ばれる統一フレームワークを提案する。 クラス内コンパクト性とクラス間不一致性を高めるため,プロトタイプ学習のための分布制約を提供するためのマージンベース損失を提案する。 筆者らのフレームワークは,1)クラス内コンパクトおよびクラス間分離性の両方を最終表現空間とし,2)複数の標準FASベンチマークにおける最先端手法より優れる。
  論文  参考訳（メタデータ） (2023-05-16T08:43:14Z)
• Heterogeneous Federated Learning on a Graph [9.135254524746847]
  ローカルデータを共有せずに複数の分散デバイスでアルゴリズムをトレーニングするフェデレーション学習は、機械学習の実践でますます人気を集めている。 本研究では,データ分散と通信の不均一性を伴うフェデレート学習繰り返しにおけるパラメータ推定と,ローカル機器の計算能力の制限について考察する。 我々のアルゴリズムは収束率$O(T-1log T)$で$G$のエッジに沿ってパラメータのみを送信する。
  論文  参考訳（メタデータ） (2022-09-19T03:18:10Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)
• OoD-Bench: Benchmarking and Understanding Out-of-Distribution Generalization Datasets and Algorithms [28.37021464780398]
  1つの分布シフトにおいて経験的リスク最小化よりも優れた既存のOoDアルゴリズムは、通常、他の分布シフトに制限があることを示す。 新しいベンチマークは、将来のOoD一般化研究で活用できる強力な基盤として機能する可能性がある。
  論文  参考訳（メタデータ） (2021-06-07T15:34:36Z)
• Partition-Guided GANs [63.980473635585234]
  私たちは、スペースを小さな領域に分割し、それぞれがよりシンプルな分布を持ち、各パーティションごとに異なるジェネレータを訓練するパーティションーを設計します。 これはラベルを必要とせずに教師なしの方法で実行される。 各種標準ベンチマーク実験の結果,提案手法が近年の手法を上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-04-02T00:06:53Z)
• Implicit Distributional Reinforcement Learning [61.166030238490634]
  2つのディープジェネレータネットワーク(DGN)上に構築された暗黙の分布型アクター批判(IDAC) 半単純アクター (SIA) は、フレキシブルなポリシー分布を利用する。 我々は,代表的OpenAI Gym環境において,IDACが最先端のアルゴリズムより優れていることを観察する。
  論文  参考訳（メタデータ） (2020-07-13T02:52:18Z)
• Brainstorming Generative Adversarial Networks (BGANs): Towards Multi-Agent Generative Models with Distributed Private Datasets [70.62568022925971]
  生成的敵ネットワーク(GAN)は、データ空間を適切に表現する大規模なデータセットによって供給されなければならない。 多くのシナリオでは、利用可能なデータセットは制限され、複数のエージェントに分散する可能性がある。 本稿では,BGAN(Breepstorming GAN)アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-02-02T02:58:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。