論文の概要: Hubs and Spokes Learning: Efficient and Scalable Collaborative Machine Learning

• arxiv url: http://arxiv.org/abs/2504.20988v1
• Date: Tue, 29 Apr 2025 17:56:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:55.030919
• Title: Hubs and Spokes Learning: Efficient and Scalable Collaborative Machine Learning
• Title（参考訳）: Hubs and Spokes Learning: 効率的でスケーラブルなコラボレーション型機械学習
• Authors: Atul Sharma, Kavindu Herath, Saurabh Bagchi, Chaoyue Liu, Somali Chaterji,
• Abstract要約: Hubs and Spokes Learning (HSL)は、協調機械学習のための新しいパラダイムである。 HSLは、フェデレートラーニング(FL)に固有の単一障害点を回避する2層通信構造を採用している。
• 参考スコア（独自算出の注目度）: 7.653480375148848
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce the Hubs and Spokes Learning (HSL) framework, a novel paradigm for collaborative machine learning that combines the strengths of Federated Learning (FL) and Decentralized Learning (P2PL). HSL employs a two-tier communication structure that avoids the single point of failure inherent in FL and outperforms the state-of-the-art P2PL framework, Epidemic Learning Local (ELL). At equal communication budgets (total edges), HSL achieves higher performance than ELL, while at significantly lower communication budgets, it can match ELL's performance. For instance, with only 400 edges, HSL reaches the same test accuracy that ELL achieves with 1000 edges for 100 peers (spokes) on CIFAR-10, demonstrating its suitability for resource-constrained systems. HSL also achieves stronger consensus among nodes after mixing, resulting in improved performance with fewer training rounds. We substantiate these claims through rigorous theoretical analyses and extensive experimental results, showcasing HSL's practicality for large-scale collaborative learning.
• Abstract（参考訳）: 本稿では,フェデレートラーニング(FL)と分散ラーニング(P2PL)の長所を組み合わせた,協調学習のための新しいパラダイムであるHSLフレームワークを紹介する。 HSLは、FL固有の単一障害点を回避し、最先端のP2PLフレームワークであるEpidemic Learning Local(ELL)を上回る2層通信構造を採用している。 対等な通信予算(トータルエッジ)では、HSLはELLよりも高い性能を達成するが、通信予算は極めて低いため、ELLのパフォーマンスに匹敵する。 例えば、400のエッジしか持たないHSLは、ELLがCIFAR-10上で100のピア(スポークス)に対して1000のエッジで達成したのと同じテスト精度に達し、リソースに制約のあるシステムに適合することを示した。 HSLはまた、混合後のノード間の強いコンセンサスを実現し、トレーニングラウンドを減らしてパフォーマンスを向上する。 我々はこれらの主張を厳密な理論的分析と広範な実験結果を通じて裏付け、大規模協調学習におけるHSLの実践性を実証した。

関連論文リスト

• Mixtraining: A Better Trade-Off Between Compute and Performance [19.187160313686782]
  MixTrainingは、複数のSSLおよびSLエポックを統合混合トレーニングフェーズ内でインターリーブする、新しいフレームワークである。 SSLとSLのシナジーを強化し、精度を改善し、共有ステップを統合して計算オーバーヘッドを削減する。 実験により、MixTrainingは従来のパイプラインに比べて優れた計算性能のトレードオフを提供することが示された。
  論文  参考訳（メタデータ） (2025-02-26T19:25:27Z)
• LW-FedSSL: Resource-efficient Layer-wise Federated Self-supervised Learning [14.937324556028548]
  本稿では、エッジデバイスがモデルの一部を段階的にトレーニングできるLayer-Wise Federated Self-Supervised Learningアプローチを提案する。 LW-FedSSLは、モデルの一部だけが任意のタイミングでトレーニングに有効であるため、計算要求を大幅に削減する。 最大でメモリ使用量の3.34ドルの削減、GFLOPの4.20ドルの削減、通信コストの5.07ドルの削減を実現している。
  論文  参考訳（メタデータ） (2024-01-22T01:57:31Z)
• Joint Prediction and Denoising for Large-scale Multilingual Self-supervised Learning [69.77973092264338]
  我々は、より強力な技術がより効率的な事前トレーニングをもたらし、SSLをより多くの研究グループに開放することを示します。 我々は,WavLMのジョイント予測を拡張し,136言語にまたがる40k時間のデータをデノベーションするWavLabLMを提案する。 このモデルではXLS-Rの性能を94%維持でき、データの3%しか保持できない。
  論文  参考訳（メタデータ） (2023-09-26T23:55:57Z)
• Targeted Attention for Generalized- and Zero-Shot Learning [0.0]
  Zero-Shot Learning (ZSL)タスクは、ラベル付きデータなしで概念を学習しようとする。 一般ゼロショット学習(GZSL)では,CUB200データセット上でのハーモニック平均R-1が66.14%である。
  論文  参考訳（メタデータ） (2022-11-17T03:55:18Z)
• Decoupled Adversarial Contrastive Learning for Self-supervised Adversarial Robustness [69.39073806630583]
  頑健な表現学習のための対人訓練(AT)と教師なし表現学習のための自己教師型学習(SSL)は2つの活発な研究分野である。 Decoupled Adversarial Contrastive Learning (DeACL) と呼ばれる2段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-22T06:30:44Z)
• CoSSL: Co-Learning of Representation and Classifier for Imbalanced Semi-Supervised Learning [98.89092930354273]
  本稿では,非バランスなSSLのための非結合表現学習と分類器学習を用いた新しいコラーニングフレームワーク(CoSSL)を提案する。 データ不均衡に対処するため、分類器学習のためのTFE(Tail-class Feature Enhancement)を考案した。 実験により,本手法は様々な分散分布において,他の手法よりも優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-12-08T20:13:13Z)
• Boosting Discriminative Visual Representation Learning with Scenario-Agnostic Mixup [54.09898347820941]
  自己教師付き学習(SSL)と教師付き学習(SL)の両方のシナリオに対して,textbfScenario-textbfAgnostic textbfMixup (SAMix)を提案する。 具体的には、2つの混合クラス間の局所的な滑らかさを最適化するために、混合生成の目的関数を仮説化し、検証する。 非自明な混合サンプルを効果的に提供し、転送可能な能力を向上させるラベルフリーな生成サブネットワークを設計する。
  論文  参考訳（メタデータ） (2021-11-30T14:49:59Z)
• Decoupled Contrastive Learning [23.25775900388382]
  我々は,広く使用されているクロスエントロピー(InfoNCE)損失における顕著な負陽性結合(NPC)効果を同定した。 NPC効果を適切に処理することにより、非結合型コントラスト学習(DCL)目標関数に到達する。 われわれのアプローチは、200時間以内のバッチサイズ256を使用して6.9%のImageNet top-1精度を実現し、ベースラインのSimCLRを5.1%上回った。
  論文  参考訳（メタデータ） (2021-10-13T16:38:43Z)
• End-to-end Generative Zero-shot Learning via Few-shot Learning [76.9964261884635]
  ゼロショット学習(ZSL)の最先端アプローチでは、生成ネットをトレーニングし、提供されたメタデータに条件付きサンプルを合成する。 本稿では,このような手法をバックボーンとして使用し,合成した出力をFew-Shot Learningアルゴリズムに供給するエンドツーエンド生成ZSLフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-08T17:35:37Z)
• FewJoint: A Few-shot Learning Benchmark for Joint Language Understanding [55.38905499274026]
  機械学習は、機械学習における重要なステップの1つだ。 FewJointは、NLP用のFew-Shot Learningベンチマークである。
  論文  参考訳（メタデータ） (2020-09-17T08:17:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。