論文の概要: Distributed Deep Learning in Open Collaborations

• arxiv url: http://arxiv.org/abs/2106.10207v1
• Date: Fri, 18 Jun 2021 16:23:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-21 13:57:20.069748
• Title: Distributed Deep Learning in Open Collaborations
• Title（参考訳）: オープンコラボレーションにおける分散ディープラーニング
• Authors: Michael Diskin, Alexey Bukhtiyarov, Max Ryabinin, Lucile Saulnier, Quentin Lhoest, Anton Sinitsin, Dmitry Popov, Dmitry Pyrkin, Maxim Kashirin, Alexander Borzunov, Albert Villanova del Moral, Denis Mazur, Ilia Kobelev, Yacine Jernite, Thomas Wolf, Gennady Pekhimenko
• Abstract要約: 協調学習に特化して設計された新しいアルゴリズムフレームワークを提案する。 現実的な条件下でのSwaVとALBERTの事前学習に対するアプローチの有効性を実証し,コストのごく一部で従来の設定に匹敵する性能を実現する。
• 参考スコア（独自算出の注目度）: 49.240611132653456
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern deep learning applications require increasingly more compute to train state-of-the-art models. To address this demand, large corporations and institutions use dedicated High-Performance Computing clusters, whose construction and maintenance are both environmentally costly and well beyond the budget of most organizations. As a result, some research directions become the exclusive domain of a few large industrial and even fewer academic actors. To alleviate this disparity, smaller groups may pool their computational resources and run collaborative experiments that benefit all participants. This paradigm, known as grid- or volunteer computing, has seen successful applications in numerous scientific areas. However, using this approach for machine learning is difficult due to high latency, asymmetric bandwidth, and several challenges unique to volunteer computing. In this work, we carefully analyze these constraints and propose a novel algorithmic framework designed specifically for collaborative training. We demonstrate the effectiveness of our approach for SwAV and ALBERT pretraining in realistic conditions and achieve performance comparable to traditional setups at a fraction of the cost. Finally, we provide a detailed report of successful collaborative language model pretraining with 40 participants.
• Abstract（参考訳）: 最新のディープラーニングアプリケーションは、最先端モデルのトレーニングにますます多くの計算を必要とする。 この要求に対処するため、大企業や機関は専用の高性能コンピューティングクラスタを使用しており、その構築とメンテナンスは環境的にコストがかかり、ほとんどの組織の予算をはるかに超えている。 その結果、いくつかの研究の方向性は、いくつかの大きな産業的かつより少ない学術的俳優の排他的領域となる。 この格差を軽減するために、小さなグループは計算資源をプールし、すべての参加者に利益をもたらす共同実験を行うことができる。 このパラダイムはグリッドコンピューティングやボランティアコンピューティングと呼ばれ、多くの科学分野において成功している。 しかし、このアプローチを機械学習に使用するのは、高いレイテンシ、非対称帯域幅、ボランティアコンピューティング特有のいくつかの課題のために難しい。 本研究では,これらの制約を慎重に分析し,協調学習に特化した新しいアルゴリズムフレームワークを提案する。 現実的な条件下でのSwaVとALBERTの事前学習に対するアプローチの有効性を実証し,コストのごく一部で従来の設定に匹敵する性能を実現する。 最後に,40名による事前学習を成功させた言語モデルの詳細な報告を行った。

関連論文リスト

• TeamLoRA: Boosting Low-Rank Adaptation with Expert Collaboration and Competition [61.91764883512776]
  我々は,専門家のためのコラボレーション・コンペティション・モジュールからなる,革新的なPEFT手法であるTeamLoRAを紹介する。 そうすることで、TeamLoRAは専門家を"チーム"として内部のコラボレーションや競争に結び付け、マルチタスク学習のためのより高速で正確なPEFTパラダイムを可能にします。
  論文  参考訳（メタデータ） (2024-08-19T09:58:53Z)
• CollaFuse: Collaborative Diffusion Models [5.331052581441263]
  分割学習に触発された分散協調拡散モデルに対する新しいアプローチを提案する。 本手法は,画像合成におけるクライアントの計算負担を軽減するとともに,拡散モデルの協調学習を容易にする。
  論文  参考訳（メタデータ） (2024-06-20T15:54:21Z)
• CollaFuse: Navigating Limited Resources and Privacy in Collaborative Generative AI [5.331052581441263]
  CollaFuseはスプリットラーニングにインスパイアされた新しいフレームワークだ。 共有サーバのトレーニングと推論を可能にし、クライアントの計算負担を軽減する。 エッジコンピューティングソリューションの設計、ヘルスケア研究、自動運転など、さまざまなアプリケーション分野に影響を与える可能性がある。
  論文  参考訳（メタデータ） (2024-02-29T12:36:10Z)
• Scalable Federated Unlearning via Isolated and Coded Sharding [76.12847512410767]
  フェデレートされたアンラーニングは、クライアントレベルのデータエフェクトを削除するための有望なパラダイムとして登場した。 本稿では,分散シャーディングと符号化コンピューティングに基づく,スケーラブルなフェデレーション・アンラーニング・フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-29T08:41:45Z)
• An effective and efficient green federated learning method for one-layer neural networks [0.22499166814992436]
  フェデレート・ラーニング(Federated Learning, FL)は、機械学習における最も活発な研究分野の一つである。 本研究では,1回のトレーニングラウンドでグローバルな協調モデルを生成可能な,隠れた層を持たないニューラルネットワークに基づくFL法を提案する。 本手法は同一および非同一の分散シナリオの両方において等しく機能することを示す。
  論文  参考訳（メタデータ） (2023-12-22T08:52:08Z)
• Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
  フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。 このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。 本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T08:41:19Z)
• Partitioning Distributed Compute Jobs with Reinforcement Learning and Graph Neural Networks [58.720142291102135]
  大規模な機械学習モデルは、幅広い分野に進歩をもたらしている。 これらのモデルの多くは、単一のマシンでトレーニングするには大きすぎるため、複数のデバイスに分散する必要がある。 スループットやブロッキングレートといったユーザクリティカルな指標に対して,並列化の最大化が準最適であることを示す。
  論文  参考訳（メタデータ） (2023-01-31T17:41:07Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• Hybrid Learning for Orchestrating Deep Learning Inference in Multi-user Edge-cloud Networks [3.7630209350186807]
  ディープラーニングのためのコラボレーション型のエッジクラウドコンピューティングは、さまざまなパフォーマンスと効率を提供する。 ディープラーニング推論オーケストレーション戦略では、最適なオーケストレーションポリシを見つけるために強化学習を採用している。 我々は、最先端のRLベースの推論オーケストレーションを実験的に比較することで、HL戦略の有効性を実証する。
  論文  参考訳（メタデータ） (2022-02-21T21:50:50Z)
• Privacy-Preserving Serverless Edge Learning with Decentralized Small Data [13.254530176359182]
  最近、分散トレーニング戦略は、ディープモデルをトレーニングする際のデータプライバシを保証するための有望なアプローチになっている。 本稿では、従来のサーバレスプラットフォームをサーバレスエッジ学習アーキテクチャで拡張し、ネットワークの観点から効率的な分散トレーニングフレームワークを提供する。
  論文  参考訳（メタデータ） (2021-11-29T21:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。