論文の概要: Research on Key Technologies for Cross-Cloud Federated Training of Large Language Models

• arxiv url: http://arxiv.org/abs/2410.19130v1
• Date: Thu, 24 Oct 2024 19:57:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-28 13:38:02.091877
• Title: Research on Key Technologies for Cross-Cloud Federated Training of Large Language Models
• Title（参考訳）: 大規模言語モデルのクロスクラウド・フェデレーション・トレーニングのための鍵技術に関する研究
• Authors: Haowei Yang, Mingxiu Sui, Shaobo Liu, Xinyue Qian, Zhaoyang Zhang, Bingying Liu,
• Abstract要約: クロスクラウドフェデレーショントレーニングは、単一のクラウドプラットフォームのリソースボトルネックに対処するための、新たなアプローチを提供する。 本研究では、データパーティショニングと分散、通信最適化、モデル集約アルゴリズム、異種クラウドプラットフォームとの互換性など、クロスクラウドフェデレーショントレーニングの重要技術について分析する。
• 参考スコア（独自算出の注目度）: 7.762524368844918
• License:
• Abstract: With the rapid development of natural language processing technology, large language models have demonstrated exceptional performance in various application scenarios. However, training these models requires significant computational resources and data processing capabilities. Cross-cloud federated training offers a new approach to addressing the resource bottlenecks of a single cloud platform, allowing the computational resources of multiple clouds to collaboratively complete the training tasks of large models. This study analyzes the key technologies of cross-cloud federated training, including data partitioning and distribution, communication optimization, model aggregation algorithms, and the compatibility of heterogeneous cloud platforms. Additionally, the study examines data security and privacy protection strategies in cross-cloud training, particularly the application of data encryption and differential privacy techniques. Through experimental validation, the proposed technical framework demonstrates enhanced training efficiency, ensured data security, and reduced training costs, highlighting the broad application prospects of cross-cloud federated training.
• Abstract（参考訳）: 自然言語処理技術の急速な発展に伴い、大規模言語モデルは様々なアプリケーションシナリオにおいて例外的な性能を示した。 しかし、これらのモデルをトレーニングするには、かなりの計算資源とデータ処理能力が必要である。 クロスクラウドフェデレーショントレーニングは、単一のクラウドプラットフォームのリソースボトルネックに対処する新しいアプローチを提供し、複数のクラウドの計算リソースが大きなモデルのトレーニングタスクを協調的に完了できるようにする。 本研究では、データパーティショニングと分散、通信最適化、モデル集約アルゴリズム、異種クラウドプラットフォームとの互換性など、クロスクラウドフェデレーショントレーニングの重要技術について分析する。 さらに,クロスクラウドトレーニングにおけるデータセキュリティとプライバシ保護戦略,特にデータ暗号化と差分プライバシー技術の適用について検討した。 実験的な検証を通じて、提案する技術フレームワークは、トレーニング効率の向上、データセキュリティの確保、トレーニングコストの削減を実証し、クロスクラウド・フェデレーション・トレーニングの幅広い応用可能性を強調している。

関連論文リスト

• Communication-Efficient Large-Scale Distributed Deep Learning: A Comprehensive Survey [43.57122822150023]
  本稿では,大規模分散ディープラーニングにおける効率的なコミュニケーションの実現を目的とした,アルゴリズムと技術に関する文献調査を行う。 まず,大規模分散学習の文脈において,モデル同期と通信データ圧縮のための効率的なアルゴリズムを導入する。 次に、分散トレーニングおよび推論におけるリソース割り当てとタスクスケジューリングに関する効率的な戦略を導入する。
  論文  参考訳（メタデータ） (2024-04-09T08:35:04Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Scalable, Distributed AI Frameworks: Leveraging Cloud Computing for Enhanced Deep Learning Performance and Efficiency [0.0]
  近年、人工知能(AI)とクラウドコンピューティングの統合は、AIアプリケーションの計算要求の増加に対処するための有望な道として現れている。 本稿では,クラウドコンピューティングを活用したスケーラブルな分散AIフレームワークの総合的研究を行い,ディープラーニングの性能向上と効率化について述べる。
  論文  参考訳（メタデータ） (2023-04-26T15:38:00Z)
• On Efficient Training of Large-Scale Deep Learning Models: A Literature Review [90.87691246153612]
  ディープラーニングの分野は特にコンピュータビジョン(CV)、自然言語処理(NLP)、音声などにおいて大きな進歩を遂げている。 大量のデータに基づいてトレーニングされた大規模なモデルを使用することは、実用的なアプリケーションにとって大きな可能性を秘めている。 計算能力の需要が増大する中で、ディープラーニングモデルの訓練の加速技術に関する包括的な要約が期待されている。
  論文  参考訳（メタデータ） (2023-04-07T11:13:23Z)
• Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
  フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。 このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。 本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T08:41:19Z)
• Outsourcing Training without Uploading Data via Efficient Collaborative Open-Source Sampling [49.87637449243698]
  従来のアウトソーシングでは、デバイスデータをクラウドサーバにアップロードする必要がある。 我々は、公開および異種ソースから収集された膨大なデータセットである、広く利用可能なオープンソースデータを活用することを提案する。 我々は,オープンソースデータからクラウドトレーニングのためのプロキシデータセットを構築するための,ECOS(Efficient Collaborative Open-source Sampling)と呼ばれる新しい戦略を開発した。
  論文  参考訳（メタデータ） (2022-10-23T00:12:18Z)
• Nebula-I: A General Framework for Collaboratively Training Deep Learning Models on Low-Bandwidth Cloud Clusters [39.85470606966918]
  遠隔ヘテロジニアスクラスタ上でディープラーニングモデルを協調訓練するための一般的なフレームワークであるNebula-Iを導入する。 Nebula-IはPaddlePaddleディープラーニングフレームワークで実装されている。 実験により,提案フレームワークは,良好なNLP性能を維持しつつ,トレーニング効率を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2022-05-19T11:10:14Z)
• Privacy-Preserving Serverless Edge Learning with Decentralized Small Data [13.254530176359182]
  最近、分散トレーニング戦略は、ディープモデルをトレーニングする際のデータプライバシを保証するための有望なアプローチになっている。 本稿では、従来のサーバレスプラットフォームをサーバレスエッジ学習アーキテクチャで拡張し、ネットワークの観点から効率的な分散トレーニングフレームワークを提供する。
  論文  参考訳（メタデータ） (2021-11-29T21:04:49Z)
• A Privacy-Preserving Distributed Architecture for Deep-Learning-as-a-Service [68.84245063902908]
  本稿では,ディープラーニング・アズ・ア・サービスのための分散アーキテクチャを提案する。 クラウドベースのマシンとディープラーニングサービスを提供しながら、ユーザの機密データを保存できる。
  論文  参考訳（メタデータ） (2020-03-30T15:12:03Z)
• Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
  まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。 このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-02-22T14:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。