論文の概要: Privacy-Preserving Serverless Edge Learning with Decentralized Small Data

• arxiv url: http://arxiv.org/abs/2111.14955v2
• Date: Wed, 1 Dec 2021 02:35:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-02 13:04:13.363086
• Title: Privacy-Preserving Serverless Edge Learning with Decentralized Small Data
• Title（参考訳）: 分散小データによるプライバシ保存型サーバレスエッジラーニング
• Authors: Shih-Chun Lin and Chia-Hung Lin
• Abstract要約: 最近、分散トレーニング戦略は、ディープモデルをトレーニングする際のデータプライバシを保証するための有望なアプローチになっている。 本稿では、従来のサーバレスプラットフォームをサーバレスエッジ学習アーキテクチャで拡張し、ネットワークの観点から効率的な分散トレーニングフレームワークを提供する。
• 参考スコア（独自算出の注目度）: 13.254530176359182
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the last decade, data-driven algorithms outperformed traditional optimization-based algorithms in many research areas, such as computer vision, natural language processing, etc. However, extensive data usages bring a new challenge or even threat to deep learning algorithms, i.e., privacy-preserving. Distributed training strategies have recently become a promising approach to ensure data privacy when training deep models. This paper extends conventional serverless platforms with serverless edge learning architectures and provides an efficient distributed training framework from the networking perspective. This framework dynamically orchestrates available resources among heterogeneous physical units to efficiently fulfill deep learning objectives. The design jointly considers learning task requests and underlying infrastructure heterogeneity, including last-mile transmissions, computation abilities of mobile devices, edge and cloud computing centers, and devices battery status. Furthermore, to significantly reduce distributed training overheads, small-scale data training is proposed by integrating with a general, simple data classifier. This low-load enhancement can seamlessly work with various distributed deep models to improve communications and computation efficiencies during the training phase. Finally, open challenges and future research directions encourage the research community to develop efficient distributed deep learning techniques.
• Abstract（参考訳）: 過去10年間、データ駆動アルゴリズムは、コンピュータビジョンや自然言語処理など、多くの研究分野において、従来の最適化ベースのアルゴリズムを上回っていた。 しかし、広範なデータ利用は、ディープラーニングアルゴリズム、すなわちプライバシ保存に新たな課題や脅威をもたらす。 分散トレーニング戦略は、ディープモデルをトレーニングする際のデータプライバシを保証するための有望なアプローチになっている。 本稿では、従来のサーバレスプラットフォームをサーバレスエッジ学習アーキテクチャで拡張し、ネットワークの観点から効率的な分散トレーニングフレームワークを提供する。 このフレームワークは、異種物理ユニット間の利用可能なリソースを動的に編成し、ディープラーニングの目標を効率的に達成する。 この設計では、ラストマイル送信、モバイルデバイスの計算能力、エッジとクラウドコンピューティングセンター、デバイスバッテリステータスなど、学習タスク要求と基盤となるインフラストラクチャの不均一性を共同で検討している。 さらに、分散トレーニングのオーバーヘッドを大幅に削減するために、汎用的な単純なデータ分類器を統合することで、小規模データトレーニングを提案する。 この低負荷強化は、様々な分散ディープモデルとシームレスに働き、トレーニングフェーズにおける通信と計算効率を改善する。 最後に、オープンチャレンジと今後の研究方向性は、研究コミュニティに効率的な分散ディープラーニング技術の開発を促す。

関連論文リスト

• Research on Key Technologies for Cross-Cloud Federated Training of Large Language Models [7.762524368844918]
  クロスクラウドフェデレーショントレーニングは、単一のクラウドプラットフォームのリソースボトルネックに対処するための、新たなアプローチを提供する。 本研究では、データパーティショニングと分散、通信最適化、モデル集約アルゴリズム、異種クラウドプラットフォームとの互換性など、クロスクラウドフェデレーショントレーニングの重要技術について分析する。
  論文  参考訳（メタデータ） (2024-10-24T19:57:17Z)
• Communication-Efficient Large-Scale Distributed Deep Learning: A Comprehensive Survey [43.57122822150023]
  本稿では,大規模分散ディープラーニングにおける効率的なコミュニケーションの実現を目的とした,アルゴリズムと技術に関する文献調査を行う。 まず,大規模分散学習の文脈において,モデル同期と通信データ圧縮のための効率的なアルゴリズムを導入する。 次に、分散トレーニングおよび推論におけるリソース割り当てとタスクスケジューリングに関する効率的な戦略を導入する。
  論文  参考訳（メタデータ） (2024-04-09T08:35:04Z)
• An Empirical Study of Efficiency and Privacy of Federated Learning Algorithms [2.994794762377111]
  今日の世界では、IoTネットワークの急速な拡大とスマートデバイスの普及により、相当量の異種データが生成される。 このデータを効果的に扱うためには、プライバシーと効率の両立を保証するために高度なデータ処理技術が必要である。 フェデレーション学習は、モデルをローカルにトレーニングし、データをプライバシを保存するためにサーバに集約する分散学習手法として登場した。
  論文  参考訳（メタデータ） (2023-12-24T00:13:41Z)
• A Novel Neural Network-Based Federated Learning System for Imbalanced and Non-IID Data [2.9642661320713555]
  ほとんどの機械学習アルゴリズムは、様々なソースから収集される大量のデータに大きく依存している。 この問題に対処するため、研究者らはフェデレーション学習を導入し、クライアントデータのプライバシーを確保することによって予測モデルを学習した。 本研究では,ニューラルネットワークに基づくフェデレーション学習システムを提案する。
  論文  参考訳（メタデータ） (2023-11-16T17:14:07Z)
• Computation-efficient Deep Learning for Computer Vision: A Survey [121.84121397440337]
  ディープラーニングモデルは、さまざまな視覚的知覚タスクにおいて、人間レベルのパフォーマンスに到達または超えた。 ディープラーニングモデルは通常、重要な計算資源を必要とし、現実のシナリオでは非現実的な電力消費、遅延、または二酸化炭素排出量につながる。 新しい研究の焦点は計算効率のよいディープラーニングであり、推論時の計算コストを最小限に抑えつつ、良好な性能を達成することを目指している。
  論文  参考訳（メタデータ） (2023-08-27T03:55:28Z)
• EdgeConvEns: Convolutional Ensemble Learning for Edge Intelligence [0.0]
  Deep Edge Intelligenceは、計算能力に制限のあるエッジネットワークに、計算に高価なトレーニングを必要とするディープラーニングモデルをデプロイすることを目的としている。 本研究では、エッジ上の不均一な弱モデルを訓練し、エッジ上のデータが不均一に分散されている場所でアンサンブルを学習する、EdgeConvEnsという畳み込み型アンサンブル学習手法を提案する。
  論文  参考訳（メタデータ） (2023-07-25T20:07:32Z)
• On Efficient Training of Large-Scale Deep Learning Models: A Literature Review [90.87691246153612]
  ディープラーニングの分野は特にコンピュータビジョン(CV)、自然言語処理(NLP)、音声などにおいて大きな進歩を遂げている。 大量のデータに基づいてトレーニングされた大規模なモデルを使用することは、実用的なアプリケーションにとって大きな可能性を秘めている。 計算能力の需要が増大する中で、ディープラーニングモデルの訓練の加速技術に関する包括的な要約が期待されている。
  論文  参考訳（メタデータ） (2023-04-07T11:13:23Z)
• Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
  フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。 このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。 本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T08:41:19Z)
• Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。 現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。 本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-09T11:27:14Z)
• Toward Multiple Federated Learning Services Resource Sharing in Mobile Edge Networks [88.15736037284408]
  本稿では,マルチアクセスエッジコンピューティングサーバにおいて,複数のフェデレーション付き学習サービスの新たなモデルについて検討する。 共同資源最適化とハイパーラーニング率制御の問題,すなわちMS-FEDLを提案する。 シミュレーションの結果,提案アルゴリズムの収束性能を実証した。
  論文  参考訳（メタデータ） (2020-11-25T01:29:41Z)
• Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
  まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。 このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-02-22T14:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。