論文の概要: Implementation of Big AI Models for Wireless Networks with Collaborative Edge Computing
- arxiv url: http://arxiv.org/abs/2404.17766v1
- Date: Sat, 27 Apr 2024 03:09:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-30 19:20:56.697335
- Title: Implementation of Big AI Models for Wireless Networks with Collaborative Edge Computing
- Title（参考訳）: 協調エッジコンピューティングを用いた無線ネットワークのためのビッグデータモデルの実装
- Authors: Liekang Zeng, Shengyuan Ye, Xu Chen, Yang Yang,
- Abstract要約: 大きなAIモデルのトレーニングは、エッジデバイスに重大な課題をもたらす。
従来のアプローチでは、トレーニングデータを集約して、集中的なトレーニングのためにリモートクラウドに送信するのが一般的だった。
我々は、信頼されたエッジデバイス群をリソースプールとしてオーケストレーションする新しいトレーニングメカニズムである協調エッジトレーニングを提案する。
- 参考スコア（独自算出の注目度）: 10.524645516703643
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Big Artificial Intelligence (AI) models have emerged as a crucial element in various intelligent applications at the edge, such as voice assistants in smart homes and autonomous robotics in smart factories. Training big AI models, e.g., for personalized fine-tuning and continual model refinement, poses significant challenges to edge devices due to the inherent conflict between limited computing resources and intensive workload associated with training. Despite the constraints of on-device training, traditional approaches usually resort to aggregating training data and sending it to a remote cloud for centralized training. Nevertheless, this approach is neither sustainable, which strains long-range backhaul transmission and energy-consuming datacenters, nor safely private, which shares users' raw data with remote infrastructures. To address these challenges, we alternatively observe that prevalent edge environments usually contain a diverse collection of trusted edge devices with untapped idle resources, which can be leveraged for edge training acceleration. Motivated by this, in this article, we propose collaborative edge training, a novel training mechanism that orchestrates a group of trusted edge devices as a resource pool for expedited, sustainable big AI model training at the edge. As an initial step, we present a comprehensive framework for building collaborative edge training systems and analyze in-depth its merits and sustainable scheduling choices following its workflow. To further investigate the impact of its parallelism design, we empirically study a case of four typical parallelisms from the perspective of energy demand with realistic testbeds. Finally, we discuss open challenges for sustainable collaborative edge training to point to future directions of edge-centric big AI model training.
- Abstract（参考訳）: スマートホームの音声アシスタントやスマートファクトリの自律ロボットなど、エッジにおけるさまざまなインテリジェントアプリケーションにおいて、ビッグデータ(AI)モデルが重要な要素として浮上している。
例えば、パーソナライズされた微調整と連続的なモデル改善のための大規模なAIモデルのトレーニングは、限られたコンピューティングリソースとトレーニングに関連する集中的なワークロードとの間の固有の衝突のために、エッジデバイスに重大な課題を生じさせる。
デバイス上でのトレーニングの制約にもかかわらず、従来のアプローチでは、トレーニングデータを集約して、集中的なトレーニングのためにリモートクラウドに送信するのが一般的である。
それにもかかわらず、このアプローチは持続可能ではなく、長距離バックホール送信やエネルギー消費のデータセンターを歪ませたり、ユーザの生データをリモートインフラストラクチャと共有する安全なプライベート化を行なわない。
これらの課題に対処するために、一般的なエッジ環境は、通常、未使用のアイドルリソースを持つ信頼されたエッジデバイスの多様なコレクションを含み、エッジトレーニングアクセラレーションに利用することができることを観察する。
これは、信頼されたエッジデバイスのグループをリソースプールとしてオーケストレーションし、エッジにおける迅速かつ持続可能なビッグデータモデルトレーニングを実現するための、新しいトレーニングメカニズムである。
最初のステップとして、協調的なエッジトレーニングシステムを構築するための包括的なフレームワークを提案し、そのメリットを詳細に分析し、ワークフローに従って持続可能なスケジューリング選択を行う。
並列設計の影響を更に調査するため,現実的なテストベッドを用いたエネルギー需要の観点から,4つの典型的な並列設計の事例を実証的に検討した。
最後に、エッジ中心のビッグデータモデルトレーニングの今後の方向性を示すために、持続可能な協調エッジトレーニングのオープンな課題について議論する。
関連論文リスト
- Aquatic Navigation: A Challenging Benchmark for Deep Reinforcement Learning [53.3760591018817]
ゲームエンジンとDeep Reinforcement Learningの統合の最近の進歩を利用して,水上ナビゲーションのための新しいベンチマーク環境を提案する。
具体的には、最も広く受け入れられているアルゴリズムの一つであるPPOに着目し、先進的なトレーニング手法を提案する。
実験により,これらの成分をうまく組み合わせることで,有望な結果が得られることが示された。
論文 参考訳（メタデータ） (2024-05-30T23:20:23Z) - Privacy-Enhanced Training-as-a-Service for On-Device Intelligence: Concept, Architectural Scheme, and Open Problems [13.538116586216718]
オンデバイスインテリジェンス(ODI)は、AIアプリケーションをエンドデバイス上で動作させ、リモートサーバに頼ることなく、リアルタイムでカスタマイズされたAI推論を提供する。
デバイス上でのデプロイメントのトレーニングモデルは、ユーザのデータの分散化とプライバシに敏感な性質のため、課題に直面します。
エンドデバイス向けにプライバシフレンドリでカスタマイズされたAIモデルトレーニングを提供する新しいサービスコンピューティングパラダイムである、プライバシ強化トレーニング・アズ・ア・サービス(PT)を提案する。
論文 参考訳（メタデータ） (2024-04-16T03:18:27Z) - Uncertainty Estimation in Multi-Agent Distributed Learning for AI-Enabled Edge Devices [0.0]
エッジIoTデバイスはFPGAとAIアクセラレータの導入によってパラダイムシフトを経験している。
この進歩は、エッジAIの実用性を強調し、その計算能力を大幅に増幅した。
本研究では,AI対応エッジデバイスによる分散データ処理を実現する手法について検討し,協調学習能力を向上する。
論文 参考訳（メタデータ） (2024-03-14T07:40:32Z) - Green Edge AI: A Contemporary Survey [46.11332733210337]
AIの変換力は、ディープニューラルネットワーク(DNN)の利用から導かれる。
ディープラーニング(DL)は、エンドユーザーデバイス(EUD)に近い無線エッジネットワークに移行しつつある。
その可能性にもかかわらず、エッジAIは大きな課題に直面している。主な原因は、無線エッジネットワークのリソース制限と、DLのリソース集約的な性質の分離である。
論文 参考訳（メタデータ） (2023-12-01T04:04:37Z) - Leveraging The Edge-to-Cloud Continuum for Scalable Machine Learning on
Decentralized Data [3.448338949969246]
この研究は、Edge AI/MLが広く採用されるのを防ぐ重要な課題を強調しようとしている。
新しいデザインは、トレーニングされたモデルをコモディティとして扱うモデル中心として想定されている。
この設計は、大規模に効率的な協調学習のための分散フレームワークを提供するものと期待されている。
論文 参考訳（メタデータ） (2023-06-19T10:59:41Z) - Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。
このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。
本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文 参考訳（メタデータ） (2023-02-24T08:41:19Z) - Edge-Cloud Polarization and Collaboration: A Comprehensive Survey [61.05059817550049]
クラウドとエッジ両方のAIの体系的なレビューを行います。
私たちはクラウドとエッジモデリングの協調学習メカニズムを最初にセットアップしました。
我々は現在進行中の最先端AIトピックの可能性と実践経験について議論する。
論文 参考訳（メタデータ） (2021-11-11T05:58:23Z) - Computational Intelligence and Deep Learning for Next-Generation
Edge-Enabled Industrial IoT [51.68933585002123]
エッジ対応産業用IoTネットワークにおける計算知能とディープラーニング(DL)の展開方法について検討する。
本稿では,新しいマルチエグジットベースフェデレーションエッジ学習(ME-FEEL)フレームワークを提案する。
特に、提案されたME-FEELは、非常に限られたリソースを持つ産業用IoTネットワークにおいて、最大32.7%の精度を達成することができる。
論文 参考訳（メタデータ） (2021-10-28T08:14:57Z) - Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G
Networks [84.2155885234293]
まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。
このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
論文 参考訳（メタデータ） (2020-02-22T14:38:11Z) - Communication-Efficient Edge AI: Algorithms and Systems [39.28788394839187]
エッジデバイス(IoTデバイスなど)の大規模展開は、前例のない規模のデータを生成する。
このような巨大なデータはすべて、処理のためにエンドデバイスからクラウドに送信することはできない。
AIモデルの推論とトレーニングプロセスをエッジノードにプッシュすることで、エッジAIは有望な代替手段として浮上した。
論文 参考訳（メタデータ） (2020-02-22T09:27:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。