論文の概要: Distributed Collaborative Inference System in Next-Generation Networks and Communication

• arxiv url: http://arxiv.org/abs/2412.12102v1
• Date: Sat, 16 Nov 2024 10:48:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-22 09:56:19.251956
• Title: Distributed Collaborative Inference System in Next-Generation Networks and Communication
• Title（参考訳）: 次世代ネットワークにおける分散協調型推論システムと通信
• Authors: Chuan Zhang, Xixi Zheng, Xiaolong Tao, Chenfei Hu, Weiting Zhang, Liehuang Zhu,
• Abstract要約: 生成人工知能(GAI)の高度な計算要求は、限られたリソースを持つデバイスに対する課題を提示する。 次世代ネットワークと通信のための多段階協調推論システムを提案する。 本システムでは,推測精度を犠牲にすることなく,最大17%の推論時間を短縮できる。
• 参考スコア（独自算出の注目度）: 12.372334028925618
• License:
• Abstract: With the rapid advancement of artificial intelligence, generative artificial intelligence (GAI) has taken a leading role in transforming data processing methods. However, the high computational demands of GAI present challenges for devices with limited resources. As we move towards the sixth generation of mobile networks (6G), the higher data rates and improved energy efficiency of 6G create a need for more efficient data processing in GAI. Traditional GAI, however, shows its limitations in meeting these demands. To address these challenges, we introduce a multi-level collaborative inference system designed for next-generation networks and communication. Our proposed system features a deployment strategy that assigns models of varying sizes to devices at different network layers. Then, we design a task offloading strategy to optimise both efficiency and latency. Furthermore, a modified early exit mechanism is implemented to enhance the inference process for single models. Experimental results demonstrate that our system effectively reduces inference latency while maintaining high-quality output. Specifically, compared to existing work, our system can reduce inference time by up to 17% without sacrificing the inference accuracy.
• Abstract（参考訳）: 人工知能の急速な進歩により、生成人工知能(GAI)はデータ処理手法の転換において主要な役割を担っている。 しかし、GAIの高度な計算要求は、限られたリソースを持つデバイスに対する課題を提示する。 第6世代モバイルネットワーク(6G)に向けて進むにつれ、データレートの向上と6Gのエネルギー効率の向上により、GAIにおけるより効率的なデータ処理の必要性が高まっている。 しかし、従来のGAIはこれらの要求を満たす際の限界を示している。 これらの課題に対処するために,次世代ネットワークと通信用に設計された多層協調推論システムを提案する。 提案システムでは,異なるネットワーク層のデバイスに対して,さまざまなサイズのモデルを割り当てるデプロイメント戦略を特徴としている。 そして、効率とレイテンシの両方を最適化するタスクオフロード戦略を設計する。 さらに、単一モデルの推論プロセスを強化するために、修正された早期出口機構を実装した。 実験結果から,提案システムは高品質な出力を維持しつつ,推論遅延を効果的に低減することを示した。 具体的には,既存の作業と比較して,推定精度を犠牲にすることなく,推定時間を最大17%削減することができる。

関連論文リスト

• AI Flow at the Network Edge [58.31090055138711]
  AI Flowは、デバイス、エッジノード、クラウドサーバ間で利用可能な異種リソースを共同で活用することで、推論プロセスを合理化するフレームワークである。 この記事では、AI Flowのモチベーション、課題、原則を特定するためのポジションペーパーとして機能する。
  論文  参考訳（メタデータ） (2024-11-19T12:51:17Z)
• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• DRL Optimization Trajectory Generation via Wireless Network Intent-Guided Diffusion Models for Optimizing Resource Allocation [58.62766376631344]
  本稿では、無線通信ネットワークの異なる状態変化に対応するために、カスタマイズされた無線ネットワークインテント(WNI-G)モデルを提案する。 大規模シミュレーションにより、動的通信システムにおけるスペクトル効率と従来のDRLモデルの変動の安定性が向上する。
  論文  参考訳（メタデータ） (2024-10-18T14:04:38Z)
• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• Predictive Handover Strategy in 6G and Beyond: A Deep and Transfer Learning Approach [11.44410301488549]
  本稿では,将来的なサービスセル予測のためのディープラーニングに基づくアルゴリズムを提案する。 我々のフレームワークはO-RAN仕様に準拠しており、Near-Real-Time RAN Intelligent Controllerにデプロイできます。
  論文  参考訳（メタデータ） (2024-04-11T20:30:36Z)
• Offloading and Quality Control for AI Generated Content Services in 6G Mobile Edge Computing Networks [18.723955271182007]
  本稿では, 逆拡散段階における拡散モデルのオフロード決定, 計算時間, 拡散ステップに対する共同最適化アルゴリズムを提案する。 実験結果から,提案アルゴリズムはベースラインよりも優れた継手最適化性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-12-11T08:36:27Z)
• Multiagent Reinforcement Learning with an Attention Mechanism for Improving Energy Efficiency in LoRa Networks [52.96907334080273]
  ネットワーク規模が大きくなるにつれて、パケット衝突によるLoRaネットワークのエネルギー効率は急激に低下する。 マルチエージェント強化学習(MALoRa)に基づく伝送パラメータ割り当てアルゴリズムを提案する。 シミュレーションの結果,MALoRaはベースラインアルゴリズムと比較してシステムEEを著しく改善することがわかった。
  論文  参考訳（メタデータ） (2023-09-16T11:37:23Z)
• Optimization Design for Federated Learning in Heterogeneous 6G Networks [27.273745760946962]
  フェデレーテッド・ラーニング(FL)は、6GネットワークでユビキタスAIを実現するための重要な実現手段として期待されている。 6Gネットワークにおける有効かつ効率的なFL実装には、いくつかのシステムおよび統計的不均一性の課題がある。 本稿では,これらの課題に効果的に対処できる最適化手法について検討する。
  論文  参考訳（メタデータ） (2023-03-15T02:18:21Z)
• Multi-Exit Semantic Segmentation Networks [78.44441236864057]
  本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。 パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。 接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
  論文  参考訳（メタデータ） (2021-06-07T11:37:03Z)
• Leveraging AI and Intelligent Reflecting Surface for Energy-Efficient Communication in 6G IoT [14.027983498089084]
  人工知能(AI)とインテリジェント反射面(IRS)による6G IoTのための省エネルギー通信システムを提案する。 まず、IRS対応データ伝送やAIによるネットワークリソース管理メカニズムなど、スマートで効率的な通信アーキテクチャを設計します。 第3に,提案された最適化モデルを解決するために,深層強化学習(DRL)によるネットワークリソース制御と割り当ての手法を提案する。
  論文  参考訳（メタデータ） (2020-12-29T11:56:28Z)
• HAPI: Hardware-Aware Progressive Inference [18.214367595727037]
  畳み込みニューラルネットワーク(CNN)は最近、AIタスクの多様性における最先端技術となっている。 その人気にもかかわらず、CNN推論は依然として高い計算コストがかかる。 本研究は,ハイパフォーマンス・アーリーエグジット・ネットワークを創出するための新しい手法であるHAPIを提案する。
  論文  参考訳（メタデータ） (2020-08-10T09:55:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。