論文の概要: Distributed Collaborative Inference System in Next-Generation Networks and Communication

• arxiv url: http://arxiv.org/abs/2412.12102v1
• Date: Sat, 16 Nov 2024 10:48:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-22 09:56:19.251956
• Title: Distributed Collaborative Inference System in Next-Generation Networks and Communication
• Title（参考訳）: 次世代ネットワークにおける分散協調型推論システムと通信
• Authors: Chuan Zhang, Xixi Zheng, Xiaolong Tao, Chenfei Hu, Weiting Zhang, Liehuang Zhu,
• Abstract要約: 生成人工知能(GAI)の高度な計算要求は、限られたリソースを持つデバイスに対する課題を提示する。 次世代ネットワークと通信のための多段階協調推論システムを提案する。 本システムでは,推測精度を犠牲にすることなく,最大17%の推論時間を短縮できる。
• 参考スコア（独自算出の注目度）: 12.372334028925618
• License:
• Abstract: With the rapid advancement of artificial intelligence, generative artificial intelligence (GAI) has taken a leading role in transforming data processing methods. However, the high computational demands of GAI present challenges for devices with limited resources. As we move towards the sixth generation of mobile networks (6G), the higher data rates and improved energy efficiency of 6G create a need for more efficient data processing in GAI. Traditional GAI, however, shows its limitations in meeting these demands. To address these challenges, we introduce a multi-level collaborative inference system designed for next-generation networks and communication. Our proposed system features a deployment strategy that assigns models of varying sizes to devices at different network layers. Then, we design a task offloading strategy to optimise both efficiency and latency. Furthermore, a modified early exit mechanism is implemented to enhance the inference process for single models. Experimental results demonstrate that our system effectively reduces inference latency while maintaining high-quality output. Specifically, compared to existing work, our system can reduce inference time by up to 17% without sacrificing the inference accuracy.
• Abstract（参考訳）: 人工知能の急速な進歩により、生成人工知能(GAI)はデータ処理手法の転換において主要な役割を担っている。 しかし、GAIの高度な計算要求は、限られたリソースを持つデバイスに対する課題を提示する。 第6世代モバイルネットワーク(6G)に向けて進むにつれ、データレートの向上と6Gのエネルギー効率の向上により、GAIにおけるより効率的なデータ処理の必要性が高まっている。 しかし、従来のGAIはこれらの要求を満たす際の限界を示している。 これらの課題に対処するために,次世代ネットワークと通信用に設計された多層協調推論システムを提案する。 提案システムでは,異なるネットワーク層のデバイスに対して,さまざまなサイズのモデルを割り当てるデプロイメント戦略を特徴としている。 そして、効率とレイテンシの両方を最適化するタスクオフロード戦略を設計する。 さらに、単一モデルの推論プロセスを強化するために、修正された早期出口機構を実装した。 実験結果から,提案システムは高品質な出力を維持しつつ,推論遅延を効果的に低減することを示した。 具体的には,既存の作業と比較して,推定精度を犠牲にすることなく,推定時間を最大17%削減することができる。

関連論文リスト

• AI-in-the-Loop Sensing and Communication Joint Design for Edge Intelligence [65.29835430845893]
  本稿では,AI-in-the-loopジョイントセンシングと通信によるエッジインテリジェンス向上のためのフレームワークを提案する。 私たちの研究の重要な貢献は、バリデーション損失とシステムのチューニング可能なパラメータとの間に明確な関係を確立することです。 提案手法は, 通信エネルギー消費を最大77%削減し, 試料数で測定した検知コストを最大52%削減する。
  論文  参考訳（メタデータ） (2025-02-14T14:56:58Z)
• Communication-Efficient Federated Learning by Quantized Variance Reduction for Heterogeneous Wireless Edge Networks [55.467288506826755]
  フェデレーテッド・ラーニング(FL)は、無線エッジネットワークにおけるローカル・プライバシ・アウェア・コラボレーティブ・モデルトレーニングの有効なソリューションとして認識されている。 既存の通信効率の高いFLアルゴリズムは、デバイス間の大きなばらつきを低減できない。 本稿では,高度分散還元方式に依存する新しい通信効率FLアルゴリズムであるFedQVRを提案する。
  論文  参考訳（メタデータ） (2025-01-20T04:26:21Z)
• Intelligent Task Offloading: Advanced MEC Task Offloading and Resource Management in 5G Networks [6.725133919174076]
  5G技術は、高速で信頼性が高く、低レイテンシな通信、モバイルブロードバンドの革新、大規模なIoT接続をサポートする業界を強化します。 User Equipment上のアプリケーションの複雑さが増すにつれて、リソース集約的なタスクを堅牢なサーバにオフロードすることは、レイテンシとスピードを改善する上で不可欠である。 本稿では,各UE間の通信資源を効率的に配分する手法を提案する。 5G技術の進化によって引き起こされる課題に対して、堅牢で効率的な解決策を提供する。
  論文  参考訳（メタデータ） (2025-01-08T16:19:44Z)
• USEFUSE: Utile Stride for Enhanced Performance in Fused Layer Architecture of Deep Neural Networks [0.6435156676256051]
  本研究では,低レイテンシ左から右へのビットシリアル演算を用いた畳み込みのためのSum-of-Products (SOP)ユニットを提案する。 有効メカニズムは、ReLU層の後、非効率な畳み込みを検出し、スキップし、消費電力を最小化する。 ひとつはミッションクリティカルなアプリケーションの応答時間を最小限にすること、もうひとつはリソースに制約のあるデバイスに同じレイテンシでフォーカスすることである。
  論文  参考訳（メタデータ） (2024-12-18T11:04:58Z)
• AI Flow at the Network Edge [58.31090055138711]
  AI Flowは、デバイス、エッジノード、クラウドサーバ間で利用可能な異種リソースを共同で活用することで、推論プロセスを合理化するフレームワークである。 この記事では、AI Flowのモチベーション、課題、原則を特定するためのポジションペーパーとして機能する。
  論文  参考訳（メタデータ） (2024-11-19T12:51:17Z)
• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• Predictive Handover Strategy in 6G and Beyond: A Deep and Transfer Learning Approach [11.44410301488549]
  本稿では,将来的なサービスセル予測のためのディープラーニングに基づくアルゴリズムを提案する。 我々のフレームワークはO-RAN仕様に準拠しており、Near-Real-Time RAN Intelligent Controllerにデプロイできます。
  論文  参考訳（メタデータ） (2024-04-11T20:30:36Z)
• Optimization Design for Federated Learning in Heterogeneous 6G Networks [27.273745760946962]
  フェデレーテッド・ラーニング(FL)は、6GネットワークでユビキタスAIを実現するための重要な実現手段として期待されている。 6Gネットワークにおける有効かつ効率的なFL実装には、いくつかのシステムおよび統計的不均一性の課題がある。 本稿では,これらの課題に効果的に対処できる最適化手法について検討する。
  論文  参考訳（メタデータ） (2023-03-15T02:18:21Z)
• Multi-Exit Semantic Segmentation Networks [78.44441236864057]
  本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。 パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。 接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
  論文  参考訳（メタデータ） (2021-06-07T11:37:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。