論文の概要: SafeTail: Efficient Tail Latency Optimization in Edge Service Scheduling via Computational Redundancy Management

• arxiv url: http://arxiv.org/abs/2408.17171v1
• Date: Fri, 30 Aug 2024 10:17:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-02 15:38:25.350109
• Title: SafeTail: Efficient Tail Latency Optimization in Edge Service Scheduling via Computational Redundancy Management
• Title（参考訳）: SafeTail: 計算冗長性管理によるエッジサービススケジューリングにおける効率的な遅延最適化
• Authors: Jyoti Shokhanda, Utkarsh Pal, Aman Kumar, Soumi Chattopadhyay, Arani Bhattacharya,
• Abstract要約: 拡張現実のような新興アプリケーションは、ユーザデバイスに高い信頼性を持つ低レイテンシコンピューティングサービスを必要とする。 私たちはSafeTailを紹介した。これは中央値と末尾の応答時間の両方の目標を満たすフレームワークで、テールレイテンシは90%以上のレイテンシで定義されています。
• 参考スコア（独自算出の注目度）: 2.707215971599082
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Optimizing tail latency while efficiently managing computational resources is crucial for delivering high-performance, latency-sensitive services in edge computing. Emerging applications, such as augmented reality, require low-latency computing services with high reliability on user devices, which often have limited computational capabilities. Consequently, these devices depend on nearby edge servers for processing. However, inherent uncertainties in network and computation latencies stemming from variability in wireless networks and fluctuating server loads make service delivery on time challenging. Existing approaches often focus on optimizing median latency but fall short of addressing the specific challenges of tail latency in edge environments, particularly under uncertain network and computational conditions. Although some methods do address tail latency, they typically rely on fixed or excessive redundancy and lack adaptability to dynamic network conditions, often being designed for cloud environments rather than the unique demands of edge computing. In this paper, we introduce SafeTail, a framework that meets both median and tail response time targets, with tail latency defined as latency beyond the 90^th percentile threshold. SafeTail addresses this challenge by selectively replicating services across multiple edge servers to meet target latencies. SafeTail employs a reward-based deep learning framework to learn optimal placement strategies, balancing the need to achieve target latencies with minimizing additional resource usage. Through trace-driven simulations, SafeTail demonstrated near-optimal performance and outperformed most baseline strategies across three diverse services.
• Abstract（参考訳）: エッジコンピューティングで高性能でレイテンシに敏感なサービスを提供するためには,計算資源を効率的に管理しながらテールレイテンシを最適化することが重要である。 拡張現実のような新興アプリケーションは、しばしば計算能力に制限があるユーザデバイスに高い信頼性を持つ低レイテンシコンピューティングサービスを必要とする。 その結果、これらのデバイスは処理のために近くのエッジサーバに依存している。 しかし、無線ネットワークのばらつきやサーバ負荷の変動に起因するネットワークや計算待ち時間に固有の不確実性は、時間の経過とともにサービスのデリバリを困難にしている。 既存のアプローチでは、中央値レイテンシの最適化に重点を置いていることが多いが、特に不確実なネットワークや計算条件下では、エッジ環境におけるテールレイテンシの特定の課題に対処できない。 一部のメソッドはテールレイテンシに対処するが、通常は固定あるいは過剰な冗長性に依存し、動的ネットワーク条件への適応性に欠けており、エッジコンピューティングのユニークな要求ではなく、クラウド環境向けに設計されることが多い。 本稿では,中央値と末尾値の両方の応答時間目標を満たすフレームワークであるSafeTailについて紹介する。 SafeTailは、ターゲットのレイテンシを満たすために、複数のエッジサーバにサービスを選択的に複製することで、この問題に対処する。 SafeTailは報酬ベースのディープラーニングフレームワークを使用して、最適な配置戦略を学習し、新たなリソース使用量を最小限に抑えて、目標のレイテンシを達成する必要性のバランスを取る。 トレース駆動のシミュレーションを通じてSafeTailは、ほぼ最適なパフォーマンスを示し、3つの多様なサービスで、ほとんどのベースライン戦略を上回った。

関連論文リスト

• Latency-aware Unified Dynamic Networks for Efficient Image Recognition [72.8951331472913]
  LAUDNetは動的ネットワークの理論的および実用的な効率ギャップを橋渡しするフレームワークである。 3つの主要な動的パラダイム - 適応型計算、動的層スキップ、動的チャネルスキップ - を統合している。 これにより、V100,3090やTX2 GPUのようなプラットフォーム上で、ResNetのようなモデルの遅延を50%以上削減できる。
  論文  参考訳（メタデータ） (2023-08-30T10:57:41Z)
• Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
  Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。 本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。 提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-15T22:04:49Z)
• Dynamic Scheduling for Federated Edge Learning with Streaming Data [56.91063444859008]
  我々は,長期的エネルギー制約のある分散エッジデバイスにおいて,トレーニングデータを時間とともにランダムに生成するフェデレーションエッジ学習(FEEL)システムを検討する。 限られた通信リソースとレイテンシ要件のため、各イテレーションでローカルトレーニングプロセスに参加するのはデバイスのサブセットのみである。
  論文  参考訳（メタデータ） (2023-05-02T07:41:16Z)
• Scheduling Inference Workloads on Distributed Edge Clusters with Reinforcement Learning [11.007816552466952]
  本稿では,エッジネットワークにおける予測クエリを短時間でスケジューリングする問題に焦点をあてる。 シミュレーションにより,大規模ISPの現実的なネットワーク設定とワークロードにおけるいくつかのポリシーを解析する。 我々は、強化学習に基づくスケジューリングアルゴリズムASETを設計し、システム条件に応じてその決定を適応させることができる。
  論文  参考訳（メタデータ） (2023-01-31T13:23:34Z)
• An Intelligent Deterministic Scheduling Method for Ultra-Low Latency Communication in Edge Enabled Industrial Internet of Things [19.277349546331557]
  時間知覚ネットワーク (TSN) は, 決定論的スケジューリングによる低遅延通信を実現するために最近研究されている。 非衝突理論に基づく決定論的スケジューリング (NDS) 法を提案し, 時間に敏感な流れに対する超低遅延通信を実現する。 実験の結果,NDS/DQSは決定論的超低レイテンシサービスを十分にサポートし,帯域幅の有効利用を保証できることがわかった。
  論文  参考訳（メタデータ） (2022-07-17T16:52:51Z)
• CAROL: Confidence-Aware Resilience Model for Edge Federations [13.864161788250856]
  本稿では、メモリ効率の良い生成ニューラルネットワークを用いて、将来状態のQuality of Service(QoS)を予測し、各予測に対する信頼度スコアを推定する信頼性認識型レジリエンスモデルCAROLを提案する。 CAROLは、エネルギー消費、期限違反率、レジリエンスオーバーヘッドを最大16、17、36パーセント削減することで、最先端のレジリエンススキームより優れています。
  論文  参考訳（メタデータ） (2022-03-14T14:37:31Z)
• Variational Autoencoders for Reliability Optimization in Multi-Access Edge Computing Networks [36.54164679645639]
  マルチレイテンシエッジコンピューティング(MEC)は、サービス信頼性とレイテンシの厳しい新しいアプリケーションをサポートするために、将来の無線ネットワークの不可欠な部分と見なされている。 超信頼性と低レイテンシのMECを保証することは、無線リンクの不確実性、限られた通信とコンピューティングリソース、そして動的ネットワークトラフィックのために非常に難しい。 URLL MECの導入は、無線およびエッジコンピューティングシステムにおけるエンドツーエンド(E2E)のレイテンシと信頼性の統計を考慮に入れている。
  論文  参考訳（メタデータ） (2022-01-25T01:20:37Z)
• Multi-Exit Semantic Segmentation Networks [78.44441236864057]
  本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。 パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。 接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
  論文  参考訳（メタデータ） (2021-06-07T11:37:03Z)
• Better than the Best: Gradient-based Improper Reinforcement Learning for Network Scheduling [60.48359567964899]
  パケット遅延を最小限に抑えるため,制約付き待ち行列ネットワークにおけるスケジューリングの問題を考える。 我々は、利用可能な原子ポリシーよりも優れたスケジューラを生成するポリシー勾配に基づく強化学習アルゴリズムを使用する。
  論文  参考訳（メタデータ） (2021-05-01T10:18:34Z)
• EdgeBERT: Sentence-Level Energy Optimizations for Latency-Aware Multi-Task NLP Inference [82.1584439276834]
  BERTのようなトランスフォーマーベースの言語モデルでは、自然言語処理(NLP)タスクの精度が大幅に向上する。 We present EdgeBERT, a in-deepth algorithm- hardware co-design for latency-aware energy optimization for multi-task NLP。
  論文  参考訳（メタデータ） (2020-11-28T19:21:47Z)
• Dynamic Compression Ratio Selection for Edge Inference Systems with Hard Deadlines [9.585931043664363]
  本稿では,ハード期限付きエッジ推論システムの動的圧縮比選択手法を提案する。 誤り推論により少ない圧縮データを再送信する情報拡張を提案し,精度向上を図る。 無線伝送エラーを考慮し、パケット損失による性能劣化を低減する再送信方式を更に設計する。
  論文  参考訳（メタデータ） (2020-05-25T17:11:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。