論文の概要: Real-Time Edge Classification: Optimal Offloading under Token Bucket
Constraints
- arxiv url: http://arxiv.org/abs/2010.13737v2
- Date: Thu, 5 Nov 2020 22:48:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2022-10-02 20:24:42.680521
- Title: Real-Time Edge Classification: Optimal Offloading under Token Bucket
Constraints
- Title(参考訳): リアルタイムエッジ分類:トークン制約下での最適オフロード
- Authors: Ayan Chakrabarti, Roch Gu\'erin, Chenyang Lu, Jiangnan Liu
- Abstract要約: 厳密なレイテンシ制約の下でオフロード決定を行うためのMarkov Decision Processベースのフレームワークを導入します。
また、同一アクセススイッチに接続された複数のデバイスがバースト割り当てを共有できるようにする手法を提案する。
我々は,標準イメージネット画像分類ベンチマークにおいて,このフレームワークを用いて得られたポリシーを評価し,分析する。
- 参考スコア(独自算出の注目度): 13.583977689847433
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To deploy machine learning-based algorithms for real-time applications with
strict latency constraints, we consider an edge-computing setting where a
subset of inputs are offloaded to the edge for processing by an accurate but
resource-intensive model, and the rest are processed only by a less-accurate
model on the device itself. Both models have computational costs that match
available compute resources, and process inputs with low-latency. But
offloading incurs network delays, and to manage these delays to meet
application deadlines, we use a token bucket to constrain the average rate and
burst length of transmissions from the device. We introduce a Markov Decision
Process-based framework to make offload decisions under these constraints,
based on the local model's confidence and the token bucket state, with the goal
of minimizing a specified error measure for the application. Beyond isolated
decisions for individual devices, we also propose approaches to allow multiple
devices connected to the same access switch to share their bursting allocation.
We evaluate and analyze the policies derived using our framework on the
standard ImageNet image classification benchmark.
- Abstract(参考訳): 厳密なレイテンシ制約のあるリアルタイムアプリケーションに機械学習ベースのアルゴリズムをデプロイするために、入力のサブセットをエッジにオフロードして、正確だがリソース集約的なモデルで処理し、残りはデバイス自体の精度の低いモデルでのみ処理するエッジ計算設定を検討する。
どちらのモデルも利用可能な計算資源に匹敵する計算コストを持ち、低レイテンシで入力を処理する。
しかし、ネットワーク遅延をオフロードし、アプリケーションの期限に間に合うようにこれらの遅延を管理するために、トークンバケットを使用してデバイスからの送信の平均速度とバースト長を制限します。
我々は,局所モデルの信頼度とトークンバケット状態に基づいて,これらの制約の下でオフロード決定を行うためのマルコフ決定プロセスベースのフレームワークを導入する。
個別のデバイスに対する独立した決定以外にも、同一アクセススイッチに接続された複数のデバイスがバースト割り当てを共有するためのアプローチも提案する。
我々は,標準イメージネット画像分類ベンチマークにおいて,このフレームワークを用いて得られたポリシーを評価し,分析する。
関連論文リスト
- TempoNet: Slack-Quantized Transformer-Guided Reinforcement Scheduler for Adaptive Deadline-Centric Real-Time Dispatchs [8.818252253980985]
TempoNetは、置換不変トランスフォーマーと深いQ近似を組み合わせた強化学習スケジューラである。
ブロックワイズのトップk選択と局所性に敏感なチャンキングを備えた遅延対応スパースアテンションスタックは、順序のないタスクセットに対するグローバルな推論を可能にする。
論文 参考訳(メタデータ) (2026-02-20T09:56:23Z) - Accuracy-Delay Trade-Off in LLM Offloading via Token-Level Uncertainty [9.403735095944747]
大規模言語モデル(LLM)は、インテリジェントなモバイルサービスには大きな可能性を秘めているが、リソース制約のあるデバイスには計算集約的である。
モバイルエッジコンピューティング(MEC)は、そのようなデバイスがエッジサーバ(ES)に推論タスクをオフロードすることを可能にするが、通信とサーバサイドのキューによってレイテンシが生じる。
本稿では,ローカルで推論を行うか,ESにオフロードするかを動的に決定する不確実性を考慮したオフロードフレームワークを提案する。
論文 参考訳(メタデータ) (2026-02-08T13:03:03Z) - Reliable LLM-Based Edge-Cloud-Expert Cascades for Telecom Knowledge Systems [54.916243942641444]
大規模言語モデル(LLM)は、通信などの分野において、自動化の鍵となる存在として浮上している。
本研究では,問合せパイプラインによる意思決定を支援する,エッジクラウドに精通したLLMベースの知識システムについて検討する。
論文 参考訳(メタデータ) (2025-12-23T03:10:09Z) - Video Object Recognition in Mobile Edge Networks: Local Tracking or Edge Detection? [57.000348519630286]
モバイルエッジコンピューティングの最近の進歩により、高精度ニューラルネットワークを備えたエッジサーバに集約的なオブジェクト検出をオフロードすることが可能になった。
このハイブリッドアプローチは有望なソリューションを提供するが、新たな課題として、エッジ検出とローカルトラッキングのタイミングを決定する。
局所的なトラッキングとエッジ検出を適応的に選択する深層強化学習に基づくアルゴリズムである単一デバイス環境での LTED-Ada を提案する。
論文 参考訳(メタデータ) (2025-11-25T04:54:51Z) - CSGO: Generalized Optimization for Cold Start in Wireless Collaborative Edge LLM Systems [62.24576366776727]
本稿では,全体の推論遅延を最小限に抑えるために,遅延を考慮したスケジューリングフレームワークを提案する。
提案手法は,ベースライン戦略と比較して,コールドスタート遅延を著しく低減することを示す。
論文 参考訳(メタデータ) (2025-08-15T07:49:22Z) - The Larger the Merrier? Efficient Large AI Model Inference in Wireless Edge Networks [56.37880529653111]
大規模計算モデル(LAIM)サービスの需要は、従来のクラウドベースの推論から、低レイテンシでプライバシ保護のアプリケーションのためのエッジベースの推論へのパラダイムシフトを推進している。
本稿では,事前学習したLAIMをデバイス上のサブモデルとサーバ上のサブモデルに分割して配置するLAIM推論方式について検討する。
論文 参考訳(メタデータ) (2025-05-14T08:18:55Z) - Resource Management for Low-latency Cooperative Fine-tuning of Foundation Models at the Network Edge [35.40849522296486]
大規模ファウンデーションモデル(FoMos)は、人間のような知性を実現することができる。
FoMosは微調整技術により、特定の下流タスクに適応する必要がある。
デバイスエッジ協調微調整パラダイムにおける多デバイス連携を提唱する。
論文 参考訳(メタデータ) (2024-07-13T12:47:14Z) - Fractional Deep Reinforcement Learning for Age-Minimal Mobile Edge
Computing [11.403989519949173]
本研究は,AOI( Age-of-Information)によって測定された計算集約更新の時系列に焦点をあてる。
我々は,AoIのタスク更新とオフロードポリシを分断形式で共同で最適化する方法について検討する。
実験の結果,提案アルゴリズムは,いくつかの非フラクタルベンチマークと比較して平均AoIを57.6%削減できることがわかった。
論文 参考訳(メタデータ) (2023-12-16T11:13:40Z) - Task-Oriented Over-the-Air Computation for Multi-Device Edge AI [57.50247872182593]
エッジAIをサポートするための6Gネットワークは、AIタスクの効率的かつ効率的な実行に焦点を当てたタスク指向のテクニックを備えている。
本稿では,マルチデバイススプリット推論システムにおけるタスク指向オーバー・ザ・エア計算(AirComp)方式を提案する。
論文 参考訳(メタデータ) (2022-11-02T16:35:14Z) - Adaptive Edge Offloading for Image Classification Under Rate Limit [18.029207345709413]
本稿では、DQN(Deep Q-Network)に基づくポリシーを開発し、その有効性と組込みデバイスへの展開の可能性の両方を実証する。
ImageNet画像分類ベンチマークから生成された合成トレースを用いて、局所的なテストベッド上で画像分類を行うことにより、評価を行う。
論文 参考訳(メタデータ) (2022-07-31T18:06:33Z) - Asynchronous Parallel Incremental Block-Coordinate Descent for
Decentralized Machine Learning [55.198301429316125]
機械学習(ML)は、巨大なIoT(Internet of Things)ベースのインテリジェントでユビキタスなコンピューティングのビッグデータ駆動モデリングと分析のための重要なテクニックである。
急成長するアプリケーションやデータ量にとって、分散学習は有望な新興パラダイムである。
本稿では,多くのユーザデバイスに分散した分散システム上でMLモデルをトレーニングする問題について検討する。
論文 参考訳(メタデータ) (2022-02-07T15:04:15Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳(メタデータ) (2022-01-09T09:31:50Z) - Computational Intelligence and Deep Learning for Next-Generation
Edge-Enabled Industrial IoT [51.68933585002123]
エッジ対応産業用IoTネットワークにおける計算知能とディープラーニング(DL)の展開方法について検討する。
本稿では,新しいマルチエグジットベースフェデレーションエッジ学習(ME-FEEL)フレームワークを提案する。
特に、提案されたME-FEELは、非常に限られたリソースを持つ産業用IoTネットワークにおいて、最大32.7%の精度を達成することができる。
論文 参考訳(メタデータ) (2021-10-28T08:14:57Z) - Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned
Edge Learning Over Broadband Channels [69.18343801164741]
パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。
本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
論文 参考訳(メタデータ) (2020-10-08T15:27:50Z) - Multi-scale Interaction for Real-time LiDAR Data Segmentation on an
Embedded Platform [62.91011959772665]
LiDARデータのリアルタイムセマンティックセグメンテーションは、自動運転車にとって不可欠である。
ポイントクラウド上で直接動作する現在のアプローチでは、複雑な空間集約操作を使用する。
本稿では,マルチスケールインタラクションネットワーク(MINet)と呼ばれるプロジェクションベースの手法を提案する。
論文 参考訳(メタデータ) (2020-08-20T19:06:11Z) - Dynamic Compression Ratio Selection for Edge Inference Systems with Hard
Deadlines [9.585931043664363]
本稿では,ハード期限付きエッジ推論システムの動的圧縮比選択手法を提案する。
誤り推論により少ない圧縮データを再送信する情報拡張を提案し,精度向上を図る。
無線伝送エラーを考慮し、パケット損失による性能劣化を低減する再送信方式を更に設計する。
論文 参考訳(メタデータ) (2020-05-25T17:11:53Z) - Knowledge Distillation for Mobile Edge Computation Offloading [14.417463848473494]
本稿では,Deep Imitation Learning(DIL)とKD(Knowledge Distillation)に基づくエッジ計算のオフロードフレームワークを提案する。
我々のモデルはすべての政策の中で最短の推論遅延を持っている。
論文 参考訳(メタデータ) (2020-04-09T04:58:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。