論文の概要: Cloud Is Closer Than It Appears: Revisiting the Tradeoffs of Distributed Real-Time Inference
- arxiv url: http://arxiv.org/abs/2605.00005v1
- Date: Tue, 17 Feb 2026 20:44:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-11 06:56:26.393716
- Title: Cloud Is Closer Than It Appears: Revisiting the Tradeoffs of Distributed Real-Time Inference
- Title(参考訳): クラウドは現れるよりも近い - 分散リアルタイム推論のトレードオフを再考する
- Authors: Pragya Sharma, Hang Qiu, Mani Srivastava,
- Abstract要約: サイバー物理システム(CPS)のディープニューラルネットワーク(DNN)は知覚の忠実度を高めるが、実行プラットフォームにかなりの計算的要求を課す。
従来の分散CPSアーキテクチャは、ネットワークのばらつきや競合によるリモートプラットフォームへの遅延を避けるためにデバイス上の推論を好んでいる。
本研究では、クラウドベースの推論が本質的に遅延に敏感な制御タスクには適さないという仮定を再考する。
- 参考スコア(独自算出の注目度): 3.9986079633630975
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The increasing deployment of deep neural networks (DNNs) in cyber-physical systems (CPS) enhances perception fidelity, but imposes substantial computational demands on execution platforms, posing challenges to real-time control deadlines. Traditional distributed CPS architectures typically favor on-device inference to avoid network variability and contention-induced delays on remote platforms. However, this design choice places significant energy and computational demands on the local hardware. In this work, we revisit the assumption that cloud-based inference is intrinsically unsuitable for latency-sensitive control tasks. We demonstrate that, when provisioned with high-throughput compute resources, cloud platforms can effectively amortize network and queueing delays, enabling them to match or surpass on-device performance for real-time decision-making. Specifically, we develop a formal analytical model that characterizes distributed inference latency as a function of the sensing frequency, platform throughput, network delay, and task-specific safety constraints. We instantiate this model in the context of emergency braking for autonomous driving and validate it through extensive simulations using real-time vehicular dynamics. Our empirical results identify concrete conditions under which cloud-based inference adheres to safety margins more reliably than its on-device counterpart. These findings challenge prevailing design strategies and suggest that the cloud is not merely a feasible option, but often the preferred inference location for distributed CPS architectures. In this light, the cloud is not as distant as traditionally perceived; in fact, it is closer than it appears.
- Abstract(参考訳): サイバー物理システム(CPS)におけるディープニューラルネットワーク(DNN)の展開の増加は、知覚の忠実性を高めるが、実行プラットフォームにかなりの計算的要求を課し、リアルタイム制御の期限に挑戦する。
従来の分散CPSアーキテクチャは、ネットワークのばらつきや競合によるリモートプラットフォームへの遅延を避けるため、デバイス上の推論を好んでいる。
しかし、この設計選択は、ローカルハードウェアに多大なエネルギーと計算上の要求を与える。
本研究では、クラウドベースの推論が本質的に遅延に敏感な制御タスクには適さないという仮定を再考する。
我々は、高スループットの計算リソースをプロビジョニングすることで、クラウドプラットフォームがネットワークと待ち行列の遅延を効果的に減らし、リアルタイムな意思決定のためにデバイス上でのパフォーマンスにマッチまたは超えることを実証した。
具体的には、センサ周波数、プラットフォームスループット、ネットワーク遅延、タスク固有の安全制約の関数として分散推論遅延を特徴付ける形式的解析モデルを開発する。
我々は、このモデルを自律運転における緊急ブレーキの文脈でインスタンス化し、リアルタイム車体力学を用いた広範囲なシミュレーションにより検証する。
実験の結果、クラウドベースの推論がデバイス上での予測よりも安全マージンに確実に適合する具体的な条件が明らかになった。
これらの発見は、一般的な設計戦略に挑戦し、クラウドは単に実行可能な選択肢であるだけでなく、分散CPSアーキテクチャにおいて好まれる推論場所であることを示唆している。
この光の中では、雲は伝統的に認識されるほど遠くない。
関連論文リスト
- Cloud-Edge Collaborative Large Models for Robust Photovoltaic Power Forecasting [10.936533381499016]
本稿では,PV予測のための条件適応型クラウドエッジ協調フレームワーク*CAPE*を提案する。
CAPE*は3つの主要なモジュールから構成される: ルーチン予測のためのサイト固有のエキスパートモデル、局所推論を強化する軽量エッジサイドモデル、クラウドベースの大規模検索モデル。
2つの実世界のPVデータセットの実験では、*CAPE*は精度、堅牢性、ルーティング品質、システム効率の予測において優れたパフォーマンスを達成している。
論文 参考訳(メタデータ) (2026-03-21T20:09:22Z) - Speculative Policy Orchestration: A Latency-Resilient Framework for Cloud-Robotic Manipulation [6.709418204725671]
クラウドロボティクスは、ロボットが高次元のモーションプランニングと推論をリモートサーバーにオフロードすることを可能にする。
高周波制御を必要とする継続的な操作のために、ネットワーク遅延とジッタはシステムを不安定にすることができる。
我々は,遅延耐性のクラウドエッジフレームワークである投機的ポリシーオーケストレーション(SPO)を提案する。
論文 参考訳(メタデータ) (2026-03-19T19:24:14Z) - HALO: Semantic-Aware Distributed LLM Inference in Lossy Edge Network [50.33808558714122]
エッジでの大規模言語モデル(LLM)推論は、ユーザのプライバシを保護すると同時に、サービスの応答性を促進する。
損失エッジネットワークにおける分散LLM推論を向上する新しいフレームワークであるHALOを提案する。
Raspberry Piクラスタによる実験の結果、HALOは信頼性の低いネットワーク条件下でLLaMAシリーズLLMの3.41倍のエンドツーエンドのスピードアップを達成した。
論文 参考訳(メタデータ) (2026-01-16T07:37:23Z) - CSGO: Generalized Optimization for Cold Start in Wireless Collaborative Edge LLM Systems [62.24576366776727]
本稿では,全体の推論遅延を最小限に抑えるために,遅延を考慮したスケジューリングフレームワークを提案する。
提案手法は,ベースライン戦略と比較して,コールドスタート遅延を著しく低減することを示す。
論文 参考訳(メタデータ) (2025-08-15T07:49:22Z) - The Larger the Merrier? Efficient Large AI Model Inference in Wireless Edge Networks [56.37880529653111]
大規模計算モデル(LAIM)サービスの需要は、従来のクラウドベースの推論から、低レイテンシでプライバシ保護のアプリケーションのためのエッジベースの推論へのパラダイムシフトを推進している。
本稿では,事前学習したLAIMをデバイス上のサブモデルとサーバ上のサブモデルに分割して配置するLAIM推論方式について検討する。
論文 参考訳(メタデータ) (2025-05-14T08:18:55Z) - Toward a real-time TCP SYN Flood DDoS mitigation using Adaptive Neuro-Fuzzy classifier and SDN Assistance in Fog Computing [0.31318403497744784]
本稿では,適応型ニューロファジィ推論システム(ANFIS)とSDN(Software Defined Networking)アシスタンス(FASA)を用いたフォグコンピューティングによるシンフラッドDDoS攻撃の軽減を提案する。
シミュレーションの結果、FASAシステムは精度、精度、リコール、F1スコアで他のアルゴリズムよりも優れていた。
論文 参考訳(メタデータ) (2023-11-27T08:54:00Z) - Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust
Closed-Loop Control [63.310780486820796]
繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。
パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
論文 参考訳(メタデータ) (2023-10-05T21:44:18Z) - Leveraging the Edge and Cloud for V2X-Based Real-Time Object Detection
in Autonomous Driving [0.0]
環境認識は自動運転の重要な要素である。
本稿では,自動運転車のリアルタイム認識における検出品質と遅延の最良のトレードオフについて検討する。
我々は,局所的な検出性能を向上しつつ,適切な圧縮を伴うモデルをクラウド上でリアルタイムに実行可能であることを示す。
論文 参考訳(メタデータ) (2023-08-09T21:39:10Z) - Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural
Networks on Edge NPUs [74.83613252825754]
スマートエコシステム(smart ecosystems)"は、スタンドアロンではなく、センセーションが同時に行われるように形成されています。
これはデバイス上の推論パラダイムを、エッジにニューラル処理ユニット(NPU)をデプロイする方向にシフトしている。
そこで本研究では,実行時のプリエンプションが到着・終了プロセスによってもたらされる動的性を考慮に入れた,新しい早期終了スケジューリングを提案する。
論文 参考訳(メタデータ) (2022-09-27T15:04:01Z) - SPINN: Synergistic Progressive Inference of Neural Networks over Device
and Cloud [13.315410752311768]
一般的な選択肢は、CNN処理をクラウドベースの強力なサーバにオフロードすることである。
SPINNは、同期型デバイスクラウドとプログレッシブ推論手法を併用した分散推論システムである。
これは、不確実な接続条件下での堅牢な操作と、クラウド中心の実行と比較してかなりの省エネを提供する。
論文 参考訳(メタデータ) (2020-08-14T15:00:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。