論文の概要: Replica-Aware Split Inference for Edge IoT Systems

• arxiv url: http://arxiv.org/abs/2611.04779v1
• Date: Tue, 03 Nov 2026 12:18:16 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:28:30.722134
• Title: Replica-Aware Split Inference for Edge IoT Systems
• Title（参考訳）: エッジIoTシステムのためのレプリカ対応スプリット推論
• Abstract要約: Split Inference(SI)は、IoT(Internet of Things)デバイスのハードウェアリソース制限に対処し、小さな機械学習(TinyML)モデルセグメントを複数のデバイスに分散する。 本稿では,失敗デバイスにホストされたTinyMLモデルセグメントのレプリカを生き残ったデバイスにデプロイするレプリカ対応リカバリ手法を提案する。
• 参考スコア（独自算出の注目度）: 2.931240348160871
• License:
• Abstract: Split Inference (SI) addresses the hardware resource limitations of Internet of Things (IoT) devices by distributing tiny Machine Learning (TinyML) model segments across multiple IoT devices. However, a device failure can interrupt the inference pipeline. This paper proposes a replica-aware recovery approach that deploys replicas of TinyML model segments originally hosted on failed devices onto surviving devices. We formulate the joint selection of replica hosts and communication protocols as a mixed-integer linear programming (MILP) problem that minimizes post-reconfiguration inference latency, accounting for computation and transmission latencies, under flash memory and runtime memory constraints. Simulations using MobileNetV2 on heterogeneous IoT networks compare the proposed approach with four baselines. We implement the model in a network of 15 IoT devices with a maximum link-rate reduction of 75%, and show that MILP approach achieves an average modeled end-to-end inference latency that is 6.8% lower than that of Computation Greedy and 18.3% lower than that of Random. Index Terms TinyML, split inference, Internet of Things, fault tolerance, replica placement.
• Abstract（参考訳）: Split Inference(SI)は、IoT(Internet of Things)デバイスのハードウェアリソース制限に対処し、小さな機械学習(TinyML)モデルセグメントを複数のIoTデバイスに分散する。 しかし、デバイス障害は推論パイプラインを中断する可能性がある。 本稿では,失敗デバイスにホストされたTinyMLモデルセグメントのレプリカを生き残ったデバイスにデプロイするレプリカ対応リカバリ手法を提案する。 我々は、フラッシュメモリとランタイムメモリの制約の下で、再構成後の推論遅延を最小限に抑えたMILP問題として、レプリカホストと通信プロトコルの結合選択を定式化する。 不均一なIoTネットワーク上でMobileNetV2を使用するシミュレーションでは,提案手法と4つのベースラインを比較した。 リンクレートを最大75%削減した15のIoTデバイスでこのモデルを実装し、MILPアプローチが平均的なモデル付きエンドツーエンド推論レイテンシを実現し、計算グレディよりも6.8%低く、Randomより18.3%低くなることを示す。 Index Terms TinyML、スプリット推論、モノのインターネット、フォールトトレランス、レプリカ配置。

関連論文リスト

• Profiling-Driven Adaptive Distributed Transformer Inference on Embedded Edge Deployment [60.442064966340524]
  本稿では、WiFi経由で接続されたNVIDIA Jetson Orin Nanoデバイスに関するプロトタイプ研究を行う。 主な発見は、主なボトルネックは、ネットワーク帯域幅だけでなく、通信中のCPU-GPUステージングである。 実験によると、この戦略はフルテンソル交換と比較して遅延を65%-77%減らし、エネルギー消費を34%-52%減らしている。
  論文  参考訳（メタデータ） (2026-05-25T10:39:28Z)
• HALO: Semantic-Aware Distributed LLM Inference in Lossy Edge Network [50.33808558714122]
  エッジでの大規模言語モデル(LLM)推論は、ユーザのプライバシを保護すると同時に、サービスの応答性を促進する。 損失エッジネットワークにおける分散LLM推論を向上する新しいフレームワークであるHALOを提案する。 Raspberry Piクラスタによる実験の結果、HALOは信頼性の低いネットワーク条件下でLLaMAシリーズLLMの3.41倍のエンドツーエンドのスピードアップを達成した。
  論文  参考訳（メタデータ） (2026-01-16T07:37:23Z)
• Memory- and Latency-Constrained Inference of Large Language Models via Adaptive Split Computing [8.705453442427585]
  大規模言語モデル(LLM)は様々な推論タスクでほぼ人間に近い性能を達成した。 リソース制約のあるIoT(Internet-of-Things)デバイスへのデプロイメントは、大量のパラメータフットプリントとメモリ集約型の自己回帰デコーディングのため、依然として現実的ではない。 この研究は、エッジデバイスにLLMを配置するために明示的に設計された最初の自動回帰対応分割コンピューティングフレームワークを紹介した。
  論文  参考訳（メタデータ） (2025-11-06T02:55:07Z)
• MOBIUS: Big-to-Mobile Universal Instance Segmentation via Multi-modal Bottleneck Fusion and Calibrated Decoder Pruning [91.90342432541138]
  モデルサイズとトレーニングデータのスケールアップには、インスタンスレベルの知覚のための高度な基盤モデルがある。 資源制約されたプラットフォームにおける高い計算コスト制限。 我々は,高性能コンピューティングプラットフォームとモバイルデバイスの両方において,効率的なセグメンテーションのための新しいベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-10-16T18:00:00Z)
• FedX: Adaptive Model Decomposition and Quantization for IoT Federated Learning [12.271321978561183]
  フェデレートラーニング(FL)は、データ共有なしで複数のデバイス間で協調的なトレーニングを可能にする。 本稿では,IoTのための新しい適応モデル分解および量子化FLシステムであるFedXを提案する。 また,FedXの量子化時間は最大8.43倍,デバイス上での計算時間は1.5倍,エンド・ツー・エンドでの学習時間はベースラインFLシステムに比べて1.36倍に向上した。
  論文  参考訳（メタデータ） (2025-04-17T11:08:51Z)
• Enhancing Neural Architecture Search with Multiple Hardware Constraints for Deep Learning Model Deployment on Tiny IoT Devices [17.919425885740793]
  微分可能なNAS最適化手法に複数の制約を組み込む新しい手法を提案する。 単一の検索で、それぞれ87.4%と54.2%のメモリとレイテンシを削減できることが示されている。
  論文  参考訳（メタデータ） (2023-10-11T06:09:14Z)
• Federated Split Learning with Only Positive Labels for resource-constrained IoT environment [4.055662817794178]
  分散コラボレーティブ機械学習(DCML)は、ディープラーニングモデルをトレーニングするためのIoT(Internet of Things)ドメインにおいて、有望な方法である。 分割学習 (SFL) は, デバイスが限られた計算能力を持つ場合に, 効率的な学習とテストに最も適している。 SFPLは、リソース制約のIoTデバイスが正のラベル付きデータしか持たない場合、SFLよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-07-25T05:33:06Z)
• Computational Intelligence and Deep Learning for Next-Generation Edge-Enabled Industrial IoT [51.68933585002123]
  エッジ対応産業用IoTネットワークにおける計算知能とディープラーニング(DL)の展開方法について検討する。 本稿では,新しいマルチエグジットベースフェデレーションエッジ学習(ME-FEEL)フレームワークを提案する。 特に、提案されたME-FEELは、非常に限られたリソースを持つ産業用IoTネットワークにおいて、最大32.7%の精度を達成することができる。
  論文  参考訳（メタデータ） (2021-10-28T08:14:57Z)
• A TinyML Platform for On-Device Continual Learning with Quantized Latent Replays [66.62377866022221]
  Latent Replay-based Continual Learning (CL)技術は、原則としてオンライン、サーバレスの適応を可能にする。 10コアのFP32対応並列超低消費電力プロセッサをベースとした,エンドツーエンドCLのためのHW/SWプラットフォームを提案する。 これらの手法を組み合わせることで,64MB未満のメモリを用いて連続学習を実現することができることを示す。
  論文  参考訳（メタデータ） (2021-10-20T11:01:23Z)
• Unit-Modulus Wireless Federated Learning Via Penalty Alternating Minimization [64.76619508293966]
  Wireless Federated Learning(FL)は、分散データセットから無線通信を介してグローバルパラメトリックモデルをトレーニングする、新興機械学習パラダイムである。 本稿では、ローカルモデルパラメータをアップロードし、無線通信を介してグローバルモデルパラメータを算出する無線FLフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-31T08:19:54Z)
• MAFAT: Memory-Aware Fusing and Tiling of Neural Networks for Accelerated Edge Inference [1.7894377200944507]
  機械学習ネットワークは、利用可能なメモリを容易に越えることができ、OSの過度なスワップによってレイテンシが増加する。 本稿では,メモリ使用量予測器と探索アルゴリズムを組み合わせることで,最適化されたファジングとタイリングの構成を提供する。 その結果、我々のアプローチはメモリの半分以下で実行でき、メモリの厳しい制約下では最大2.78の高速化を実現している。
  論文  参考訳（メタデータ） (2021-07-14T19:45:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。