論文の概要: Early-Exit meets Model-Distributed Inference at Edge Networks

• arxiv url: http://arxiv.org/abs/2408.05247v1
• Date: Thu, 8 Aug 2024 11:53:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-13 19:54:11.776998
• Title: Early-Exit meets Model-Distributed Inference at Edge Networks
• Title（参考訳）: Early-Exitがエッジネットワークでモデル分散推論に到達
• Authors: Marco Colocrese, Erdem Koyuncu, Hulya Seferoglu,
• Abstract要約: データ分散推論では、各ワーカーはディープニューラルネットワーク(DNN)モデル全体を運ぶが、データのサブセットのみを処理する。 新たなパラダイムはモデル分散推論(MDI)であり、各ワーカはDNNレイヤのサブセットしか持たない。 我々は、ソースにおけるデータ入力だけでなく、早期終了およびオフロードポリシーを適応的に決定するフレームワークMDI-Exitを設計する。
• 参考スコア（独自算出の注目度）: 17.03578629673371
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Distributed inference techniques can be broadly classified into data-distributed and model-distributed schemes. In data-distributed inference (DDI), each worker carries the entire deep neural network (DNN) model but processes only a subset of the data. However, feeding the data to workers results in high communication costs, especially when the data is large. An emerging paradigm is model-distributed inference (MDI), where each worker carries only a subset of DNN layers. In MDI, a source device that has data processes a few layers of DNN and sends the output to a neighboring device, i.e., offloads the rest of the layers. This process ends when all layers are processed in a distributed manner. In this paper, we investigate the design and development of MDI with early-exit, which advocates that there is no need to process all the layers of a model for some data to reach the desired accuracy, i.e., we can exit the model without processing all the layers if target accuracy is reached. We design a framework MDI-Exit that adaptively determines early-exit and offloading policies as well as data admission at the source. Experimental results on a real-life testbed of NVIDIA Nano edge devices show that MDI-Exit processes more data when accuracy is fixed and results in higher accuracy for the fixed data rate.
• Abstract（参考訳）: 分散推論技術は、データ分散スキームとモデル分散スキームに広く分類することができる。 データ分散推論(DDI)では、各ワーカーはディープニューラルネットワーク(DNN)モデル全体を運ぶが、データのサブセットのみを処理する。 しかし、労働者にデータを送ると、特にデータが大きければ、高い通信コストが発生する。 新たなパラダイムはモデル分散推論(MDI)であり、各ワーカはDNNレイヤのサブセットしか持たない。 データを持つソースデバイスであるMDIでは、DNNのいくつかのレイヤを処理し、出力を隣のデバイス、すなわち残りのレイヤをオフロードする。 このプロセスは、すべてのレイヤが分散的に処理されるときに終わる。 本稿では,MDIの設計と開発を早期終了で検討し,対象の精度を達成すれば,対象の精度を達成できなくても,モデルの全レイヤを処理する必要がなくなることを主張する。 我々は、ソースにおけるデータ入力だけでなく、早期終了およびオフロードポリシーを適応的に決定するフレームワークMDI-Exitを設計する。 NVIDIA Nano Edgeデバイスの実稼働テストベッドの実験結果から、MDI-Exitは精度が固定されたときにより多くのデータを処理し、固定されたデータレートをより高い精度で処理することが示された。

関連論文リスト

• Zero-shot Outlier Detection via Prior-data Fitted Networks: Model Selection Bygone! [28.823740273813296]
  外乱検知(OD)は環境モニタリング、サイバーセキュリティ、ファイナンス、医療に多くの応用がある。 本質的に教師なしのタスクであるモデル選択は、ラベルの監督なしにODにとって重要なボトルネックとなる。 本稿では,0/0ショットODのためのFoMo-0Dを提案する。
  論文  参考訳（メタデータ） (2024-09-09T14:41:24Z)
• Can LLMs Separate Instructions From Data? And What Do We Even Mean By That? [60.50127555651554]
  大規模言語モデル(LLM)は、多くの実用的なアプリケーションにおいて印象的な結果を示すが、基本的な安全性機能は欠如している。 これにより、間接的なプロンプトインジェクションのような操作に脆弱になり、一般に安全クリティカルなタスクには適さない。 モデル出力から計算可能な命令データ分離の形式的尺度と経験的変量を導入する。
  論文  参考訳（メタデータ） (2024-03-11T15:48:56Z)
• Inferring Data Preconditions from Deep Learning Models for Trustworthy Prediction in Deployment [25.527665632625627]
  デプロイ中に見つからないデータを使って、モデルの予測の信頼性を判断することが重要です。 従来のソフトウェアを特定し検証する既存の方法は、このタスクには不十分である。 本稿では、ニューラルネットワーク計算から導出されるルールを用いて、データ前提条件を推論する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-26T03:47:18Z)
• Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
  生成過程が下流MLタスクにどのように影響するかを示す。 本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
  論文  参考訳（メタデータ） (2023-05-16T07:30:29Z)
• On Calibrating Diffusion Probabilistic Models [78.75538484265292]
  拡散確率モデル(DPM)は様々な生成タスクにおいて有望な結果を得た。 そこで本研究では,任意の事前学習DPMを校正する簡単な方法を提案する。 キャリブレーション法は1回だけ行い, 得られたモデルをサンプリングに繰り返し使用することができる。
  論文  参考訳（メタデータ） (2023-02-21T14:14:40Z)
• Back to the Source: Diffusion-Driven Test-Time Adaptation [77.4229736436935]
  テスト時間適応はテスト入力を利用し、シフトしたターゲットデータ上でテストした場合、ソースデータに基づいてトレーニングされたモデルの精度を向上させる。 代わりに、生成拡散モデルを用いて、すべてのテスト入力をソース領域に向けて投影することで、ターゲットデータを更新する。
  論文  参考訳（メタデータ） (2022-07-07T17:14:10Z)
• Joint Distribution across Representation Space for Out-of-Distribution Detection [16.96466730536722]
  本稿では,各隠蔽層から生成した潜伏特性を表現空間間の連成分布として利用し,分布内データに対する新たな展望を示す。 まず,隠れ層ごとに分布しない潜在特性に基づいてガウス混合モデル(GMM)を構築し,その後,推定トレースの遷移確率を介してGMMを接続する。
  論文  参考訳（メタデータ） (2021-03-23T06:39:29Z)
• Data from Model: Extracting Data from Non-robust and Robust Models [83.60161052867534]
  この研究は、データとモデルの関係を明らかにするために、モデルからデータを生成する逆プロセスについて検討する。 本稿では,データ・トゥ・モデル(DtM)とデータ・トゥ・モデル(DfM)を連続的に処理し,特徴マッピング情報の喪失について検討する。 以上の結果から,DtMとDfMの複数シーケンスの後にも,特にロバストモデルにおいて精度低下が制限されることが示唆された。
  論文  参考訳（メタデータ） (2020-07-13T05:27:48Z)
• Contextual-Bandit Anomaly Detection for IoT Data in Distributed Hierarchical Edge Computing [65.78881372074983]
  IoTデバイスは複雑なディープニューラルネットワーク(DNN)モデルにはほとんど余裕がなく、異常検出タスクをクラウドにオフロードすることは長い遅延を引き起こす。 本稿では,分散階層エッジコンピューティング(HEC)システムを対象とした適応型異常検出手法のデモと構築を行う。 提案手法は,検出タスクをクラウドにオフロードした場合と比較して,精度を犠牲にすることなく検出遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2020-04-15T06:13:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。