論文の概要: Priority-Aware Model-Distributed Inference at Edge Networks

• arxiv url: http://arxiv.org/abs/2412.12371v1
• Date: Mon, 16 Dec 2024 22:01:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 13:57:07.916279
• Title: Priority-Aware Model-Distributed Inference at Edge Networks
• Title（参考訳）: エッジネットワークにおける優先度を考慮したモデル分散推論
• Authors: Teng Li, Hulya Seferoglu,
• Abstract要約: 分散推論技術は、データ分散スキームとモデル分散スキームに広く分類することができる。 データ分散推論(DDI)では、各ワーカーは機械学習(ML)モデル全体を運ぶが、データのサブセットのみを処理する。 新たなパラダイムはモデル分散推論(MDI)であり、各ワーカはMLレイヤのサブセットのみを格納する。
• 参考スコア（独自算出の注目度）: 6.97067164616875
• License:
• Abstract: Distributed inference techniques can be broadly classified into data-distributed and model-distributed schemes. In data-distributed inference (DDI), each worker carries the entire Machine Learning (ML) model but processes only a subset of the data. However, feeding the data to workers results in high communication costs, especially when the data is large. An emerging paradigm is model-distributed inference (MDI), where each worker carries only a subset of ML layers. In MDI, a source device that has data processes a few layers of ML model and sends the output to a neighboring device, i.e., offloads the rest of the layers. This process ends when all layers are processed in a distributed manner. In this paper, we investigate the design and development of MDI when multiple data sources co-exist. We consider that each data source has a different importance and, hence, a priority. We formulate and solve a priority-aware model allocation optimization problem. Based on the structure of the optimal solution, we design a practical Priority-Aware Model- Distributed Inference (PA-MDI) algorithm that determines model allocation and distribution over devices by taking into account the priorities of different sources. Experiments were conducted on a real-life testbed of NVIDIA Jetson Xavier and Nano edge devices as well as in the Colosseum testbed with ResNet-50, ResNet- 56, and GPT-2 models. The experimental results show that PA-MDI performs priority-aware model allocation successfully while reducing the inference time as compared to baselines.
• Abstract（参考訳）: 分散推論技術は、データ分散スキームとモデル分散スキームに広く分類することができる。 データ分散推論(DDI)では、各ワーカーは機械学習(ML)モデル全体を運ぶが、データのサブセットのみを処理する。 しかし、労働者にデータを送ると、特にデータが大きければ、高い通信コストが発生する。 新たなパラダイムはモデル分散推論(MDI)であり、各ワーカはMLレイヤのサブセットのみを格納する。 データを持つソースデバイスであるMDIでは、MLモデルのいくつかのレイヤを処理し、出力を隣のデバイス、すなわち残りのレイヤをオフロードする。 このプロセスは、すべてのレイヤが分散的に処理されるときに終わる。 本稿では,複数のデータソースが共存するMDIの設計と開発について検討する。 それぞれのデータソースには異なる重要性があり、それゆえに優先順位があると考えています。 優先順位対応モデル配置最適化問題を定式化し,解決する。 最適解の構造に基づいて、異なるソースの優先順位を考慮し、デバイス上のモデル割り当てと分布を決定する実用的なプライオリティ・アウェア・モデル・分散推論(PA-MDI)アルゴリズムを設計する。 NVIDIA Jetson XavierとNano edgeの実際のテストベッド、およびResNet-50、ResNet-56、GPT-2モデルを用いたColosseumテストベッドで実験を行った。 実験の結果,PA-MDIは,ベースラインと比較して推定時間を短縮しつつ,優先度対応モデルアロケーションを成功裏に実行していることがわかった。

関連論文リスト

• Zero-shot Outlier Detection via Prior-data Fitted Networks: Model Selection Bygone! [28.823740273813296]
  外乱検知(OD)は環境モニタリング、サイバーセキュリティ、ファイナンス、医療に多くの応用がある。 本質的に教師なしのタスクであるモデル選択は、ラベルの監督なしにODにとって重要なボトルネックとなる。 本稿では,0/0ショットODのためのFoMo-0Dを提案する。
  論文  参考訳（メタデータ） (2024-09-09T14:41:24Z)
• Early-Exit meets Model-Distributed Inference at Edge Networks [17.03578629673371]
  データ分散推論では、各ワーカーはディープニューラルネットワーク(DNN)モデル全体を運ぶが、データのサブセットのみを処理する。 新たなパラダイムはモデル分散推論(MDI)であり、各ワーカはDNNレイヤのサブセットしか持たない。 我々は、ソースにおけるデータ入力だけでなく、早期終了およびオフロードポリシーを適応的に決定するフレームワークMDI-Exitを設計する。
  論文  参考訳（メタデータ） (2024-08-08T11:53:32Z)
• Towards Reliable AI Model Deployments: Multiple Input Mixup for Out-of-Distribution Detection [4.985768723667418]
  本稿では,OOD(Out-of-Distribution)検出問題の解法を提案する。 本手法は, 単一エポック微調整によるOOD検出性能の向上に有効である。 我々の方法は、ゼロからモデルを訓練する必要がなく、簡単に分類器にアタッチできる。
  論文  参考訳（メタデータ） (2023-12-24T15:31:51Z)
• Diffusion Model is an Effective Planner and Data Synthesizer for Multi-Task Reinforcement Learning [101.66860222415512]
  Multi-Task Diffusion Model (textscMTDiff) は、トランスフォーマーのバックボーンを組み込んだ拡散に基づく手法であり、生成計画とデータ合成のための素早い学習を行う。 生成計画において、textscMTDiffはMeta-World上の50のタスクとMaze2D上の8のマップで最先端のアルゴリズムより優れています。
  論文  参考訳（メタデータ） (2023-05-29T05:20:38Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Variant Parallelism: Lightweight Deep Convolutional Models for Distributed Inference on IoT Devices [0.0]
  2つの主要なテクニックは、リソース制約のあるIoTデバイスにモデルを分散する際に、リアルタイムの推論制限を満たすために一般的に使用される。 本稿では,主モデルの異なる変種が生成され,別々のマシンにデプロイ可能な,アンサンブルに基づくディープラーニング分散手法である変分並列性(VP)を提案する。 その結果、我々のモデルではパラメータが5.8-7.1x少なく、4.3-31x少ない乗算累積(MAC)、2.5-13.2倍の応答時間をMobileNetV2と比較できることがわかった。
  論文  参考訳（メタデータ） (2022-10-15T20:52:28Z)
• Back to the Source: Diffusion-Driven Test-Time Adaptation [77.4229736436935]
  テスト時間適応はテスト入力を利用し、シフトしたターゲットデータ上でテストした場合、ソースデータに基づいてトレーニングされたモデルの精度を向上させる。 代わりに、生成拡散モデルを用いて、すべてのテスト入力をソース領域に向けて投影することで、ターゲットデータを更新する。
  論文  参考訳（メタデータ） (2022-07-07T17:14:10Z)
• How to Learn when Data Gradually Reacts to Your Model [10.074466859579571]
  我々は,これらの効果が存在する場合でも,性能損失を最小限に抑えるための新しいアルゴリズム Stateful Performative Gradient Descent (Stateful PerfGD) を提案する。 実験の結果, Stateful PerfGD は従来の最先端手法よりもかなり優れていたことが確認された。
  論文  参考訳（メタデータ） (2021-12-13T22:05:26Z)
• Manifold Topology Divergence: a Framework for Comparing Data Manifolds [109.0784952256104]
  本研究では,深部生成モデルの評価を目的としたデータ多様体の比較フレームワークを開発する。 クロスバーコードに基づき,manifold Topology Divergence score(MTop-Divergence)を導入する。 MTop-Divergenceは,様々なモードドロップ,モード内崩壊,モード発明,画像乱れを正確に検出する。
  論文  参考訳（メタデータ） (2021-06-08T00:30:43Z)
• Contextual-Bandit Anomaly Detection for IoT Data in Distributed Hierarchical Edge Computing [65.78881372074983]
  IoTデバイスは複雑なディープニューラルネットワーク(DNN)モデルにはほとんど余裕がなく、異常検出タスクをクラウドにオフロードすることは長い遅延を引き起こす。 本稿では,分散階層エッジコンピューティング(HEC)システムを対象とした適応型異常検出手法のデモと構築を行う。 提案手法は,検出タスクをクラウドにオフロードした場合と比較して,精度を犠牲にすることなく検出遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2020-04-15T06:13:33Z)
• Do We Really Need to Access the Source Data? Source Hypothesis Transfer for Unsupervised Domain Adaptation [102.67010690592011]
  Unsupervised adaptUDA (UDA) は、ラベル付きソースデータセットから学んだ知識を活用して、新しいラベル付きドメインで同様のタスクを解決することを目的としている。 従来のUDAメソッドは、モデルに適応するためには、通常、ソースデータにアクセスする必要がある。 この作業は、訓練済みのソースモデルのみが利用できる実践的な環境に取り組み、ソースデータなしでそのようなモデルを効果的に活用してUDA問題を解決する方法に取り組みます。
  論文  参考訳（メタデータ） (2020-02-20T03:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。