論文の概要: HiDP: Hierarchical DNN Partitioning for Distributed Inference on Heterogeneous Edge Platforms
- arxiv url: http://arxiv.org/abs/2411.16086v1
- Date: Mon, 25 Nov 2024 04:40:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-26 14:22:25.793816
- Title: HiDP: Hierarchical DNN Partitioning for Distributed Inference on Heterogeneous Edge Platforms
- Title(参考訳): HiDP: 異種エッジプラットフォーム上での分散推論のための階層的DNN分割
- Authors: Zain Taufique, Aman Vyas, Antonio Miele, Pasi Liljeberg, Anil Kanduri,
- Abstract要約: エッジ推論技術は、低レイテンシ推論のために複数のエッジノード間でディープニューラルネットワーク(DNN)推論タスクを分割して分散する。
ヘテロジニアスエッジノード上での分散推論のための階層的DNNパーティショニング戦略(HiDP)を提案する。
- 参考スコア(独自算出の注目度): 1.7835990287552501
- License:
- Abstract: Edge inference techniques partition and distribute Deep Neural Network (DNN) inference tasks among multiple edge nodes for low latency inference, without considering the core-level heterogeneity of edge nodes. Further, default DNN inference frameworks also do not fully utilize the resources of heterogeneous edge nodes, resulting in higher inference latency. In this work, we propose a hierarchical DNN partitioning strategy (HiDP) for distributed inference on heterogeneous edge nodes. Our strategy hierarchically partitions DNN workloads at both global and local levels by considering the core-level heterogeneity of edge nodes. We evaluated our proposed HiDP strategy against relevant distributed inference techniques over widely used DNN models on commercial edge devices. On average our strategy achieved 38% lower latency, 46% lower energy, and 56% higher throughput in comparison with other relevant approaches.
- Abstract(参考訳): エッジ推論技術は、エッジノードのコアレベルの不均一性を考慮せずに、複数のエッジノード間でディープニューラルネットワーク(DNN)推論タスクを分割し、分散する。
さらに、デフォルトのDNN推論フレームワークは、異種エッジノードのリソースを十分に利用していないため、推論レイテンシも高くなっています。
本研究では,異種エッジノード上での分散推論のための階層型DNNパーティショニング戦略(HiDP)を提案する。
我々の戦略は、エッジノードのコアレベルの不均一性を考慮して、DNNワークロードをグローバルレベルとローカルレベルの両方で階層的に分割する。
我々は,商用エッジデバイス上で広く使用されているDNNモデルに対して,関連する分散推論手法に対して提案したHiDP戦略を評価した。
当社の戦略は,他の関連するアプローチと比較して平均して38%のレイテンシ,46%のエネルギー,56%のスループットを実現しています。
関連論文リスト
- Graph Agent Network: Empowering Nodes with Inference Capabilities for Adversarial Resilience [50.460555688927826]
グラフニューラルネットワーク(GNN)の脆弱性に対処するグラフエージェントネットワーク(GAgN)を提案する。
GAgNはグラフ構造化エージェントネットワークであり、各ノードは1-hop-viewエージェントとして設計されている。
エージェントの限られたビューは、悪意のあるメッセージがGAgNでグローバルに伝播するのを防ぎ、グローバル最適化ベースのセカンダリアタックに抵抗する。
論文 参考訳(メタデータ) (2023-06-12T07:27:31Z) - General Adversarial Defense Against Black-box Attacks via Pixel Level
and Feature Level Distribution Alignments [75.58342268895564]
我々は,DGN(Deep Generative Networks)と新たなトレーニング機構を併用して,分散ギャップを解消する。
トレーニングされたDGNは、画素値の変換により、敵サンプルとターゲットDNNのクリーンな分布を整列する。
我々の戦略はブラックボックス攻撃に対するその独特な効果と汎用性を実証している。
論文 参考訳(メタデータ) (2022-12-11T01:51:31Z) - Heterogeneous Randomized Response for Differential Privacy in Graph
Neural Networks [18.4005860362025]
グラフニューラルネットワーク(GNN)は、プライバシ推論攻撃(PIA)の影響を受けやすい
差分プライバシ(DP)保証の下で,ノードの特徴やエッジをPIAに対して保護する機構を提案する。
ノードの特徴とエッジの両レベルで、より優れたランダム化確率とより厳密なエラー境界を導出する。
論文 参考訳(メタデータ) (2022-11-10T18:52:46Z) - DPAR: Decoupled Graph Neural Networks with Node-Level Differential Privacy [30.15971370844865]
我々は,ノードとエッジが保護されるように,GNNをトレーニングするためのノードレベルの差分プライバシー(DP)の実現を目指している。
プライバシーとユーティリティのトレードオフが強化されたGNNをトレーニングするために,DPAR(Dariially Private Approximate Personalized PageRank)を用いたデカップリングGNNを提案する。
論文 参考訳(メタデータ) (2022-10-10T05:34:25Z) - A Variational Edge Partition Model for Supervised Graph Representation
Learning [51.30365677476971]
本稿では,重なり合うノード群間の相互作用を集約することで,観測されたエッジがどのように生成されるかをモデル化するグラフ生成プロセスを提案する。
それぞれのエッジを複数のコミュニティ固有の重み付きエッジの和に分割し、コミュニティ固有のGNNを定義する。
エッジを異なるコミュニティに分割するGNNベースの推論ネットワーク,これらのコミュニティ固有のGNN,およびコミュニティ固有のGNNを最終分類タスクに組み合わせたGNNベースの予測器を共同で学習するために,変分推論フレームワークを提案する。
論文 参考訳(メタデータ) (2022-02-07T14:37:50Z) - DeHIN: A Decentralized Framework for Embedding Large-scale Heterogeneous
Information Networks [64.62314068155997]
本稿では,異種情報ネットワーク(DeHIN)のための分散埋め込みフレームワークについて述べる。
DeHINは、大きなHINをハイパーグラフとして革新的に定式化するコンテキスト保存分割機構を提供する。
当社のフレームワークでは,木のようなパイプラインを採用することで,効率よくHINを分割する分散戦略を採用しています。
論文 参考訳(メタデータ) (2022-01-08T04:08:36Z) - Edgeless-GNN: Unsupervised Inductive Edgeless Network Embedding [7.391641422048645]
ネットワークを新たに入力したユーザなど,エッジレスノードを埋め込む問題について検討する。
我々は,非教師付き帰納学習により,エッジレスノードに対してもノード埋め込みを生成可能な新しいフレームワークであるEdgeless-GNNを提案する。
論文 参考訳(メタデータ) (2021-04-12T06:37:31Z) - Towards Deeper Graph Neural Networks with Differentiable Group
Normalization [61.20639338417576]
グラフニューラルネットワーク(GNN)は、隣接するノードを集約することでノードの表現を学習する。
オーバースムーシングは、レイヤーの数が増えるにつれてGNNのパフォーマンスが制限される重要な問題のひとつです。
2つのオーバースムースなメトリクスと新しいテクニック、すなわち微分可能群正規化(DGN)を導入する。
論文 参考訳(メタデータ) (2020-06-12T07:18:02Z) - EdgeNets:Edge Varying Graph Neural Networks [179.99395949679547]
本稿では、EdgeNetの概念を通じて、最先端グラフニューラルネットワーク(GNN)を統一する一般的なフレームワークを提案する。
EdgeNetはGNNアーキテクチャであり、異なるノードが異なるパラメータを使って異なる隣人の情報を測定することができる。
これは、ノードが実行でき、既存のグラフ畳み込みニューラルネットワーク(GCNN)とグラフアテンションネットワーク(GAT)の1つの定式化の下で包含できる一般的な線形で局所的な操作である。
論文 参考訳(メタデータ) (2020-01-21T15:51:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。