Fugu-MT 論文翻訳(概要): Graph Neural Networks Automated Design and Deployment on Device-Edge Co-Inference Systems

論文の概要: Graph Neural Networks Automated Design and Deployment on Device-Edge Co-Inference Systems

arxiv url: http://arxiv.org/abs/2404.05605v1
Date: Mon, 8 Apr 2024 15:25:25 GMT
ステータス: 処理完了
システム内更新日: 2024-04-09 13:55:49.091103
Title: Graph Neural Networks Automated Design and Deployment on Device-Edge Co-Inference Systems
Title（参考訳）: デバイスエッジコ推論システムにおけるグラフニューラルネットワークの設計と展開の自動化
Authors: Ao Zhou, Jianlei Yang, Tong Qiao, Yingjie Qi, Zhi Yang, Weisheng Zhao, Chunming Hu,
Abstract要約: グラフニューラルネットワーク(GNN)の最初の自動フレームワークであるGCoDEを紹介する。 GCoDEは、共同最適化のための統一された空間におけるアーキテクチャとオペレーションマッピングの探索を融合する。 GCoDEは、既存のアプローチと比較して最大44.9倍のスピードアップと980.2%のエネルギー削減を実現可能である。
参考スコア（独自算出の注目度）: 13.906304434381997
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The key to device-edge co-inference paradigm is to partition models into computation-friendly and computation-intensive parts across the device and the edge, respectively. However, for Graph Neural Networks (GNNs), we find that simply partitioning without altering their structures can hardly achieve the full potential of the co-inference paradigm due to various computational-communication overheads of GNN operations over heterogeneous devices. We present GCoDE, the first automatic framework for GNN that innovatively Co-designs the architecture search and the mapping of each operation on Device-Edge hierarchies. GCoDE abstracts the device communication process into an explicit operation and fuses the search of architecture and the operations mapping in a unified space for joint-optimization. Also, the performance-awareness approach, utilized in the constraint-based search process of GCoDE, enables effective evaluation of architecture efficiency in diverse heterogeneous systems. We implement the co-inference engine and runtime dispatcher in GCoDE to enhance the deployment efficiency. Experimental results show that GCoDE can achieve up to $44.9\times$ speedup and $98.2\%$ energy reduction compared to existing approaches across various applications and system configurations.
Abstract（参考訳）: デバイスエッジコ推論のパラダイムの鍵となるのは、モデルをそれぞれ、デバイスとエッジをまたいだ計算フレンドリな部分と計算集約的な部分に分割することだ。しかし、グラフニューラルネットワーク(GNN)では、異種デバイス上でのGNN操作の様々な計算通信オーバーヘッドにより、構造を変更せずに分割するだけでは、共参照パラダイムの完全なポテンシャルを達成できないことが判明した。本稿では,GNNのアーキテクチャ検索とデザイナエッジ階層上の各操作のマッピングを革新的に共同設計する,最初の自動フレームワークであるGCoDEを紹介する。 GCoDEはデバイス通信プロセスを明示的な操作に抽象化し、共同最適化のための統一された空間におけるアーキテクチャとオペレーションマッピングの探索を融合する。また、GCoDEの制約に基づく探索プロセスで活用される性能認識アプローチにより、多種多様な異種システムにおけるアーキテクチャ効率を効果的に評価することができる。我々は,GCoDEで共同推論エンジンとランタイムディスパッチを実装し,デプロイメント効率を向上させる。実験の結果、GCoDEは、様々なアプリケーションやシステム構成にまたがる既存のアプローチと比較して、最大4,4.9\times$スピードアップと9,8.2\%のエネルギー削減を達成できることがわかった。

関連論文リスト

Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文参考訳（メタデータ） (2024-10-29T19:02:54Z)
FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
分散トレーニングは、システム設計と効率に関する重要な課題に直面します。大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
論文参考訳（メタデータ） (2024-10-16T16:13:19Z)
POMONAG: Pareto-Optimal Many-Objective Neural Architecture Generator [4.09225917049674]
Transferable NASが登場し、データセット依存からタスク依存への探索プロセスを一般化した。本稿では多目的拡散プロセスを通じて拡散NAGを拡張するPOMONAGを紹介する。結果は、NAS201とMobileNetV3の2つの検索スペースで検証され、15の画像分類データセットで評価された。
論文参考訳（メタデータ） (2024-09-30T16:05:29Z)
MaGNAS: A Mapping-Aware Graph Neural Architecture Search Framework for Heterogeneous MPSoC Deployment [8.29394286023338]
ヘテロジニアスMPSoCプラットフォーム上でのビジョンGNNワークロードの効率的な処理を実現するための新しい設計マッピング手法を提案する。 MaGNASは、2階層の進化的探索を用いて最適なGNNを特定し、最高のパフォーマンストレードオフをもたらすペアリングをマッピングする。我々の実験結果によると、MaGNASは1.57倍のレイテンシ速度を提供でき、Xavier MPSoCで実行される複数のビジョンデータセットとGPUのみのデプロイメントでは3.38倍エネルギー効率が向上している。
論文参考訳（メタデータ） (2023-07-16T14:56:50Z)
HKNAS: Classification of Hyperspectral Imagery Based on Hyper Kernel Neural Architecture Search [104.45426861115972]
設計したハイパーカーネルを利用して,構造パラメータを直接生成することを提案する。我々は1次元または3次元の畳み込みを伴う画素レベルの分類と画像レベルの分類を別々に行う3種類のネットワークを得る。 6つの公開データセットに関する一連の実験は、提案手法が最先端の結果を得ることを示した。
論文参考訳（メタデータ） (2023-04-23T17:27:40Z)
Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
論文参考訳（メタデータ） (2023-03-25T14:40:59Z)
Task-Oriented Sensing, Computation, and Communication Integration for Multi-Device Edge AI [108.08079323459822]
本稿では,AIモデルの分割推論と統合センシング通信(ISAC)を併用した,新しいマルチインテリジェントエッジ人工レイテンシ(AI)システムについて検討する。推定精度は近似的だが抽出可能な計量、すなわち判別利得を用いて測定する。
論文参考訳（メタデータ） (2022-07-03T06:57:07Z)
Operation Embeddings for Neural Architecture Search [15.033712726016255]
最適化プロセスにおいて、固定演算子エンコーディングを学習可能な表現に置き換えることを提案する。本手法は,同様の操作とグラフパターンを共有するトップパフォーマンスアーキテクチャを生成する。
論文参考訳（メタデータ） (2021-05-11T09:17:10Z)
Auto-Panoptic: Cooperative Multi-Component Architecture Search for Panoptic Segmentation [144.50154657257605]
本稿では、バックボーン、セグメンテーションブランチ、フィーチャーフュージョンモジュールを含むすべての主要コンポーネントを同時に検索する効率的なフレームワークを提案する。検索したアーキテクチャ、すなわちAuto-Panopticは、挑戦的なCOCOとADE20Kベンチマークに関する新しい最先端技術を実現します。
論文参考訳（メタデータ） (2020-10-30T08:34:35Z)
Neural Architecture Optimization with Graph VAE [21.126140965779534]
連続空間におけるネットワークアーキテクチャを最適化するための効率的なNAS手法を提案する。フレームワークは、エンコーダ、パフォーマンス予測器、複雑性予測器、デコーダの4つのコンポーネントを共同で学習する。
論文参考訳（メタデータ） (2020-06-18T07:05:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。