論文の概要: HGNAS: Hardware-Aware Graph Neural Architecture Search for Edge Devices
- arxiv url: http://arxiv.org/abs/2408.12840v1
- Date: Fri, 23 Aug 2024 05:11:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-26 15:59:33.674795
- Title: HGNAS: Hardware-Aware Graph Neural Architecture Search for Edge Devices
- Title（参考訳）: HGNAS:エッジデバイスのためのハードウェア対応グラフニューラルネットワーク検索
- Authors: Ao Zhou, Jianlei Yang, Yingjie Qi, Tong Qiao, Yumeng Shi, Cenlin Duan, Weisheng Zhao, Chunming Hu,
- Abstract要約: 本研究は,リソース制約エッジデバイス,すなわちHGNASに適した,ハードウェア対応の新たなグラフニューラルネットワーク探索フレームワークを提案する。
HGNASは効率的なGNNハードウェア性能予測器を統合し、ミリ秒でGNNのレイテンシとピークメモリ使用率を評価する。
ModelNet40のDGCNNと比較して、最大10.6倍のスピードアップと82.5%のピークメモリ削減を実現している。
- 参考スコア（独自算出の注目度）: 11.1990060370675
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph Neural Networks (GNNs) are becoming increasingly popular for graph-based learning tasks such as point cloud processing due to their state-of-the-art (SOTA) performance. Nevertheless, the research community has primarily focused on improving model expressiveness, lacking consideration of how to design efficient GNN models for edge scenarios with real-time requirements and limited resources. Examining existing GNN models reveals varied execution across platforms and frequent Out-Of-Memory (OOM) problems, highlighting the need for hardware-aware GNN design. To address this challenge, this work proposes a novel hardware-aware graph neural architecture search framework tailored for resource constraint edge devices, namely HGNAS. To achieve hardware awareness, HGNAS integrates an efficient GNN hardware performance predictor that evaluates the latency and peak memory usage of GNNs in milliseconds. Meanwhile, we study GNN memory usage during inference and offer a peak memory estimation method, enhancing the robustness of architecture evaluations when combined with predictor outcomes. Furthermore, HGNAS constructs a fine-grained design space to enable the exploration of extreme performance architectures by decoupling the GNN paradigm. In addition, the multi-stage hierarchical search strategy is leveraged to facilitate the navigation of huge candidates, which can reduce the single search time to a few GPU hours. To the best of our knowledge, HGNAS is the first automated GNN design framework for edge devices, and also the first work to achieve hardware awareness of GNNs across different platforms. Extensive experiments across various applications and edge devices have proven the superiority of HGNAS. It can achieve up to a 10.6x speedup and an 82.5% peak memory reduction with negligible accuracy loss compared to DGCNN on ModelNet40.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、最先端(SOTA)のパフォーマンスのため、ポイントクラウド処理などのグラフベースの学習タスクで人気が高まっている。
それにもかかわらず、研究コミュニティは主にモデル表現性の改善に重点を置いており、リアルタイム要件と限られたリソースを持つエッジシナリオのための効率的なGNNモデルを設計する方法を考慮していない。
既存のGNNモデルを調べると、プラットフォーム間でのさまざまな実行と頻繁なout-Of-Memory(OOM)問題を明らかにし、ハードウェア対応のGNN設計の必要性を強調している。
この課題に対処するために、リソース制約エッジデバイス、すなわちHGNASに適した、ハードウェア対応の新たなグラフニューラルネットワーク検索フレームワークを提案する。
ハードウェア認識を実現するため、HGNASはGNNハードウェアの性能予測器を統合し、ミリ秒でGNNのレイテンシとピークメモリ使用率を評価する。
一方,推定時のGNNメモリ使用率について検討し,予測結果と組み合わせた場合のアーキテクチャ評価の堅牢性を高めるため,ピークメモリ推定手法を提案する。
さらに、HGNASは、GNNパラダイムを分離することで、極端なパフォーマンスアーキテクチャの探索を可能にする、きめ細かい設計空間を構築している。
さらに、多段階階層型検索戦略を活用して、巨大な候補のナビゲーションを容易にすることにより、単一の検索時間をGPU時間に短縮することができる。
我々の知る限りでは、HGNASはエッジデバイスのための最初の自動GNN設計フレームワークであり、また異なるプラットフォーム間でGNNのハードウェア認識を達成するための最初の取り組みでもある。
様々なアプリケーションやエッジデバイスにわたる大規模な実験は、HGNASの優位性を証明している。
ModelNet40のDGCNNと比較して、最大10.6倍のスピードアップと82.5%のピークメモリ削減を実現している。
関連論文リスト
- MaGNAS: A Mapping-Aware Graph Neural Architecture Search Framework for
Heterogeneous MPSoC Deployment [8.29394286023338]
ヘテロジニアスMPSoCプラットフォーム上でのビジョンGNNワークロードの効率的な処理を実現するための新しい設計マッピング手法を提案する。
MaGNASは、2階層の進化的探索を用いて最適なGNNを特定し、最高のパフォーマンストレードオフをもたらすペアリングをマッピングする。
我々の実験結果によると、MaGNASは1.57倍のレイテンシ速度を提供でき、Xavier MPSoCで実行される複数のビジョンデータセットとGPUのみのデプロイメントでは3.38倍エネルギー効率が向上している。
論文 参考訳（メタデータ） (2023-07-16T14:56:50Z) - GHOST: A Graph Neural Network Accelerator using Silicon Photonics [4.226093500082746]
グラフニューラルネットワーク(GNN)は、グラフ構造化データからモデリングと学習を行うための強力なアプローチとして登場した。
GHOSTは、GNNのための最初のシリコンフォトニックハードウェアアクセラレータである。
論文 参考訳（メタデータ） (2023-07-04T15:37:20Z) - Hardware-Aware Graph Neural Network Automated Design for Edge Computing
Platforms [9.345807588929734]
HGNASは、リソース制約エッジデバイスをターゲットにした最初のハードウェア対応グラフニューラルネットワーク検索フレームワークとして提案されている。
その結果、HGNASは、様々なエッジデバイス上でのDGCNNと比較して、無視できる精度の損失で、約10.6倍のスピードアップと8.2%のピークメモリ削減を達成できることがわかった。
論文 参考訳（メタデータ） (2023-03-20T05:18:31Z) - LazyGNN: Large-Scale Graph Neural Networks via Lazy Propagation [51.552170474958736]
グラフ表現学習においてより効率的なモデルであるLazyGNNを実現するために,より深いモデルではなく,より浅いモデルによってグラフの長距離依存性をキャプチャすることを提案する。
LazyGNNは、ミニバッチのLazyGNNの開発を通じてさらに加速するために、既存のスケーラブルなアプローチ(サンプリング方法など)と互換性がある。
総合的な実験は、大規模なベンチマークで優れた予測性能とスケーラビリティを示す。
論文 参考訳（メタデータ） (2023-02-03T02:33:07Z) - A Comprehensive Study on Large-Scale Graph Training: Benchmarking and
Rethinking [124.21408098724551]
グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である
本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。
提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
論文 参考訳（メタデータ） (2022-10-14T03:43:05Z) - Hardware/Software Co-Programmable Framework for Computational SSDs to
Accelerate Deep Learning Service on Large-Scale Graphs [8.698995648930806]
グラフニューラルネットワーク(GNN)は、100億のエッジからなる大規模グラフを処理する。
高速でエネルギー効率のよいGNN処理のための,使い易く,ほぼ保存可能な推論基盤を提供する,大規模グラフの新たなディープラーニングフレームワークであるHolisticGNNを提案する。
論文 参考訳（メタデータ） (2022-01-23T06:08:18Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳（メタデータ） (2022-01-18T13:59:22Z) - BlockGNN: Towards Efficient GNN Acceleration Using Block-Circulant
Weight Matrices [9.406007544032848]
グラフニューラルネットワーク(GNN)は、非ユークリッドグラフデータを分析するための最先端のアルゴリズムです。
リアルタイムにGNNを推論する方法は、リソース制限のあるエッジコンピューティングプラットフォームでは難しい問題となっている。
効率的なGNN加速を実現するソフトウェアハードウェアの共同設計手法であるBlockGNNを提案する。
論文 参考訳（メタデータ） (2021-04-13T14:09:22Z) - Rethinking Graph Neural Network Search from Message-passing [120.62373472087651]
本稿では,新しい検索空間を設計したグラフニューラルアーキテクチャサーチ(GNAS)を提案する。
グラフニューラルアーキテクチャパラダイム(GAP:Graph Neural Architecture Paradigm)をツリートポロジー計算手順と2種類の微粒原子操作で設計します。
実験では、GNASは複数のメッセージ通過機構と最適なメッセージ通過深さを持つより良いGNNを探索できることを示しています。
論文 参考訳（メタデータ） (2021-03-26T06:10:41Z) - A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。
グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
論文 参考訳（メタデータ） (2021-02-12T21:52:43Z) - PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with
Pattern-based Weight Pruning [57.20262984116752]
粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。
きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
論文 参考訳（メタデータ） (2020-01-01T04:52:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。