論文の概要: Learned Low Precision Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2009.09232v1
• Date: Sat, 19 Sep 2020 13:51:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-16 20:54:09.506759
• Title: Learned Low Precision Graph Neural Networks
• Title（参考訳）: 低精度グラフニューラルネットワークの学習
• Authors: Yiren Zhao, Duo Wang, Daniel Bates, Robert Mullins, Mateja Jamnik, Pietro Lio
• Abstract要約: ネットワークアーキテクチャサーチ(NAS)を用いて,ニューラルネットワーク(GNN)を最小あるいは全く性能の損失なく体系的に定量化する方法を示す。 提案したNASメカニズムは、LPGNAS(Low Precision Graph NAS)と呼ばれ、アーキテクチャと量子化の選択を区別できるように制約する。 グラフ内の未確認ノードを分類するタスクを解決する8つの異なるデータセットにおいて、LPGNASはモデルサイズとバッファサイズの両方で大幅に削減された量子化されたモデルを生成する。
• 参考スコア（独自算出の注目度）: 10.269500440688306
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Graph Neural Networks (GNNs) show promising performance on a range of graph tasks, yet at present are costly to run and lack many of the optimisations applied to DNNs. We show, for the first time, how to systematically quantise GNNs with minimal or no loss in performance using Network Architecture Search (NAS). We define the possible quantisation search space of GNNs. The proposed novel NAS mechanism, named Low Precision Graph NAS (LPGNAS), constrains both architecture and quantisation choices to be differentiable. LPGNAS learns the optimal architecture coupled with the best quantisation strategy for different components in the GNN automatically using back-propagation in a single search round. On eight different datasets, solving the task of classifying unseen nodes in a graph, LPGNAS generates quantised models with significant reductions in both model and buffer sizes but with similar accuracy to manually designed networks and other NAS results. In particular, on the Pubmed dataset, LPGNAS shows a better size-accuracy Pareto frontier compared to seven other manual and searched baselines, offering a 2.3 times reduction in model size but a 0.4% increase in accuracy when compared to the best NAS competitor. Finally, from our collected quantisation statistics on a wide range of datasets, we suggest a W4A8 (4-bit weights, 8-bit activations) quantisation strategy might be the bottleneck for naive GNN quantisations.
• Abstract（参考訳）: ディープグラフニューラルネットワーク(GNN)は、さまざまなグラフタスクにおいて有望なパフォーマンスを示すが、現時点では実行にはコストがかかり、DNNに適用される最適化の多くを欠いている。 ネットワークアーキテクチャサーチ(NAS)を用いて,GNNを最小あるいは無性能で体系的に定量化する方法を初めて示す。 我々はgnnの量子化探索空間を定義する。 提案したNASメカニズムは、LPGNAS(Low Precision Graph NAS)と呼ばれ、アーキテクチャと量子化の選択を区別できるように制約する。 LPGNASは、単一の検索ラウンドでバックプロパゲーションを使用して、GNN内の様々なコンポーネントの最適な量子化戦略と組み合わせて最適なアーキテクチャを学習する。 8つの異なるデータセットにおいて、グラフ内の未確認ノードを分類するタスクを解決するため、LPGNASは、手動設計のネットワークや他のNAS結果に類似した精度で、モデルサイズとバッファサイズの両方が大幅に削減された量子化されたモデルを生成する。 特にPubmedデータセットでは、LPGNASは他の7つのマニュアルや検索されたベースラインと比較してパレートフロンティアの精度が向上し、モデルサイズは2.3倍削減されるが、NASの競合製品と比較して精度は0.4%向上する。 最後に, 広範囲なデータセットの量子化統計値から, W4A8(4ビット重み, 8ビットアクティベーション)の量子化戦略が, GNN量子化の障害となる可能性が示唆された。

関連論文リスト

• DiffusionNAG: Predictor-guided Neural Architecture Generation with Diffusion Models [56.584561770857306]
  本研究では拡散モデルに基づく新しい条件付きニューラルネットワーク生成(NAG)フレームワークDiffusionNAGを提案する。 具体的には、ニューラルネットワークを有向グラフとみなし、それらを生成するためのグラフ拡散モデルを提案する。 本研究では,2つの予測型NAS(Transferable NAS)とベイズ最適化(BO)に基づくNAS(Bayesian Optimization)の2つのシナリオにおいて,DiffusionNAGの有効性を検証する。 BOベースのアルゴリズムに統合されると、DiffusionNAGは既存のBOベースのNASアプローチ、特にImageNet 1Kデータセット上の大規模なMobileNetV3検索スペースよりも優れている。
  論文  参考訳（メタデータ） (2023-05-26T13:58:18Z)
• Do Not Train It: A Linear Neural Architecture Search of Graph Neural Networks [15.823247346294089]
  ニューラルアーキテクチャコーディング(NAC)という新しいNAS-GNN法を開発した。 当社のアプローチでは,最先端のパフォーマンスを実現しています。そのパフォーマンスは,強いベースラインよりも200倍高速で,18.8%の精度で実現しています。
  論文  参考訳（メタデータ） (2023-05-23T13:44:04Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• GHN-Q: Parameter Prediction for Unseen Quantized Convolutional Architectures via Graph Hypernetworks [80.29667394618625]
  我々は,未知の量子化CNNアーキテクチャのパラメータの予測にグラフハイパーネットを用いることを初めて検討した。 我々は、CNNの探索空間の縮小に着目し、GHN-Qが実際に8ビットの量子化されたCNNの量子化-ロバストパラメータを予測できることを見出した。
  論文  参考訳（メタデータ） (2022-08-26T08:00:02Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• Search to aggregate neighborhood for graph neural network [47.47628113034479]
  そこで本研究では,データ固有のGNNアーキテクチャを自動的に設計するためのフレームワークとして,SANE(Search to Aggregate NEighborhood)を提案する。 新規で表現力のある検索空間を設計することにより,従来の強化学習法よりも効率的である微分可能な探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-14T03:15:19Z)
• PEng4NN: An Accurate Performance Estimation Engine for Efficient Automated Neural Network Architecture Search [0.0]
  ニューラルネットワーク(NN)モデルは、科学シミュレーションやAI、その他の高性能コンピューティング分野でますます利用されている。 NASは、NN機能をキャプチャする主要なメトリクスによってパフォーマンスが測定される特殊なダットセットに対して、優れたパフォーマンスのNNモデルを見つけようとする。 本稿では,NNのトレーニングリソースを削減し,NASスループットを向上する性能推定手法を提案する。
  論文  参考訳（メタデータ） (2021-01-11T20:49:55Z)
• Degree-Quant: Quantization-Aware Training for Graph Neural Networks [10.330195866109312]
  グラフニューラルネットワーク(GNN)は、さまざまなタスクにおいて強力なパフォーマンスを示している。 彼らの約束にもかかわらず、推論時により効率的にする方法を探求する研究はほとんどない。 本稿では、既存の量子化対応トレーニングベースラインよりも性能を向上させるために、アーキテクチャに依存しないDegree-Quantを提案する。
  論文  参考訳（メタデータ） (2020-08-11T20:53:50Z)
• SGQuant: Squeezing the Last Bit on Graph Neural Networks with Specialized Quantization [16.09107108787834]
  本稿では,GNNのメモリ消費を体系的に低減する,特殊なGNN量子化スキームであるSGQuantを提案する。 SGQuantは、元の完全精度GNNと比較してメモリフットプリントを4.25倍から31.9倍に効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2020-07-09T22:42:34Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。