論文の概要: GHN-Q: Parameter Prediction for Unseen Quantized Convolutional
Architectures via Graph Hypernetworks
- arxiv url: http://arxiv.org/abs/2208.12489v1
- Date: Fri, 26 Aug 2022 08:00:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-29 12:26:24.620433
- Title: GHN-Q: Parameter Prediction for Unseen Quantized Convolutional
Architectures via Graph Hypernetworks
- Title（参考訳）: GHN-Q:グラフハイパーネットによる未確認量子化畳み込みアーキテクチャのパラメータ予測
- Authors: Stone Yun, Alexander Wong
- Abstract要約: 我々は,未知の量子化CNNアーキテクチャのパラメータの予測にグラフハイパーネットを用いることを初めて検討した。
我々は、CNNの探索空間の縮小に着目し、GHN-Qが実際に8ビットの量子化されたCNNの量子化-ロバストパラメータを予測できることを見出した。
- 参考スコア（独自算出の注目度）: 95.14986939536361
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Deep convolutional neural network (CNN) training via iterative optimization
has had incredible success in finding optimal parameters. However, modern CNN
architectures often contain millions of parameters. Thus, any given model for a
single architecture resides in a massive parameter space. Models with similar
loss could have drastically different characteristics such as adversarial
robustness, generalizability, and quantization robustness. For deep learning on
the edge, quantization robustness is often crucial. Finding a model that is
quantization-robust can sometimes require significant efforts. Recent works
using Graph Hypernetworks (GHN) have shown remarkable performance predicting
high-performant parameters of varying CNN architectures. Inspired by these
successes, we wonder if the graph representations of GHN-2 can be leveraged to
predict quantization-robust parameters as well, which we call GHN-Q. We conduct
the first-ever study exploring the use of graph hypernetworks for predicting
parameters of unseen quantized CNN architectures. We focus on a reduced CNN
search space and find that GHN-Q can in fact predict quantization-robust
parameters for various 8-bit quantized CNNs. Decent quantized accuracies are
observed even with 4-bit quantization despite GHN-Q not being trained on it.
Quantized finetuning of GHN-Q at lower bitwidths may bring further improvements
and is currently being explored.
- Abstract（参考訳）: 反復最適化による深層畳み込みニューラルネットワーク(CNN)トレーニングは、最適なパラメータを見つけるのに驚くほど成功した。
しかし、現代のCNNアーキテクチャは数百万のパラメータを含むことが多い。
したがって、単一のアーキテクチャに対する任意のモデルは、巨大なパラメータ空間に存在する。
類似した損失を持つモデルは、逆ロバスト性、一般化性、量子化ロバスト性など、著しく異なる特性を持つ可能性がある。
エッジのディープラーニングでは、量子化の堅牢性が重要になることが多い。
量子化ロバストモデルを見つけるには、多大な労力を要することがある。
グラフハイパーネット(GHN)を用いた最近の研究は、様々なCNNアーキテクチャの高性能パラメータを予測する顕著な性能を示している。
これらの成功に触発されて、GHN-2のグラフ表現は、GHN-Qと呼ばれる量子化-ロバストパラメータの予測にも活用できるのだろうか。
量子化cnnアーキテクチャのパラメータ予測におけるグラフハイパーネットワークの利用を初めて検討した。
我々は、cnn探索空間の縮小に着目し、ghn-qが様々な8ビット量子化cnnの量子化-ロバストパラメータを実際に予測できることを見いだす。
ghn-qがトレーニングされていないにもかかわらず、4ビットの量子化でもまともな量子化アキュラシーが観察される。
低ビット幅でのGHN-Qの量子微調整はさらなる改善をもたらし、現在検討中である。
関連論文リスト
- Two Heads are Better Than One: Neural Networks Quantization with 2D Hilbert Curve-based Output Representation [3.4606942690643336]
本稿では,DNNの出力の冗長表現を用いた新しいDNN量子化手法を提案する。
このマッピングにより量子化誤差を低減できることを示す。
我々のアプローチはセグメンテーション、オブジェクト検出、キーポイント予測など他のタスクにも適用できる。
論文 参考訳（メタデータ） (2024-05-22T21:59:46Z) - GHN-QAT: Training Graph Hypernetworks to Predict Quantization-Robust
Parameters of Unseen Limited Precision Neural Networks [80.29667394618625]
Graph Hypernetworks(GHN)は、さまざまな未知のCNNアーキテクチャのパラメータを驚くほど高い精度で予測することができる。
予備研究は、8ビットおよび4ビットの量子化CNNの量子化-ロバストパラメータの予測にGHNを使うことを検討した。
4ビットの量子化CNNのGHN予測パラメータの量子化精度を大幅に向上できることを示す。
論文 参考訳（メタデータ） (2023-09-24T23:01:00Z) - A Comprehensive Study on Large-Scale Graph Training: Benchmarking and
Rethinking [124.21408098724551]
グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である
本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。
提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
論文 参考訳（メタデータ） (2022-10-14T03:43:05Z) - Toward Trainability of Quantum Neural Networks [87.04438831673063]
量子ニューラルネットワーク(QNN)は、量子スピードアップを達成するために古典的ニューラルネットワークの一般化として提案されている。
QNNのトレーニングには、入力キュービット数に指数関数的に勾配速度がなくなるため、非常に大きなボトルネックが存在する。
木テンソルとステップ制御された構造を持つQNNを二分分類に適用し,ランダムな構造を持つQNNと比較してより高速な収束率と精度を示す。
論文 参考訳（メタデータ） (2020-11-12T08:32:04Z) - Absence of Barren Plateaus in Quantum Convolutional Neural Networks [0.0]
量子畳み込みニューラルネットワーク(QCNN)が提案されている。
我々はQCNNアーキテクチャのパラメータの勾配スケーリングを厳格に分析する。
論文 参考訳（メタデータ） (2020-11-05T16:46:13Z) - Once Quantization-Aware Training: High Performance Extremely Low-bit
Architecture Search [112.05977301976613]
本稿では,ネットワークアーキテクチャ検索手法と量子化手法を組み合わせることで,両者のメリットを享受することを提案する。
まず、多数の量子化モデルを取得するために、共有ステップサイズでアーキテクチャと量子化の合同トレーニングを提案する。
次に、量子化されたモデルを低ビットに転送するためにビット継承方式を導入し、さらに時間コストを削減し、量子化精度を向上させる。
論文 参考訳（メタデータ） (2020-10-09T03:52:16Z) - Learned Low Precision Graph Neural Networks [10.269500440688306]
ネットワークアーキテクチャサーチ(NAS)を用いて,ニューラルネットワーク(GNN)を最小あるいは全く性能の損失なく体系的に定量化する方法を示す。
提案したNASメカニズムは、LPGNAS(Low Precision Graph NAS)と呼ばれ、アーキテクチャと量子化の選択を区別できるように制約する。
グラフ内の未確認ノードを分類するタスクを解決する8つの異なるデータセットにおいて、LPGNASはモデルサイズとバッファサイズの両方で大幅に削減された量子化されたモデルを生成する。
論文 参考訳（メタデータ） (2020-09-19T13:51:09Z) - Degree-Quant: Quantization-Aware Training for Graph Neural Networks [10.330195866109312]
グラフニューラルネットワーク(GNN)は、さまざまなタスクにおいて強力なパフォーマンスを示している。
彼らの約束にもかかわらず、推論時により効率的にする方法を探求する研究はほとんどない。
本稿では、既存の量子化対応トレーニングベースラインよりも性能を向上させるために、アーキテクチャに依存しないDegree-Quantを提案する。
論文 参考訳（メタデータ） (2020-08-11T20:53:50Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳（メタデータ） (2020-02-03T04:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。