Fugu-MT 論文翻訳(概要): Finding Non-Uniform Quantization Schemes using Multi-Task Gaussian Processes

論文の概要: Finding Non-Uniform Quantization Schemes using Multi-Task Gaussian Processes

arxiv url: http://arxiv.org/abs/2007.07743v2
Date: Mon, 20 Jul 2020 09:46:24 GMT
ステータス: 処理完了
システム内更新日: 2022-11-10 06:02:07.452504
Title: Finding Non-Uniform Quantization Schemes using Multi-Task Gaussian Processes
Title（参考訳）: マルチタスクガウス過程を用いた非均一量子化スキームの探索
Authors: Marcelo Gennari do Nascimento, Theo W. Costain, Victor Adrian Prisacariu
Abstract要約: その結果,最後の層では精度が著しく低いため,メモリの節約を図りながら精度の低下が最小限に抑えられることがわかった。我々は,VGG,ResNet,GoogLeNetアーキテクチャを用いて,CIFAR10およびImageNetデータセット上で実験を行った。
参考スコア（独自算出の注目度）: 12.798516310559375
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We propose a novel method for neural network quantization that casts the neural architecture search problem as one of hyperparameter search to find non-uniform bit distributions throughout the layers of a CNN. We perform the search assuming a Multi-Task Gaussian Processes prior, which splits the problem to multiple tasks, each corresponding to different number of training epochs, and explore the space by sampling those configurations that yield maximum information. We then show that with significantly lower precision in the last layers we achieve a minimal loss of accuracy with appreciable memory savings. We test our findings on the CIFAR10 and ImageNet datasets using the VGG, ResNet and GoogLeNet architectures.
Abstract（参考訳）: 本稿では,ニューラルネットワークの量子化手法を提案する。ニューラルネットワークの探索問題をハイパーパラメータ探索の1つとして,CNNの層全体に一様でないビット分布を求める。問題を複数のタスクに分割し、それぞれ異なるトレーニング期間に対応するマルチタスクガウス処理を前提とした探索を行い、最大情報が得られる構成をサンプリングして空間を探索する。次に、最後のレイヤで大幅に精度を下げることで、メモリの節約を達成できる精度の低下が最小限に抑えられることを示す。我々は、VGG、ResNet、GoogLeNetアーキテクチャを用いて、CIFAR10およびImageNetデータセット上で実験を行った。

関連論文リスト

SimQ-NAS: Simultaneous Quantization Policy and Neural Architecture Search [6.121126813817338]
最近のワンショットニューラルネットワーク検索アルゴリズムは、特定のタスクに適したハードウェアに依存しないスーパーネットワークをトレーニングし、異なるハードウェアプラットフォームのための効率的なサブネットワークを抽出する。我々は,光学習された予測器と組み合わせた多目的探索アルゴリズムを用いることで,サブネットワークアーキテクチャとそれに対応する量子化ポリシーの両方を効率的に探索できることを示す。
論文参考訳（メタデータ） (2023-12-19T22:08:49Z)
OFA$^2$: A Multi-Objective Perspective for the Once-for-All Neural Architecture Search [79.36688444492405]
once-for-All(OFA)は、異なるリソース制約を持つデバイスのための効率的なアーキテクチャを探索する問題に対処するために設計された、ニューラルネットワーク検索(NAS)フレームワークである。我々は,探索段階を多目的最適化問題として明示的に考えることにより,効率の追求を一歩進めることを目指している。
論文参考訳（メタデータ） (2023-03-23T21:30:29Z)
Effective and Fast: A Novel Sequential Single Path Search for Mixed-Precision Quantization [45.22093693422085]
混合精度量子化モデルは、異なる層の感度に応じて異なる量子化ビット精度にマッチし、優れた性能を達成できます。いくつかの制約に従ってディープニューラルネットワークにおける各層の量子化ビット精度を迅速に決定することは難しい問題である。混合精度量子化のための新規なシーケンシャルシングルパス探索(SSPS)法を提案する。
論文参考訳（メタデータ） (2021-03-04T09:15:08Z)
A Greedy Algorithm for Quantizing Neural Networks [4.683806391173103]
本稿では,事前学習したニューラルネットワークの重みを定量化するための計算効率のよい新しい手法を提案する。本手法は,複雑な再学習を必要とせず,反復的に層を定量化する手法である。
論文参考訳（メタデータ） (2020-10-29T22:53:10Z)
MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。我々は精度-速度トレードオフの観点から最先端の結果を得る。
論文参考訳（メタデータ） (2020-09-29T11:56:01Z)
VINNAS: Variational Inference-based Neural Network Architecture Search [2.685668802278155]
スパース畳み込みニューラルネットワークを探索するための可変変分推論に基づくNAS法を提案する。提案手法は,非ゼロパラメータの約2倍の精度で最先端の精度を示しながら,多様なネットワークセルを探索する。
論文参考訳（メタデータ） (2020-07-12T21:47:35Z)
DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
論文参考訳（メタデータ） (2020-05-29T09:02:16Z)
Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
論文参考訳（メタデータ） (2020-04-17T19:12:39Z)
Finding the Optimal Network Depth in Classification Tasks [10.248235276871258]
複数の分類器ヘッドを用いた軽量ニューラルネットワークの高速エンドツーエンド学習法を開発した。モデルが各ヘッドの重要性を決定することによって、ネットワークの不要なコンポーネントを検出し、取り除くことができる。
論文参考訳（メタデータ） (2020-04-17T11:08:45Z)
MTL-NAS: Task-Agnostic Neural Architecture Search towards General-Purpose Multi-Task Learning [71.90902837008278]
汎用マルチタスク学習(GP-MTL)にニューラルアーキテクチャサーチ(NAS)を導入することを提案する。異なるタスクの組み合わせに対応するため、GP-MTLネットワークを単一タスクのバックボーンに分割する。また,探索されたアーキテクチャ間の性能ギャップを埋める単一ショット勾配に基づく探索アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-03-31T09:49:14Z)
NAS-Count: Counting-by-Density with Neural Architecture Search [74.92941571724525]
ニューラルアーキテクチャサーチ(NAS)を用いたカウントモデルの設計を自動化するエンド・ツー・エンドの検索エンコーダ・デコーダアーキテクチャであるAutomatic Multi-Scale Network(AMSNet)を導入する。
論文参考訳（メタデータ） (2020-02-29T09:18:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。