論文の概要: Neuroevolution-Enhanced Multi-Objective Optimization for Mixed-Precision
Quantization
- arxiv url: http://arxiv.org/abs/2106.07611v1
- Date: Mon, 14 Jun 2021 17:15:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-15 19:07:33.668283
- Title: Neuroevolution-Enhanced Multi-Objective Optimization for Mixed-Precision
Quantization
- Title(参考訳): 混合精度量子化のための神経進化強化多目的最適化
- Authors: Santiago Miret, Vui Seng Chua, Mattias Marder, Mariano Phielipp,
Nilesh Jain, Somdeb Majumdar
- Abstract要約: 混合精度量子化は、ニューラルネットワークワークロードのメモリと計算の節約を可能にする強力なツールである。
近年の研究では、混合精密量子化技術の適用が顕著に進んでいる。
自動混合精度量子化のためのフレキシブルでスケーラブルなフレームワークを提案する。
- 参考スコア(独自算出の注目度): 6.060757543617328
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mixed-precision quantization is a powerful tool to enable memory and compute
savings of neural network workloads by deploying different sets of bit-width
precisions on separate compute operations. Recent research has shown
significant progress in applying mixed-precision quantization techniques to
reduce the memory footprint of various workloads, while also preserving task
performance. Prior work, however, has often ignored additional objectives, such
as bit-operations, that are important for deployment of workloads on hardware.
Here we present a flexible and scalable framework for automated mixed-precision
quantization that optimizes multiple objectives. Our framework relies on
Neuroevolution-Enhanced Multi-Objective Optimization (NEMO), a novel search
method, to find Pareto optimal mixed-precision configurations for memory and
bit-operations objectives. Within NEMO, a population is divided into
structurally distinct sub-populations (species) which jointly form the Pareto
frontier of solutions for the multi-objective problem. At each generation,
species are re-sized in proportion to the goodness of their contribution to the
Pareto frontier. This allows NEMO to leverage established search techniques and
neuroevolution methods to continually improve the goodness of the Pareto
frontier. In our experiments we apply a graph-based representation to describe
the underlying workload, enabling us to deploy graph neural networks trained by
NEMO to find Pareto optimal configurations for various workloads trained on
ImageNet. Compared to the state-of-the-art, we achieve competitive results on
memory compression and superior results for compute compression for
MobileNet-V2, ResNet50 and ResNeXt-101-32x8d. A deeper analysis of the results
obtained by NEMO also shows that both the graph representation and the
species-based approach are critical in finding effective configurations for all
workloads.
- Abstract(参考訳): mixed-precision quantizationは、異なるビット幅精度セットを別々の計算操作に配置することで、ニューラルネットワークワークロードのメモリと計算の節約を可能にする強力なツールである。
近年の研究では、様々なワークロードのメモリフットプリントを削減するために混合精度量子化技術を適用し、タスク性能も維持している。
しかし、以前の作業は、ハードウェアへのワークロードのデプロイにおいて重要なビット操作のような追加の目的を無視してきた。
本稿では,複数の目的を最適化する自動混合精度量子化のためのフレキシブルでスケーラブルなフレームワークを提案する。
我々のフレームワークは,新しい探索法であるnemo(neuroevolution-enhanced multi-objective optimization)を用いて,メモリとビット操作の目的に対してparetoの最適混合精度設定を求める。
NEMOでは、集団は構造的に異なるサブ集団(種)に分けられ、多目的問題の解のパレートフロンティアを共同で形成する。
各世代において、種はパレートフロンティアへの貢献の良さに比例して再サイズされる。
これによりNEMOは確立した探索技術と神経進化手法を活用し、パレートフロンティアの良さを継続的に改善することができる。
実験では、基礎となるワークロードを記述するためにグラフベースの表現を適用し、NEMOがトレーニングしたグラフニューラルネットワークをデプロイして、ImageNetでトレーニングされたさまざまなワークロードに対して、Paretoの最適設定を見つけることができます。
現状と比較すると,MobileNet-V2,ResNet50,ResNeXt-101-32x8dのメモリ圧縮と計算圧縮の競争的な結果が得られる。
NEMOによる結果のより深い分析は、グラフ表現と種に基づくアプローチの両方が、すべてのワークロードに効果的な構成を見つける上で重要であることを示している。
関連論文リスト
- Deep learning enhanced mixed integer optimization: Learning to reduce
model dimensionality [0.0]
この研究は、MIP(Mixed-Integer Programming)モデルに固有の計算複雑性に対処するフレームワークを導入する。
フィードフォワードニューラルネットワーク(ANN)と畳み込みニューラルネットワーク(CNN)のMIP問題における活性次元の近似における有効性を比較した。
論文 参考訳(メタデータ) (2024-01-17T19:15:13Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳(メタデータ) (2023-09-02T11:01:16Z) - BOtied: Multi-objective Bayesian optimization with tied multivariate
ranks [49.85896045032822]
非支配解と最高多変量階との自然な関係を示し、これは合同累積分布関数(CDF)の最外層線と一致する。
我々はCDFインジケータに基づくBOtiedと呼ばれる取得関数を提案する。
論文 参考訳(メタデータ) (2023-06-01T04:50:06Z) - Augmented Random Search for Multi-Objective Bayesian Optimization of
Neural Networks [1.4050836886292872]
ディープニューラルネットワーク(DNN)の圧縮に多目的最適化アプローチを用いることができる
本稿では,RL(Augmented Random Search Reinforcement Learning)エージェントを用いて学習した,競合するパラメトリックポリシーのアンサンブルに基づく新しい解法を提案する。
提案手法は, DNNの予測精度, 所定のターゲットシステムにおけるメモリ消費量, 計算複雑性の相違点を明らかにすることを目的としている。
論文 参考訳(メタデータ) (2023-05-23T14:31:52Z) - Vertical Layering of Quantized Neural Networks for Heterogeneous
Inference [57.42762335081385]
量子化モデル全体を1つのモデルにカプセル化するための,ニューラルネットワーク重みの新しい垂直層表現について検討する。
理論的には、1つのモデルのトレーニングとメンテナンスのみを必要としながら、オンデマンドサービスの正確なネットワークを達成できます。
論文 参考訳(メタデータ) (2022-12-10T15:57:38Z) - BiTAT: Neural Network Binarization with Task-dependent Aggregated
Transformation [116.26521375592759]
量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。
コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。
本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
論文 参考訳(メタデータ) (2022-07-04T13:25:49Z) - Consolidated learning -- a domain-specific model-free optimization
strategy with examples for XGBoost and MIMIC-IV [4.370097023410272]
本稿では,統合学習と呼ばれるチューニング問題の新たな定式化を提案する。
このような設定では、単一のタスクをチューニングするよりも、全体の最適化時間に関心があります。
我々は,XGBoostアルゴリズムの実証研究とMIMIC-IV医療データベースから抽出した予測タスクの収集を通じて,このアプローチの有効性を実証する。
論文 参考訳(メタデータ) (2022-01-27T21:38:53Z) - Video Coding for Machine: Compact Visual Representation Compression for
Intelligent Collaborative Analytics [101.35754364753409]
Video Coding for Machines (VCM) は、ビデオ/画像圧縮と特徴圧縮をある程度別々の研究トラックにブリッジすることを約束している。
本稿では,既存の学術・産業活動に基づくVCM方法論と哲学を要約する。
論文 参考訳(メタデータ) (2021-10-18T12:42:13Z) - Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。
我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。
コア最適化問題の実用的なパラメトリゼーションを提供する。
論文 参考訳(メタデータ) (2021-07-08T18:01:02Z) - Ensembles of Spiking Neural Networks [0.3007949058551534]
本稿では,最先端の結果を生み出すスパイクニューラルネットワークのアンサンブルを構築する方法について述べる。
MNIST, NMNIST, DVS Gestureデータセットの分類精度は98.71%, 100.0%, 99.09%である。
我々は、スパイキングニューラルネットワークをGLM予測器として形式化し、ターゲットドメインに適した表現を識別する。
論文 参考訳(メタデータ) (2020-10-15T17:45:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。