論文の概要: A Novel Structure-Agnostic Multi-Objective Approach for Weight-Sharing Compression in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2501.03095v1
• Date: Mon, 06 Jan 2025 15:51:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:09:46.309408
• Title: A Novel Structure-Agnostic Multi-Objective Approach for Weight-Sharing Compression in Deep Neural Networks
• Title（参考訳）: 深部ニューラルネットワークにおける重み共有圧縮のための構造非依存多目的手法
• Authors: Rasa Khosrowshahli, Shahryar Rahnamayan, Beatrice Ombuki-Berman,
• Abstract要約: 本稿では、ニューラルネットワークアーキテクチャ、次元、タスク、データセットに依存しない多目的進化的アルゴリズム(MOEA)に基づく圧縮フレームワークを提案する。 ネットワークの重みを1つのコードブックに量子化し、効率的な重み表現を行う。 実験結果は、CIFAR-10で13.72 sim14.98倍、CIFAR-100で11.61 sim 12.99倍、ImageNetで7.44 sim 8.58倍のニューラルネットワークメモリを削減できることを示している。
• 参考スコア（独自算出の注目度）: 0.24578723416255746
• License:
• Abstract: Deep neural networks suffer from storing millions and billions of weights in memory post-training, making challenging memory-intensive models to deploy on embedded devices. The weight-sharing technique is one of the popular compression approaches that use fewer weight values and share across specific connections in the network. In this paper, we propose a multi-objective evolutionary algorithm (MOEA) based compression framework independent of neural network architecture, dimension, task, and dataset. We use uniformly sized bins to quantize network weights into a single codebook (lookup table) for efficient weight representation. Using MOEA, we search for Pareto optimal $k$ bins by optimizing two objectives. Then, we apply the iterative merge technique to non-dominated Pareto frontier solutions by combining neighboring bins without degrading performance to decrease the number of bins and increase the compression ratio. Our approach is model- and layer-independent, meaning the weights are mixed in the clusters from any layer, and the uniform quantization method used in this work has $O(N)$ complexity instead of non-uniform quantization methods such as k-means with $O(Nkt)$ complexity. In addition, we use the center of clusters as the shared weight values instead of retraining shared weights, which is computationally expensive. The advantage of using evolutionary multi-objective optimization is that it can obtain non-dominated Pareto frontier solutions with respect to performance and shared weights. The experimental results show that we can reduce the neural network memory by $13.72 \sim14.98 \times$ on CIFAR-10, $11.61 \sim 12.99\times$ on CIFAR-100, and $7.44 \sim 8.58\times$ on ImageNet showcasing the effectiveness of the proposed deep neural network compression framework.
• Abstract（参考訳）: ディープニューラルネットワークは、トレーニング後のメモリに数百万から数十億の重みを格納することに悩まされており、組み込みデバイスにデプロイするメモリ集約モデルに挑戦している。 重み共有技術は、より少ない重み値を使用し、ネットワーク内の特定の接続間で共有する一般的な圧縮手法の1つである。 本稿では,ニューラルネットワークアーキテクチャ,次元,タスク,データセットに依存しない多目的進化的アルゴリズム(MOEA)に基づく圧縮フレームワークを提案する。 ネットワーク重みを1つのコードブック(ルックアップテーブル)に量子化し、効率的な重み表現を行う。 MOEAを用いて2つの目的を最適化することにより、Paretoの最適$k$ビンを探索する。 次に, 隣り合うビンを劣化させることなく組み合わせ, 圧縮比を増大させることにより, 非支配的なパレートフロンティアソリューションに反復的マージ手法を適用した。 我々のアプローチはモデルと層非依存であり、すなわち、重みは任意の層からクラスターに混合され、この研究で使用される一様量子化法は、k-means や $O(Nkt) のような非一様量子化法の代わりに$O(N)$複雑性を持つ。 さらに、計算コストのかかる共有重みをトレーニングする代わりに、クラスタの中心を共有重み値として使用する。 進化的多目的最適化の利点は、性能と共有重みに関する非支配的なパレートフロンティア解が得られることである。 実験結果は、CIFAR-10上の13.72 \sim14.98 \times$、CIFAR-100上の11.61 \sim 12.99\times$、ImageNet上の7.44 \sim 8.58\times$により、提案されたディープニューラルネットワーク圧縮フレームワークの有効性を示す。

関連論文リスト

• MPruner: Optimizing Neural Network Size with CKA-Based Mutual Information Pruning [7.262751938473306]
  プルーニング(Pruning)は、ニューラルネットワークのサイズを減らし、数学的に精度の保存を保証している、よく確立されたテクニックである。 我々は,ベクトル類似性により相互情報を活用する新しいプルーニングアルゴリズムMPrunerを開発した。 MPrunerはCNNとトランスフォーマーベースのモデルで最大50%のパラメータとメモリ使用量の削減を実現した。
  論文  参考訳（メタデータ） (2024-08-24T05:54:47Z)
• "Lossless" Compression of Deep Neural Networks: A High-dimensional Neural Tangent Kernel Approach [49.744093838327615]
  広帯域かつ完全接続型エンフディープニューラルネットに対する新しい圧縮手法を提案する。 提案手法の利点を支えるために, 合成データと実世界のデータの両方の実験を行った。
  論文  参考訳（メタデータ） (2024-03-01T03:46:28Z)
• Post-Training Quantization for Re-parameterization via Coarse & Fine Weight Splitting [13.270381125055275]
  本稿では,重みの量子化誤差を低減するために,粗大かつ微細な重み分割法(CFWS)を提案する。 我々は、活性化のための最適な量子化尺度を決定するために改良されたKLメトリックを開発した。 例えば、量子化されたRepVGG-A1モデルは、わずか0.3%の精度損失を示す。
  論文  参考訳（メタデータ） (2023-12-17T02:31:20Z)
• Learning to Compose SuperWeights for Neural Parameter Allocation Search [61.078949532440724]
  提案手法は,同じ重み集合を用いて多くのネットワークに対してパラメータを生成することができることを示す。 これにより、効率的なアンサンブルや、いつでも予測できるようなタスクをサポートできます。
  論文  参考訳（メタデータ） (2023-12-03T04:20:02Z)
• Sparse Random Networks for Communication-Efficient Federated Learning [23.614934319624826]
  連合学習における大きな課題の1つは、各ラウンドでクライアントからサーバへの重み付け更新を交換する通信コストが大きいことである。 重みをまったく更新しない、根本的に異なるアプローチを提案する。 代わりに,本手法は,初期エンファンドム値の重みを凍結し,最適な性能を得るためにランダムネットワークのスパース化方法を学ぶ。
  論文  参考訳（メタデータ） (2022-09-30T09:11:09Z)
• BiTAT: Neural Network Binarization with Task-dependent Aggregated Transformation [116.26521375592759]
  量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。 コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。 本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
  論文  参考訳（メタデータ） (2022-07-04T13:25:49Z)
• Fast Conditional Network Compression Using Bayesian HyperNetworks [54.06346724244786]
  条件付き圧縮問題を導入し、それに取り組むための高速なフレームワークを提案する。 問題は、トレーニング済みの大規模ニューラルネットワークをターゲットコンテキストに応じて最適な小さなネットワークに素早く圧縮する方法である。 提案手法は, ベースライン方式よりもはるかに小型の圧縮ネットワークを高速に生成できる。
  論文  参考訳（メタデータ） (2022-05-13T00:28:35Z)
• ECQ$^{\text{x}}$: Explainability-Driven Quantization for Low-Bit and Sparse DNNs [13.446502051609036]
  我々はディープニューラルネットワーク(DNN)のための新しい量子化パラダイムを開発し、記述する。 本手法は,説明可能なAI(XAI)の概念と情報理論の概念を活用する。 最終的な目標は、最高の情報内容の量子化クラスタにおいて、最も関連性の高い重みを維持することである。
  論文  参考訳（メタデータ） (2021-09-09T12:57:06Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。