論文の概要: Fast Conditional Network Compression Using Bayesian HyperNetworks

• arxiv url: http://arxiv.org/abs/2205.06404v1
• Date: Fri, 13 May 2022 00:28:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-16 12:34:40.900271
• Title: Fast Conditional Network Compression Using Bayesian HyperNetworks
• Title（参考訳）: Bayesian HyperNetworks を用いた高速条件付きネットワーク圧縮
• Authors: Phuoc Nguyen, Truyen Tran, Ky Le, Sunil Gupta, Santu Rana, Dang Nguyen, Trong Nguyen, Shannon Ryan, and Svetha Venkatesh
• Abstract要約: 条件付き圧縮問題を導入し、それに取り組むための高速なフレームワークを提案する。 問題は、トレーニング済みの大規模ニューラルネットワークをターゲットコンテキストに応じて最適な小さなネットワークに素早く圧縮する方法である。 提案手法は, ベースライン方式よりもはるかに小型の圧縮ネットワークを高速に生成できる。
• 参考スコア（独自算出の注目度）: 54.06346724244786
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a conditional compression problem and propose a fast framework for tackling it. The problem is how to quickly compress a pretrained large neural network into optimal smaller networks given target contexts, e.g. a context involving only a subset of classes or a context where only limited compute resource is available. To solve this, we propose an efficient Bayesian framework to compress a given large network into much smaller size tailored to meet each contextual requirement. We employ a hypernetwork to parameterize the posterior distribution of weights given conditional inputs and minimize a variational objective of this Bayesian neural network. To further reduce the network sizes, we propose a new input-output group sparsity factorization of weights to encourage more sparseness in the generated weights. Our methods can quickly generate compressed networks with significantly smaller sizes than baseline methods.
• Abstract（参考訳）: 条件付き圧縮問題を導入し,それに取り組むための高速フレームワークを提案する。 問題は、クラスの一部分だけを含むコンテキストや、限られた計算リソースしか利用できないコンテキストなど、ターゲットコンテキストが与えられた場合、トレーニング済みの大規模ニューラルネットワークを最適に小さなネットワークに迅速に圧縮する方法である。 そこで本研究では,与えられた大規模ネットワークをより小さいサイズに圧縮し,各文脈条件を満たす効率的なベイズフレームワークを提案する。 我々は,与えられた条件入力の重みの後方分布をパラメータ化し,ベイズニューラルネットワークの変動目標を最小化する。 ネットワークサイズをさらに小さくするため,新たに重みの入出力群疎度分解を行い,重みの疎度向上を図る。 提案手法は,ベースライン法よりもかなり小型の圧縮ネットワークを高速に生成できる。

関連論文リスト

• Traversing Between Modes in Function Space for Fast Ensembling [15.145136272169946]
  ブリッジ」は、元のネットワークから最小限の機能を持つ軽量ネットワークであり、元のネットワークを前方通過することなく、低損失部分空間の出力を予測する。 我々は,橋梁ネットワークを実際に訓練し,橋梁ネットワークの助けを借りて推論コストを大幅に削減できることを実証的に実証した。
  論文  参考訳（メタデータ） (2023-06-20T05:52:26Z)
• A Theoretical Understanding of Neural Network Compression from Sparse Linear Approximation [37.525277809849776]
  モデル圧縮の目標は、同等のパフォーマンスを維持しながら、大きなニューラルネットワークのサイズを減らすことだ。 圧縮性を特徴付けるためにスペーサ感度$ell_q$-normを使用し、ネットワーク内の重みの柔らかいスペーサと圧縮度の関係を提供する。 また,ネットワーク上で各ニューロンを切断する適応アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-06-11T20:10:35Z)
• Low-Rank+Sparse Tensor Compression for Neural Networks [11.632913694957868]
  本稿では,低ランクテンソル分解とスパースプルーニングを組み合わせることで,圧縮の粗さと微細構造を両立させることを提案する。 我々はSOTAアーキテクチャ(MobileNetv3、EfficientNet、Vision Transformer)の重みを圧縮し、この手法をスパースプルーニングとテンソル分解だけで比較する。
  論文  参考訳（メタデータ） (2021-11-02T15:55:07Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• Compressing Neural Networks: Towards Determining the Optimal Layer-wise Decomposition [62.41259783906452]
  本稿では,ディープニューラルネットワークのための新しいグローバル圧縮フレームワークを提案する。 各層を自動的に解析し、最適な層間圧縮比を特定する。 我々の結果は、現代のニューラルネットワークのグローバルなパフォーマンス-サイズトレードオフに関する将来の研究のための新たな道を開く。
  論文  参考訳（メタデータ） (2021-07-23T20:01:30Z)
• Synthesis and Pruning as a Dynamic Compression Strategy for Efficient Deep Neural Networks [1.8275108630751844]
  本稿では,学習時の脳の行動から直接引き出す,フィードフォワードネットワークのための新しい戦略的合成アルゴリズムを提案する。 ランダム選択を提唱する既存のアプローチとは異なり、我々は高いパフォーマンスのノードを新しいエッジの出発点として選択する。 この戦略は、有用な接続を生成し、結果としてネットワーク構造を小さくすることを目的としている。
  論文  参考訳（メタデータ） (2020-11-23T12:30:57Z)
• Permute, Quantize, and Fine-tune: Efficient Compression of Neural Networks [70.0243910593064]
  ベクトル量子化の成功の鍵は、どのパラメータ群を一緒に圧縮するかを決定することである。 本稿では,隣り合う2つの層の重みを同じ関数を表現しながら不変にすることができることを観察する。 次に、レート歪み理論への接続を確立し、圧縮し易いネットワークとなる置換を探索する。
  論文  参考訳（メタデータ） (2020-10-29T15:47:26Z)
• ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
  簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
  論文  参考訳（メタデータ） (2020-06-28T23:09:27Z)
• Structured Sparsification with Joint Optimization of Group Convolution and Channel Shuffle [117.95823660228537]
  本稿では,効率的なネットワーク圧縮のための新しい構造空間分割法を提案する。 提案手法は, 畳み込み重みに対する構造的疎度を自動的に誘導する。 また,学習可能なチャネルシャッフル機構によるグループ間通信の問題にも対処する。
  論文  参考訳（メタデータ） (2020-02-19T12:03:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。