Fugu-MT 論文翻訳(概要): Shapley Pruning for Neural Network Compression

論文の概要: Shapley Pruning for Neural Network Compression

arxiv url: http://arxiv.org/abs/2407.15875v1
Date: Fri, 19 Jul 2024 11:42:54 GMT
ステータス: 処理完了
システム内更新日: 2024-07-24 21:44:53.235505
Title: Shapley Pruning for Neural Network Compression
Title（参考訳）: ニューラルネットワーク圧縮のためのShapley Pruning
Authors: Kamil Adamczewski, Yawei Li, Luc van Gool,
Abstract要約: この研究はShapley値近似を示し、ニューラルネットワーク圧縮の費用対効果の観点から比較分析を行う。提案した規範的ランキングとその近似は、最先端のネットワーク圧縮を得る実用的な結果を示す。
参考スコア（独自算出の注目度）: 63.60286036508473
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Neural network pruning is a rich field with a variety of approaches. In this work, we propose to connect the existing pruning concepts such as leave-one-out pruning and oracle pruning and develop them into a more general Shapley value-based framework that targets the compression of convolutional neural networks. To allow for practical applications in utilizing the Shapley value, this work presents the Shapley value approximations, and performs the comparative analysis in terms of cost-benefit utility for the neural network compression. The proposed ranks are evaluated against a new benchmark, Oracle rank, constructed based on oracle sets. The broad experiments show that the proposed normative ranking and its approximations show practical results, obtaining state-of-the-art network compression.
Abstract（参考訳）: ニューラルネットワークプルーニングは、様々なアプローチを持つリッチフィールドである。そこで本研究では,既存プルーニングの概念であるLeft-one-out pruningやOracle pruningを結合して,畳み込みニューラルネットワークの圧縮をターゲットとした,より一般的なShapley値ベースのフレームワークを構築することを提案する。この研究は、Shapley値を利用するための実用的な応用を可能にするため、Shapley値近似を示し、ニューラルネットワーク圧縮の費用対効果の観点から比較分析を行う。提案されたランクは、オラクルのランクである新しいベンチマークに対して評価される。広範に実験した結果,提案した規範的ランキングとその近似は実効性を示し,最先端のネットワーク圧縮が得られた。

関連論文リスト

Sparsest Models Elude Pruning: An Exposé of Pruning's Current Capabilities [4.842973374883628]
プルーニングは大規模モデルを圧縮するための有望なアプローチとして現れてきたが、モデルの範囲を回復する効果はまだ検討されていない。我々は485,838の実験を行い、キュビストスパイラルと名付けられた合成データセットに最先端のプルーニングアルゴリズムを適用した。そこで本研究では,新たな探索アルゴリズムによって同定した,理想的なスパースネットワークと比較して,性能の差が顕著であった。
論文参考訳（メタデータ） (2024-07-04T17:33:15Z)
Fast Shapley Value Estimation: A Unified Approach [71.92014859992263]
冗長な手法を排除し、単純で効率的なシェープリー推定器SimSHAPを提案する。既存手法の解析において、推定器は特徴部分集合からランダムに要約された値の線形変換として統一可能であることを観察する。実験により,SimSHAPの有効性が検証され,精度の高いShapley値の計算が大幅に高速化された。
論文参考訳（メタデータ） (2023-11-02T06:09:24Z)
Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文参考訳（メタデータ） (2022-08-08T03:13:24Z)
i-SpaSP: Structured Neural Pruning via Sparse Signal Recovery [11.119895959906085]
ニューラルネットワークのための新しい構造化プルーニングアルゴリズム - i-SpaSPと呼ばれる反復型スパース構造化プルーニングを提案する。 i-SpaSPはネットワーク内の重要なパラメータ群を識別することで動作し、プルーニングされたネットワーク出力と高密度なネットワーク出力の残差に最も寄与する。高い性能のサブネットワークを発見し, 証明可能なベースライン手法のプルーニング効率を, 数桁の精度で向上させることが示されている。
論文参考訳（メタデータ） (2021-12-07T05:26:45Z)
On the Compression of Neural Networks Using $\ell_0$-Norm Regularization and Weight Pruning [0.9821874476902968]
本稿では,ニューラルネットワークのための新しい圧縮スキームの開発に焦点をあてる。トレーニング中にネットワークに強いスパース性を誘導できる新たな正規化方式が最初に開発された。提案手法では、オーバーフィッティングを回避するために$ell$-norm正規化と、プルーンドネットワークの性能向上のための微調整も含む。
論文参考訳（メタデータ） (2021-09-10T19:19:42Z)
Synthesis and Pruning as a Dynamic Compression Strategy for Efficient Deep Neural Networks [1.8275108630751844]
本稿では,学習時の脳の行動から直接引き出す,フィードフォワードネットワークのための新しい戦略的合成アルゴリズムを提案する。ランダム選択を提唱する既存のアプローチとは異なり、我々は高いパフォーマンスのノードを新しいエッジの出発点として選択する。この戦略は、有用な接続を生成し、結果としてネットワーク構造を小さくすることを目的としている。
論文参考訳（メタデータ） (2020-11-23T12:30:57Z)
ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
論文参考訳（メタデータ） (2020-06-28T23:09:27Z)
Shapley Value as Principled Metric for Structured Network Pruning [10.96182578337852]
構造化プルーニング(Structured pruning)は、ニューラルネットワークのストレージサイズと推論コストを低減する技術である。ネットワークの性能を維持するためには,刈り込みによる害を軽減することが重要である。本稿では,この課題の基準値としてShapley値を提案する。
論文参考訳（メタデータ） (2020-06-02T17:26:49Z)
Distance-Based Regularisation of Deep Networks for Fine-Tuning [116.71288796019809]
我々は,仮説クラスを,初期訓練前の重みを中心にした小さな球面に制約するアルゴリズムを開発した。実験的な評価は、我々のアルゴリズムがうまく機能していることを示し、理論的な結果を裏付けるものである。
論文参考訳（メタデータ） (2020-02-19T16:00:47Z)
Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
論文参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。