Fugu-MT 論文翻訳(概要): Exploring the Performance of Pruning Methods in Neural Networks: An Empirical Study of the Lottery Ticket Hypothesis

論文の概要: Exploring the Performance of Pruning Methods in Neural Networks: An Empirical Study of the Lottery Ticket Hypothesis

arxiv url: http://arxiv.org/abs/2303.15479v1
Date: Sun, 26 Mar 2023 21:46:34 GMT
ステータス: 処理完了
システム内更新日: 2023-03-29 17:44:12.245132
Title: Exploring the Performance of Pruning Methods in Neural Networks: An Empirical Study of the Lottery Ticket Hypothesis
Title（参考訳）: ニューラルネットワークにおけるプルーニング法の性能を探る:ロッキーチケット仮説の実証的研究
Authors: Eirik Fladmark, Muhammad Hamza Sajjad, Laura Brinkholm Justesen
Abstract要約: 異なるネットワークアーキテクチャおよびプルーニングシナリオにおけるL1非構造化プルーニング,フィッシャープルーニング,ランダムプルーニングを比較した。本稿では, バッチ型漁獲法(バッチ型漁獲法)と呼ばれる, 効率的な漁獲量の計算法を提案し, 評価する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper, we explore the performance of different pruning methods in the context of the lottery ticket hypothesis. We compare the performance of L1 unstructured pruning, Fisher pruning, and random pruning on different network architectures and pruning scenarios. The experiments include an evaluation of one-shot and iterative pruning, an examination of weight movement in the network during pruning, a comparison of the pruning methods on networks of varying widths, and an analysis of the performance of the methods when the network becomes very sparse. Additionally, we propose and evaluate a new method for efficient computation of Fisher pruning, known as batched Fisher pruning.
Abstract（参考訳）: 本稿では,抽選券仮説の文脈において,異なるプルーニング手法の性能について検討する。異なるネットワークアーキテクチャおよびプルーニングシナリオにおけるL1非構造化プルーニング,フィッシャープルーニング,ランダムプルーニングの性能を比較した。実験には、ワンショットおよび反復プルーニングの評価、プルーニング中のネットワーク内の重み移動の検証、幅の異なるネットワーク上でのプルーニング手法の比較、ネットワークが非常にスパースになった際の手法の性能分析が含まれる。また, 集成漁獲量と呼ばれる漁獲量の効率的な計算法を提案し, 評価を行った。

関連論文リスト

Sampling and active learning methods for network reliability estimation using K-terminal spanning tree [16.985964958558586]
ネットワークの信頼性分析は、ネットワークのサイズと複雑さが増大しているため、依然として課題である。本稿では,ネットワーク信頼度を効果的かつ高精度に推定するための新しいサンプリング手法とアクティブラーニング手法を提案する。
論文参考訳（メタデータ） (2024-07-09T08:51:53Z)
Network Pruning Spaces [12.692532576302426]
ウェイトプルーニングやフィルタプルーニングなどのネットワークプルーニング技術により、ほとんどの最先端のニューラルネットワークは、大幅な性能低下なしに加速できることが明らかになった。この研究は、市販のディープラーニングライブラリやハードウェアで推論を高速化するフィルタプルーニングに焦点を当てている。
論文参考訳（メタデータ） (2023-04-19T06:52:05Z)
Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
論文参考訳（メタデータ） (2022-10-23T18:37:22Z)
Revisiting Random Channel Pruning for Neural Network Compression [159.99002793644163]
チャネル(または3Dフィルタ)プルーニングは、ニューラルネットワークの推論を加速する有効な方法である。本稿では,ランダムな探索により,プルーンドモデルのチャネル構成を決定することを試みる。この単純な戦略は、他のチャネルプルーニング手法と比較して非常にうまく機能することを示す。
論文参考訳（メタデータ） (2022-05-11T17:59:04Z)
Sparse Training via Boosting Pruning Plasticity with Neuroregeneration [79.78184026678659]
本研究では, プラスティック性の観点から, 訓練を通しての刈り込みの効果について検討した。ゼロコスト神経再生(GraNet)と動的スパーストレーニング(DST)変異(GraNet-ST)を併用した段階的プラニング(gradual pruning)法を考案した。おそらく最も印象的なのは、ImageNet上のResNet-50との大きなマージンで、さまざまな密集したスパースメソッドに対するスパース・ツー・スパーストレーニングのパフォーマンスを初めて向上させたことだ。
論文参考訳（メタデータ） (2021-06-19T02:09:25Z)
Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文参考訳（メタデータ） (2021-03-10T03:59:03Z)
Sanity-Checking Pruning Methods: Random Tickets can Win the Jackpot [55.37967301483917]
従来のプルーニングアルゴリズムの知恵は、プルーニング手法がトレーニングデータから情報を利用して良い作品を見つけることを示唆している。本稿では,近年の非構造的刈り取り法について,上記の信念の正当性チェックを行う。本稿では,各層に対して単純なデータに依存しないプーン比を提案し,サブネットワークを得るために各層をランダムにプーンする。
論文参考訳（メタデータ） (2020-09-22T17:36:17Z)
Data-dependent Pruning to find the Winning Lottery Ticket [0.0]
Lottery Ticket仮説は、新しいニューラルネットワークには、完全なネットワークと同じようなパフォーマンスを達成するためにトレーニング可能な、小さなサブネットワークが含まれている、と仮定する。我々は、データ依存コンポーネントをプルーニング基準に組み込むことで、既存のプルーニングアルゴリズムの性能を一貫して向上させると結論付けた。
論文参考訳（メタデータ） (2020-06-25T12:48:34Z)
Shapley Value as Principled Metric for Structured Network Pruning [10.96182578337852]
構造化プルーニング(Structured pruning)は、ニューラルネットワークのストレージサイズと推論コストを低減する技術である。ネットワークの性能を維持するためには,刈り込みによる害を軽減することが重要である。本稿では,この課題の基準値としてShapley値を提案する。
論文参考訳（メタデータ） (2020-06-02T17:26:49Z)
Lookahead: A Far-Sighted Alternative of Magnitude-based Pruning [83.99191569112682]
マグニチュードベースのプルーニングは、ニューラルネットワークをプルーニングする最も単純な方法の1つである。我々は,単一層最適化を多層最適化に拡張することにより,単純なプルーニング法であるルックアヘッドプルーニングを開発した。実験の結果,提案手法は様々なネットワーク上での大規模プルーニングよりも一貫して優れていた。
論文参考訳（メタデータ） (2020-02-12T05:38:42Z)
On Iterative Neural Network Pruning, Reinitialization, and the Similarity of Masks [0.913755431537592]
我々は, 共通の反復的打ち込み手法を用いて, 打ち抜きモデルの接続構造と学習力学の相違を解析した。重量安定性はアポサイトプルーニング技術によって自動的に達成できるという実証的証拠を示す。
論文参考訳（メタデータ） (2020-01-14T21:11:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。