論文の概要: Efficient Stein Variational Inference for Reliable Distribution-lossless
Network Pruning
- arxiv url: http://arxiv.org/abs/2212.03537v1
- Date: Wed, 7 Dec 2022 09:31:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-08 15:03:49.555326
- Title: Efficient Stein Variational Inference for Reliable Distribution-lossless
Network Pruning
- Title（参考訳）: 信頼性分布損失ネットワークの効率的な変化推定法
- Authors: Yingchun Wang, Song Guo, Jingcai Guo, Weizhan Zhang, Yida Xu, Jie
Zhang, Yi Liu
- Abstract要約: バニラPという新しい分布損失の無い刈り取り法を提案し,ベイズ処理における刈り取り抽選の理論的検討を行った。
本手法は,プルーニングモデルの信頼性を定量化しながら,高性能なスペーサーネットワークを実現する。
- 参考スコア（独自算出の注目度）: 23.22021752821507
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Network pruning is a promising way to generate light but accurate models and
enable their deployment on resource-limited edge devices. However, the current
state-of-the-art assumes that the effective sub-network and the other
superfluous parameters in the given network share the same distribution, where
pruning inevitably involves a distribution truncation operation. They usually
eliminate values near zero. While simple, it may not be the most appropriate
method, as effective models may naturally have many small values associated
with them. Removing near-zero values already embedded in model space may
significantly reduce model accuracy. Another line of work has proposed to
assign discrete prior over all possible sub-structures that still rely on
human-crafted prior hypotheses. Worse still, existing methods use regularized
point estimates, namely Hard Pruning, that can not provide error estimations
and fail reliability justification for the pruned networks. In this paper, we
propose a novel distribution-lossless pruning method, named DLLP, to
theoretically find the pruned lottery within Bayesian treatment. Specifically,
DLLP remodels the vanilla networks as discrete priors for the latent pruned
model and the other redundancy. More importantly, DLLP uses Stein Variational
Inference to approach the latent prior and effectively bypasses calculating KL
divergence with unknown distribution. Extensive experiments based on small
Cifar-10 and large-scaled ImageNet demonstrate that our method can obtain
sparser networks with great generalization performance while providing
quantified reliability for the pruned model.
- Abstract（参考訳）: ネットワークプルーニングは、軽量だが正確なモデルを生成し、リソース制限のあるエッジデバイスへのデプロイを可能にする、有望な方法である。
しかし、現在の最先端技術では、与えられたネットワーク内の有効なサブネットワークと他の超流動パラメータが同じ分布を共有していると仮定している。
通常はゼロに近い値を排除する。
単純ではあるが、効果的なモデルは自然にそれに関連する多くの小さな値を持つので、最も適切な方法ではないかもしれない。
既にモデル空間に埋め込まれているニアゼロ値の除去は、モデルの精度を著しく低下させる可能性がある。
別の研究の行は、人間による先行仮説に依存しているすべての可能なサブ構造に対して、個別の事前を割り当てることを提案した。
さらに悪いことに、既存の手法では正規化された点推定、すなわちハードプルーニングを使用しており、プルーニングされたネットワークのエラー推定や信頼性の正当性は提供できない。
本稿では,ベイズ処理における緑化抽選を理論的に見つけるために,DLLPという新しい分布ロスレスプルーニング法を提案する。
具体的には、DLLPはバニラネットワークを、潜在プルーンドモデルと他の冗長性のための離散的な先行としてモデル化する。
さらに重要なことは、DLLPはStein Variational Inferenceを使用して、潜伏した事前にアプローチし、未知の分布を持つKLの発散を計算するのを効果的にバイパスする。
小型Cifar-10と大規模ImageNetを併用した大規模実験により,本手法は解析性能の高いスペーサーネットワークを実現できることを示した。
関連論文リスト
- Flexible Heteroscedastic Count Regression with Deep Double Poisson Networks [4.58556584533865]
本稿ではDDPN(Deep Double Poisson Network)を提案する。
DDPNは既存の離散モデルを大幅に上回っている。
これは様々なカウント回帰データセットに適用できる。
論文 参考訳（メタデータ） (2024-06-13T16:02:03Z) - Rejection via Learning Density Ratios [50.91522897152437]
拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。
そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。
私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
論文 参考訳（メタデータ） (2024-05-29T01:32:17Z) - Bayesian Flow Networks [4.585102332532472]
本稿では,ベイジアン・フロー・ネットワーク(BFN)について述べる。ベイジアン・フロー・ネットワーク(BFN)は,独立分布の集合のパラメータをベイジアン推論で修正した新しい生成モデルである。
単純な事前および反復的な2つの分布の更新から始めると、拡散モデルの逆過程に似た生成手順が得られる。
BFNは動的にバイナライズされたMNISTとCIFAR-10で画像モデリングを行うために競合するログライクフレーションを実現し、text8文字レベルの言語モデリングタスクにおいて既知のすべての離散拡散モデルより優れている。
論文 参考訳（メタデータ） (2023-08-14T09:56:35Z) - Quantifying lottery tickets under label noise: accuracy, calibration,
and complexity [6.232071870655069]
ディープニューラルネットワークのプルーニングは、機械学習の計算負担を軽減するために広く利用されている戦略である。
スパース二重降下法を用いて一意的に同定し,分類タスクに付随するプルーンドモデルを特徴付ける。
論文 参考訳（メタデータ） (2023-06-21T11:35:59Z) - Just One Byte (per gradient): A Note on Low-Bandwidth Decentralized
Language Model Finetuning Using Shared Randomness [86.61582747039053]
分散環境での言語モデルトレーニングは、交換の通信コストによって制限される。
分散微調整を低帯域幅で行うために,共有ランダムネスを用いた最近の作業を拡張した。
論文 参考訳（メタデータ） (2023-06-16T17:59:51Z) - Interpretations Steered Network Pruning via Amortized Inferred Saliency
Maps [85.49020931411825]
限られたリソースを持つエッジデバイスにこれらのモデルをデプロイするには、畳み込みニューラルネットワーク(CNN)圧縮が不可欠である。
本稿では,新しい視点からチャネルプルーニング問題に対処するために,モデルの解釈を活用して,プルーニング過程を解析する手法を提案する。
本研究では,実時間スムーズなスムーズなスムーズなスムーズなマスク予測を行うセレクタモデルを導入することで,この問題に対処する。
論文 参考訳（メタデータ） (2022-09-07T01:12:11Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳（メタデータ） (2022-04-13T12:43:12Z) - KL Guided Domain Adaptation [88.19298405363452]
ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。
ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。
確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
論文 参考訳（メタデータ） (2021-06-14T22:24:23Z) - Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。
彼らは不利な姿勢と収束の不安定さに悩まされる。
本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
論文 参考訳（メタデータ） (2021-06-06T18:05:02Z) - Lost in Pruning: The Effects of Pruning Neural Networks beyond Test
Accuracy [42.15969584135412]
ニューラルネットワークプルーニングは、現代のネットワークの推論コストを削減するために使用される一般的な技術です。
試験精度のみを終了条件で使用するだけで、結果のモデルが正常に機能するかどうかを評価します。
刈り取られたネットワークは、効果的に未刈り込みモデルに近似するが、刈り取られたネットワークがコンメンシュレートのパフォーマンスを達成できるプルー比はタスクによって大きく異なる。
論文 参考訳（メタデータ） (2021-03-04T13:22:16Z) - Achieving Efficiency in Black Box Simulation of Distribution Tails with
Self-structuring Importance Samplers [1.6114012813668934]
本稿では,線形プログラムや整数線形プログラム,ピースワイド線形・二次目的,ディープニューラルネットワークで指定された特徴マップなど,多種多様なツールでモデル化されたパフォーマンス指標の分布を推定する,新しいImportance Smpling(IS)方式を提案する。
論文 参考訳（メタデータ） (2021-02-14T03:37:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。