論文の概要: On Causal Inference for Data-free Structured Pruning
- arxiv url: http://arxiv.org/abs/2112.10229v1
- Date: Sun, 19 Dec 2021 19:01:01 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-21 18:26:35.675313
- Title: On Causal Inference for Data-free Structured Pruning
- Title(参考訳): データフリー構造プルーニングにおける因果推論について
- Authors: Martin Ferianc, Anush Sankaran, Olivier Mastropietro, Ehsan Saboori,
Quentin Cappart
- Abstract要約: NNの構造的プルーニングを容易にするためのスコアリング機構を提案する。
提案手法の性能を2つのデータセットと様々なNNサイズで示す。
- 参考スコア(独自算出の注目度): 3.091885501864738
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural networks (NNs) are making a large impact both on research and
industry. Nevertheless, as NNs' accuracy increases, it is followed by an
expansion in their size, required number of compute operations and energy
consumption. Increase in resource consumption results in NNs' reduced adoption
rate and real-world deployment impracticality. Therefore, NNs need to be
compressed to make them available to a wider audience and at the same time
decrease their runtime costs. In this work, we approach this challenge from a
causal inference perspective, and we propose a scoring mechanism to facilitate
structured pruning of NNs. The approach is based on measuring mutual
information under a maximum entropy perturbation, sequentially propagated
through the NN. We demonstrate the method's performance on two datasets and
various NNs' sizes, and we show that our approach achieves competitive
performance under challenging conditions.
- Abstract(参考訳): ニューラルネットワーク(NN)は、研究と産業の両方に大きな影響を与えている。
それにもかかわらず、nnsの精度が向上すると、そのサイズ、必要な演算数、エネルギー消費量が拡大する。
リソース消費の増加は、NNの採用率の低下と現実世界の展開の非現実性をもたらす。
それゆえ、nnはより広いオーディエンスで利用できるように圧縮され、同時にランタイムのコストが削減される必要がある。
本研究では,因果推論の観点からこの課題にアプローチし,nnの構造的刈り取りを容易にするスコアリング機構を提案する。
このアプローチは、nnを介して順次伝播する最大エントロピー摂動下での相互情報の測定に基づいている。
提案手法は2つのデータセットと様々なNNサイズで性能を実証し,本手法が挑戦条件下での競合性能を実現することを示す。
関連論文リスト
- Accelerating Scalable Graph Neural Network Inference with Node-Adaptive
Propagation [80.227864832092]
グラフニューラルネットワーク(GNN)は、様々なアプリケーションで例外的な効果を発揮している。
大規模グラフの重大化は,GNNによるリアルタイム推論において重要な課題となる。
本稿では,オンライン伝搬フレームワークと2つの新しいノード適応伝搬手法を提案する。
論文 参考訳(メタデータ) (2023-10-17T05:03:00Z) - Scaling Model Checking for DNN Analysis via State-Space Reduction and
Input Segmentation (Extended Version) [12.272381003294026]
既存のフレームワークは、トレーニングされたNNに対して堅牢性と/または安全性を保証する。
我々は、広範囲のNNプロパティを分析するための最初のモデルチェックベースのフレームワークであるFANNetを提案した。
本研究は,形式的NN解析のスケーラビリティとタイミング効率を向上させるために,状態空間の削減と入力セグメント化手法を開発する。
論文 参考訳(メタデータ) (2023-06-29T22:18:07Z) - Generalization Guarantees of Gradient Descent for Multi-Layer Neural
Networks [55.86300309474023]
多層NNに対する勾配降下(GD)の総合的安定性と一般化解析を行う。
2層NNと3層NNの両方において、GDアルゴリズムに対するO(1/sqrtn)$の過剰リスク率を導出する。
論文 参考訳(メタデータ) (2023-05-26T12:51:38Z) - Information Bottleneck Analysis of Deep Neural Networks via Lossy
Compression [55.41644538483948]
Information Bottleneck(IB)原則は、ディープニューラルネットワーク(DNN)のトレーニングプロセスを分析するための情報理論フレームワークを提供する。
本稿では,一般NNのICB解析のための包括的フレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-13T21:44:32Z) - Efficient Graph Neural Network Inference at Large Scale [54.89457550773165]
グラフニューラルネットワーク(GNN)は、幅広いアプリケーションで優れた性能を示している。
既存のスケーラブルなGNNは、線形伝搬を利用して特徴を前処理し、トレーニングと推論の手順を高速化する。
本稿では,そのトポロジ情報に基づいて各ノードに対してパーソナライズされた伝搬順序を生成する適応的伝搬順序法を提案する。
論文 参考訳(メタデータ) (2022-11-01T14:38:18Z) - Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳(メタデータ) (2022-10-25T14:45:15Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳(メタデータ) (2022-04-01T03:31:27Z) - RED++ : Data-Free Pruning of Deep Neural Networks via Input Splitting
and Output Merging [36.027765880474526]
Pruning Deep Neural Networks (DNN) は、推論ランタイムアクセラレーションの目標において、顕著な研究分野である。
本稿では,新しいデータフリープルーニングプロトコルRED++を紹介する。
ハッシュによる精度の保存に関する理論的および実証的な保証について検討する。
論文 参考訳(メタデータ) (2021-09-30T09:31:11Z) - Robustness-aware 2-bit quantization with real-time performance for
neural network [2.4297433581603043]
ビット精度を下げた量子ニューラルネットワーク(NN)は、計算とメモリリソースの要求を減らす効果的なソリューションである。
本稿では,二元NNと生成対向ネットワーク(GAN)に基づくNNベースに対して,新しいロバスト性を考慮した2ビット量子化手法を提案する。
論文 参考訳(メタデータ) (2020-10-19T22:09:41Z) - Entropy-Based Modeling for Estimating Soft Errors Impact on Binarized
Neural Network Inference [2.249916681499244]
本稿では,SEU(Single-event upset)とMBU(Multi-bit upset)の影響を階層間および選択した畳み込みニューラルネットワークの各層で明らかにする比較的正確な統計モデルを提案する。
これらのモデルは、安全クリティカルなアプリケーションで採用する前に、NNトポロジのエラー-レジリエンスのマグニチュードを評価するために使用できる。
論文 参考訳(メタデータ) (2020-04-10T16:10:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。