論文の概要: On Causal Inference for Data-free Structured Pruning

• arxiv url: http://arxiv.org/abs/2112.10229v1
• Date: Sun, 19 Dec 2021 19:01:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-21 18:26:35.675313
• Title: On Causal Inference for Data-free Structured Pruning
• Title（参考訳）: データフリー構造プルーニングにおける因果推論について
• Authors: Martin Ferianc, Anush Sankaran, Olivier Mastropietro, Ehsan Saboori, Quentin Cappart
• Abstract要約: NNの構造的プルーニングを容易にするためのスコアリング機構を提案する。 提案手法の性能を2つのデータセットと様々なNNサイズで示す。
• 参考スコア（独自算出の注目度）: 3.091885501864738
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks (NNs) are making a large impact both on research and industry. Nevertheless, as NNs' accuracy increases, it is followed by an expansion in their size, required number of compute operations and energy consumption. Increase in resource consumption results in NNs' reduced adoption rate and real-world deployment impracticality. Therefore, NNs need to be compressed to make them available to a wider audience and at the same time decrease their runtime costs. In this work, we approach this challenge from a causal inference perspective, and we propose a scoring mechanism to facilitate structured pruning of NNs. The approach is based on measuring mutual information under a maximum entropy perturbation, sequentially propagated through the NN. We demonstrate the method's performance on two datasets and various NNs' sizes, and we show that our approach achieves competitive performance under challenging conditions.
• Abstract（参考訳）: ニューラルネットワーク(NN)は、研究と産業の両方に大きな影響を与えている。 それにもかかわらず、nnsの精度が向上すると、そのサイズ、必要な演算数、エネルギー消費量が拡大する。 リソース消費の増加は、NNの採用率の低下と現実世界の展開の非現実性をもたらす。 それゆえ、nnはより広いオーディエンスで利用できるように圧縮され、同時にランタイムのコストが削減される必要がある。 本研究では,因果推論の観点からこの課題にアプローチし,nnの構造的刈り取りを容易にするスコアリング機構を提案する。 このアプローチは、nnを介して順次伝播する最大エントロピー摂動下での相互情報の測定に基づいている。 提案手法は2つのデータセットと様々なNNサイズで性能を実証し,本手法が挑戦条件下での競合性能を実現することを示す。

関連論文リスト

• Twin Network Augmentation: A Novel Training Strategy for Improved Spiking Neural Networks and Efficient Weight Quantization [1.2513527311793347]
  スパイキングニューラルネットワーク(SNN)は、スパースでイベント駆動のスパイクを使用してニューロン間で情報を伝達する。 ニューラルネットワークのフットプリントを削減する別のテクニックとして、量子化がある。 本稿では,SNNの性能向上を目的とした新しいトレーニングフレームワークであるTwin Network Augmentation(TNA)を紹介する。
  論文  参考訳（メタデータ） (2024-09-24T08:20:56Z)
• Causal GNNs: A GNN-Driven Instrumental Variable Approach for Causal Inference in Networks [0.0]
  CgNNは、隠れた共同設立者のバイアスを緩和し、因果効果の推定を改善するための新しいアプローチである。 以上の結果から,CgNNは隠れた共同創設者バイアスを効果的に軽減し,複雑なネットワークデータにおける因果推論のための堅牢なGNN駆動IVフレームワークを提供することが示された。
  論文  参考訳（メタデータ） (2024-09-13T05:39:00Z)
• Influence Maximization via Graph Neural Bandits [54.45552721334886]
  IM問題を多ラウンド拡散キャンペーンに設定し,影響を受けやすいユーザ数を最大化することを目的とした。 IM-GNB(Influence Maximization with Graph Neural Bandits)を提案する。
  論文  参考訳（メタデータ） (2024-06-18T17:54:33Z)
• Accelerating Scalable Graph Neural Network Inference with Node-Adaptive Propagation [80.227864832092]
  グラフニューラルネットワーク(GNN)は、様々なアプリケーションで例外的な効果を発揮している。 大規模グラフの重大化は,GNNによるリアルタイム推論において重要な課題となる。 本稿では,オンライン伝搬フレームワークと2つの新しいノード適応伝搬手法を提案する。
  論文  参考訳（メタデータ） (2023-10-17T05:03:00Z)
• Generalization Guarantees of Gradient Descent for Multi-Layer Neural Networks [55.86300309474023]
  多層NNに対する勾配降下(GD)の総合的安定性と一般化解析を行う。 2層NNと3層NNの両方において、GDアルゴリズムに対するO(1/sqrtn)$の過剰リスク率を導出する。
  論文  参考訳（メタデータ） (2023-05-26T12:51:38Z)
• Efficient Graph Neural Network Inference at Large Scale [54.89457550773165]
  グラフニューラルネットワーク(GNN)は、幅広いアプリケーションで優れた性能を示している。 既存のスケーラブルなGNNは、線形伝搬を利用して特徴を前処理し、トレーニングと推論の手順を高速化する。 本稿では,そのトポロジ情報に基づいて各ノードに対してパーソナライズされた伝搬順序を生成する適応的伝搬順序法を提案する。
  論文  参考訳（メタデータ） (2022-11-01T14:38:18Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• RED++ : Data-Free Pruning of Deep Neural Networks via Input Splitting and Output Merging [36.027765880474526]
  Pruning Deep Neural Networks (DNN) は、推論ランタイムアクセラレーションの目標において、顕著な研究分野である。 本稿では,新しいデータフリープルーニングプロトコルRED++を紹介する。 ハッシュによる精度の保存に関する理論的および実証的な保証について検討する。
  論文  参考訳（メタデータ） (2021-09-30T09:31:11Z)
• Robustness-aware 2-bit quantization with real-time performance for neural network [2.4297433581603043]
  ビット精度を下げた量子ニューラルネットワーク(NN)は、計算とメモリリソースの要求を減らす効果的なソリューションである。 本稿では,二元NNと生成対向ネットワーク(GAN)に基づくNNベースに対して,新しいロバスト性を考慮した2ビット量子化手法を提案する。
  論文  参考訳（メタデータ） (2020-10-19T22:09:41Z)
• Entropy-Based Modeling for Estimating Soft Errors Impact on Binarized Neural Network Inference [2.249916681499244]
  本稿では,SEU(Single-event upset)とMBU(Multi-bit upset)の影響を階層間および選択した畳み込みニューラルネットワークの各層で明らかにする比較的正確な統計モデルを提案する。 これらのモデルは、安全クリティカルなアプリケーションで採用する前に、NNトポロジのエラー-レジリエンスのマグニチュードを評価するために使用できる。
  論文  参考訳（メタデータ） (2020-04-10T16:10:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。