Fugu-MT 論文翻訳(概要): Robust Network Pruning With Sparse Entropic Wasserstein Regression

論文の概要: Robust Network Pruning With Sparse Entropic Wasserstein Regression

arxiv url: http://arxiv.org/abs/2310.04918v1
Date: Sat, 7 Oct 2023 21:15:32 GMT
ステータス: 処理完了
システム内更新日: 2023-10-12 14:26:40.683681
Title: Robust Network Pruning With Sparse Entropic Wasserstein Regression
Title（参考訳）: スパースエントロピーワッサースタイン回帰を用いたロバストネットワークプラニング
Authors: Lei You and Hei Victor Cheng
Abstract要約: 本研究では,Fisher Information Matrix (FIM) の計算において,雑音勾配に視覚的に対処するニューラルネットワークプルーニングの最先端技術を明らかにする。本稿では,最適輸送(OT)問題の特徴を生かして,エントロピー的ワッサーシュタイン回帰(EWR)の定式化を導入する。提案手法は,ネットワークパラメータの4分の1未満のMobileNetV1において,精度が6%向上し,テスト損失が8%向上した。
参考スコア（独自算出の注目度）: 9.60349706518775
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This study unveils a cutting-edge technique for neural network pruning that judiciously addresses noisy gradients during the computation of the empirical Fisher Information Matrix (FIM). We introduce an entropic Wasserstein regression (EWR) formulation, capitalizing on the geometric attributes of the optimal transport (OT) problem. This is analytically showcased to excel in noise mitigation by adopting neighborhood interpolation across data points. The unique strength of the Wasserstein distance is its intrinsic ability to strike a balance between noise reduction and covariance information preservation. Extensive experiments performed on various networks show comparable performance of the proposed method with state-of-the-art (SoTA) network pruning algorithms. Our proposed method outperforms the SoTA when the network size or the target sparsity is large, the gain is even larger with the existence of noisy gradients, possibly from noisy data, analog memory, or adversarial attacks. Notably, our proposed method achieves a gain of 6% improvement in accuracy and 8% improvement in testing loss for MobileNetV1 with less than one-fourth of the network parameters remaining.
Abstract（参考訳）: 本研究では,経験的フィッシャー情報行列 (fim) の計算中に雑音の勾配を巧みに扱うニューラルネットワークプルーニング手法を提案する。我々は, 最適輸送 (ot) 問題の幾何学的属性を活かしたエントロピーワッサースタイン回帰 (ewr) の定式化を提案する。これは、データポイント間の近傍補間を採用することでノイズ緩和に優れる分析的に示される。ワッサーシュタイン距離の独特な強さは、ノイズ低減と共分散情報保存のバランスをとる本質的な能力である。各種ネットワーク上での大規模実験により,提案手法と最先端(SoTA)ネットワークプルーニングアルゴリズムとの同等の性能を示した。提案手法は,ネットワークサイズやターゲットのスパース性が大きい場合,ノイズデータやアナログメモリ,逆襲攻撃などにより,ノイズ勾配が存在する場合に,さらに大きな利得が得られる。特に,提案手法では,ネットワークパラメータの4分の1以下しか残っていないmobilenetv1の精度が6%向上し,テスト損失が8%向上した。

関連論文リスト

Adaptive Anomaly Detection in Network Flows with Low-Rank Tensor Decompositions and Deep Unrolling [9.20186865054847]
異常検出(AD)は、将来の通信システムのレジリエンスを確保するための重要な要素として、ますます認識されている。この研究は、不完全測定を用いたネットワークフローにおけるADについて考察する。本稿では,正規化モデル適合性に基づくブロック帰属凸近似アルゴリズムを提案する。ベイズ的アプローチに触発されて、我々はモデルアーキテクチャを拡張し、フローごとのオンライン適応とステップごとの統計処理を行う。
論文参考訳（メタデータ） (2024-09-17T19:59:57Z)
Federated Smoothing Proximal Gradient for Quantile Regression with Non-Convex Penalties [3.269165283595478]
IoT(Internet-of-Things)の分散センサーは、大量のスパースデータを生成する。本稿では, 滑らか化機構をそのビューに統合し, 精度と計算速度を両立させる, 結合型滑らか化近位勾配(G)アルゴリズムを提案する。
論文参考訳（メタデータ） (2024-08-10T21:50:19Z)
Towards Generalized Entropic Sparsification for Convolutional Neural Networks [0.0]
畳み込みニューラルネットワーク(CNN)は過度にパラメータ化されていると報告されている。本稿では,計算可能エントロピー緩和を目的とした数学的アイデアに基づく層間データ駆動プルーニング手法を提案する。スパースサブネットワークは、ネットワークエントロピー最小化をスペーサ性制約として使用した、事前訓練された(フル)CNNから得られる。
論文参考訳（メタデータ） (2024-04-06T21:33:39Z)
On the effectiveness of partial variance reduction in federated learning with heterogeneous data [27.527995694042506]
クライアント間の最終分類層の多様性は、FedAvgアルゴリズムの性能を阻害することを示す。そこで本研究では,最終層のみの分散還元によるモデル修正を提案する。同様の通信コストや低い通信コストで既存のベンチマークを著しく上回っていることを実証する。
論文参考訳（メタデータ） (2022-12-05T11:56:35Z)
ATASI-Net: An Efficient Sparse Reconstruction Network for Tomographic SAR Imaging with Adaptive Threshold [13.379416816598873]
本稿では,解析的反復収縮しきい値決定アルゴリズム(ALISTA)に基づく,効率的なスパース展開ネットワークを提案する。 ATASI-Netの各層における重み行列は、オフライン最適化問題の解法として事前計算される。さらに、各方位領域画素に対して適応しきい値を導入し、しきい値収縮を層蒸着だけでなく素子的にも可能とする。
論文参考訳（メタデータ） (2022-11-30T09:55:45Z)
Context-Preserving Instance-Level Augmentation and Deformable Convolution Networks for SAR Ship Detection [50.53262868498824]
ランダムな方向と部分的な情報損失によるSAR画像のターゲット形状の変形は、SAR船の検出において必須の課題である。ターゲット内の部分的な情報損失に頑健なディープネットワークをトレーニングするためのデータ拡張手法を提案する。
論文参考訳（メタデータ） (2022-02-14T07:01:01Z)
CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。 CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。 CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
論文参考訳（メタデータ） (2021-10-21T06:26:31Z)
Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for sparse recover [87.28082715343896]
我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
論文参考訳（メタデータ） (2021-10-20T06:15:45Z)
Edge Rewiring Goes Neural: Boosting Network Resilience via Policy Gradient [62.660451283548724]
ResiNetは、さまざまな災害や攻撃に対する回復力のあるネットワークトポロジを発見するための強化学習フレームワークである。 ResiNetは複数のグラフに対してほぼ最適のレジリエンス向上を実現し,ユーティリティのバランスを保ちながら,既存のアプローチに比べて大きなマージンを持つことを示す。
論文参考訳（メタデータ） (2021-10-18T06:14:28Z)
Uncertainty-Aware Deep Calibrated Salient Object Detection [74.58153220370527]
既存のディープニューラルネットワークに基づくサルエントオブジェクト検出(SOD)手法は主に高いネットワーク精度の追求に重点を置いている。これらの手法は、信頼不均衡問題として知られるネットワーク精度と予測信頼の間のギャップを見落としている。我々は,不確実性を考慮した深部SODネットワークを導入し,深部SODネットワークの過信を防止するための2つの戦略を提案する。
論文参考訳（メタデータ） (2020-12-10T23:28:36Z)
Deep Adaptive Inference Networks for Single Image Super-Resolution [72.7304455761067]
シングルイメージ超解像(SISR)は、ディープ畳み込みニューラルネットワーク(CNN)の展開により、近年大きく進歩している。本稿では,深部SISR(AdaDSR)の適応型推論ネットワークを活用することで,この問題に対処する。我々のAdaDSRは、SISRモデルをバックボーンとし、画像の特徴とリソース制約を入力として取り、ローカルネットワーク深さのマップを予測する軽量アダプタモジュールを備える。
論文参考訳（メタデータ） (2020-04-08T10:08:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。