Fugu-MT 論文翻訳(概要): SWAP: Sparse Entropic Wasserstein Regression for Robust Network Pruning

論文の概要: SWAP: Sparse Entropic Wasserstein Regression for Robust Network Pruning

arxiv url: http://arxiv.org/abs/2310.04918v4
Date: Tue, 20 Feb 2024 08:29:13 GMT
ステータス: 処理完了
システム内更新日: 2024-02-21 20:39:06.925281
Title: SWAP: Sparse Entropic Wasserstein Regression for Robust Network Pruning
Title（参考訳）: スワップ:ロバストネットワークプルーニングのためのスパースエントロピーwasserstein回帰
Authors: Lei You and Hei Victor Cheng
Abstract要約: 本研究では,ニューラルネットワークプルーニングにおける経験的漁獲情報行列の計算における不正確な勾配問題に対処する。本稿では,最適輸送問題の幾何学的特性を活かした,エントロピー的ワッサースタイン回帰(EWR)の定式化であるSWAPを紹介する。提案手法は,ネットワークパラメータの4分の1未満のMobileNetV1において,精度が6%向上し,テスト損失が8%向上した。
参考スコア（独自算出の注目度）: 9.60349706518775
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This study addresses the challenge of inaccurate gradients in computing the empirical Fisher Information Matrix during neural network pruning. We introduce SWAP, a formulation of Entropic Wasserstein regression (EWR) for pruning, capitalizing on the geometric properties of the optimal transport problem. The ``swap'' of the commonly used linear regression with the EWR in optimization is analytically demonstrated to offer noise mitigation effects by incorporating neighborhood interpolation across data points with only marginal additional computational cost. The unique strength of SWAP is its intrinsic ability to balance noise reduction and covariance information preservation effectively. Extensive experiments performed on various networks and datasets show comparable performance of SWAP with state-of-the-art (SoTA) network pruning algorithms. Our proposed method outperforms the SoTA when the network size or the target sparsity is large, the gain is even larger with the existence of noisy gradients, possibly from noisy data, analog memory, or adversarial attacks. Notably, our proposed method achieves a gain of 6% improvement in accuracy and 8% improvement in testing loss for MobileNetV1 with less than one-fourth of the network parameters remaining.
Abstract（参考訳）: 本研究では,ニューラルネットワークプルーニングにおける経験的漁獲情報行列の計算における不正確な勾配問題に対処する。本稿では,最適輸送問題の幾何学的特性を活かした,エントロピー的ワッサースタイン回帰(EWR)の定式化であるSWAPを紹介する。最適化においてEWRとよく用いられる線形回帰の ``swap'' は、余分な計算コストだけでデータポイント間の近傍補間を組み込むことでノイズ緩和効果を解析的に示す。スワップのユニークな強みは、ノイズ低減と共分散情報保存を効果的にバランスさせる能力である。様々なネットワークやデータセットで実施された大規模な実験は、SWAPと最先端(SoTA)ネットワークプルーニングアルゴリズムの同等の性能を示している。提案手法は,ネットワークサイズやターゲットのスパース性が大きい場合,ノイズデータやアナログメモリ,逆襲攻撃などにより,ノイズ勾配が存在する場合に,さらに大きな利得が得られる。特に,提案手法では,ネットワークパラメータの4分の1以下しか残っていないmobilenetv1の精度が6%向上し,テスト損失が8%向上した。

関連論文リスト

Concurrent Training and Layer Pruning of Deep Neural Networks [0.0]
トレーニングの初期段階において、ニューラルネットワークの無関係な層を特定し、排除できるアルゴリズムを提案する。本研究では,非線形区間を切断した後にネットワークを流れる情報の流れを,非線形ネットワーク区間の周囲の残差接続を用いた構造を用いる。
論文参考訳（メタデータ） (2024-06-06T23:19:57Z)
Towards Generalized Entropic Sparsification for Convolutional Neural Networks [0.0]
畳み込みニューラルネットワーク(CNN)は過度にパラメータ化されていると報告されている。本稿では,計算可能エントロピー緩和を目的とした数学的アイデアに基づく層間データ駆動プルーニング手法を提案する。スパースサブネットワークは、ネットワークエントロピー最小化をスペーサ性制約として使用した、事前訓練された(フル)CNNから得られる。
論文参考訳（メタデータ） (2024-04-06T21:33:39Z)
On the effectiveness of partial variance reduction in federated learning with heterogeneous data [27.527995694042506]
クライアント間の最終分類層の多様性は、FedAvgアルゴリズムの性能を阻害することを示す。そこで本研究では,最終層のみの分散還元によるモデル修正を提案する。同様の通信コストや低い通信コストで既存のベンチマークを著しく上回っていることを実証する。
論文参考訳（メタデータ） (2022-12-05T11:56:35Z)
ATASI-Net: An Efficient Sparse Reconstruction Network for Tomographic SAR Imaging with Adaptive Threshold [13.379416816598873]
本稿では,解析的反復収縮しきい値決定アルゴリズム(ALISTA)に基づく,効率的なスパース展開ネットワークを提案する。 ATASI-Netの各層における重み行列は、オフライン最適化問題の解法として事前計算される。さらに、各方位領域画素に対して適応しきい値を導入し、しきい値収縮を層蒸着だけでなく素子的にも可能とする。
論文参考訳（メタデータ） (2022-11-30T09:55:45Z)
Context-Preserving Instance-Level Augmentation and Deformable Convolution Networks for SAR Ship Detection [50.53262868498824]
ランダムな方向と部分的な情報損失によるSAR画像のターゲット形状の変形は、SAR船の検出において必須の課題である。ターゲット内の部分的な情報損失に頑健なディープネットワークをトレーニングするためのデータ拡張手法を提案する。
論文参考訳（メタデータ） (2022-02-14T07:01:01Z)
CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。 CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。 CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
論文参考訳（メタデータ） (2021-10-21T06:26:31Z)
Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for sparse recover [87.28082715343896]
我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
論文参考訳（メタデータ） (2021-10-20T06:15:45Z)
Edge Rewiring Goes Neural: Boosting Network Resilience via Policy Gradient [62.660451283548724]
ResiNetは、さまざまな災害や攻撃に対する回復力のあるネットワークトポロジを発見するための強化学習フレームワークである。 ResiNetは複数のグラフに対してほぼ最適のレジリエンス向上を実現し,ユーティリティのバランスを保ちながら,既存のアプローチに比べて大きなマージンを持つことを示す。
論文参考訳（メタデータ） (2021-10-18T06:14:28Z)
Probabilistic partition of unity networks: clustering based deep approximation [0.0]
ユニタリネットワーク(POU-Nets)の分割は、回帰とPDEの解に対する代数収束率を実現することができる。ガウス雑音モデルを用いてPOU-Netを拡張し、最大可算損失の勾配に基づく一般化を導出できる確率的一般化を得る。本研究では,高次元・低次元での性能を定量化するためのベンチマークを行い,高次元空間内のデータの潜在次元にのみ依存することを示す。
論文参考訳（メタデータ） (2021-07-07T08:02:00Z)
Uncertainty-Aware Deep Calibrated Salient Object Detection [74.58153220370527]
既存のディープニューラルネットワークに基づくサルエントオブジェクト検出(SOD)手法は主に高いネットワーク精度の追求に重点を置いている。これらの手法は、信頼不均衡問題として知られるネットワーク精度と予測信頼の間のギャップを見落としている。我々は,不確実性を考慮した深部SODネットワークを導入し,深部SODネットワークの過信を防止するための2つの戦略を提案する。
論文参考訳（メタデータ） (2020-12-10T23:28:36Z)
Deep Adaptive Inference Networks for Single Image Super-Resolution [72.7304455761067]
シングルイメージ超解像(SISR)は、ディープ畳み込みニューラルネットワーク(CNN)の展開により、近年大きく進歩している。本稿では,深部SISR(AdaDSR)の適応型推論ネットワークを活用することで,この問題に対処する。我々のAdaDSRは、SISRモデルをバックボーンとし、画像の特徴とリソース制約を入力として取り、ローカルネットワーク深さのマップを予測する軽量アダプタモジュールを備える。
論文参考訳（メタデータ） (2020-04-08T10:08:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。