Fugu-MT 論文翻訳(概要): A Recovery Guarantee for Sparse Neural Networks

論文の概要: A Recovery Guarantee for Sparse Neural Networks

arxiv url: http://arxiv.org/abs/2509.20323v1
Date: Wed, 24 Sep 2025 17:10:48 GMT
ステータス: 翻訳完了
システム内更新日: 2025-09-25 20:53:19.916999
Title: A Recovery Guarantee for Sparse Neural Networks
Title（参考訳）: スパースニューラルネットワークの回復保証
Authors: Sara Fridovich-Keil, Mert Pilanci,
Abstract要約: 我々はReLUニューラルネットワークにおけるスパースリカバリの最初の保証を証明した。性能は高いがメモリ非効率なベースラインと競合し、しばしば上回っている。
参考スコア（独自算出の注目度）: 55.65046795628564
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We prove the first guarantees of sparse recovery for ReLU neural networks, where the sparse network weights constitute the signal to be recovered. Specifically, we study structural properties of the sparse network weights for two-layer, scalar-output networks under which a simple iterative hard thresholding algorithm recovers these weights exactly, using memory that grows linearly in the number of nonzero weights. We validate this theoretical result with simple experiments on recovery of sparse planted MLPs, MNIST classification, and implicit neural representations. Experimentally, we find performance that is competitive with, and often exceeds, a high-performing but memory-inefficient baseline based on iterative magnitude pruning.
Abstract（参考訳）: スパースネットワーク重みが回復する信号を構成するReLUニューラルネットワークに対するスパースリカバリの最初の保証を証明する。具体的には, 2層スカラー出力ネットワークにおけるスパースネットワーク重みの構造特性について検討し, 非ゼロ重み数で線形に増大するメモリを用いて, 単純反復型ハードしきい値算出アルゴリズムにより正確に重みを復元する。本理論は, 疎植MLPの回収, MNIST分類, 暗黙的神経表現に関する簡単な実験により検証した。実験により,反復的等級プルーニングに基づく高性能だがメモリ非効率なベースラインと競合し,しばしば超える性能が得られた。

関連論文リスト

Spike-and-slab shrinkage priors for structurally sparse Bayesian neural networks [0.16385815610837165]
スパースディープラーニングは、基礎となるターゲット関数のスパース表現を復元することで、課題に対処する。構造化された空間によって圧縮されたディープニューラルアーキテクチャは、低レイテンシ推論、データスループットの向上、エネルギー消費の削減を提供する。本研究では, (i) Spike-and-Slab Group Lasso (SS-GL) と (ii) Spike-and-Slab Group Horseshoe (SS-GHS) を併用した過剰ノードを誘発する構造的疎いベイズニューラルネットワークを提案する。
論文参考訳（メタデータ） (2023-08-17T17:14:18Z)
Can pruning improve certified robustness of neural networks? [106.03070538582222]
ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
論文参考訳（メタデータ） (2022-06-15T05:48:51Z)
Cyclical Pruning for Sparse Neural Networks [21.13692106042014]
ニューラルネットウェイトを刈り取る現在の方法は、モデルウェイトにマグニチュードベースのプルーニングを反復的に適用し、結果として得られたモデルを再訓練して、失われた精度を回復させる。このような戦略は、誤って刈り取られた重量の回復を許さないことを示す。そこで本稿では, 周期的なプルーニングスケジュールを必要とするテキストサイクリックプルーニング(textitcyclical pruning)という簡単な戦略を提案し, 重みを1サイクルで誤ってプルーニングすることで, その後のプルーニングを再現する。
論文参考訳（メタデータ） (2022-02-02T21:29:07Z)
Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for sparse recover [87.28082715343896]
我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
論文参考訳（メタデータ） (2021-10-20T06:15:45Z)
Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文参考訳（メタデータ） (2021-08-28T20:39:54Z)
Compressive Sensing and Neural Networks from a Statistical Learning Perspective [4.561032960211816]
線形測定の少ないスパース再構成に適したニューラルネットワークのクラスに対する一般化誤差解析を提案する。現実的な条件下では、一般化誤差は層数で対数的にしかスケールせず、測定数ではほとんど線形である。
論文参考訳（メタデータ） (2020-10-29T15:05:43Z)
RicciNets: Curvature-guided Pruning of High-performance Neural Networks Using Ricci Flow [0.0]
計算グラフをニューラルネットワークにマッピングする前に、Ricci曲率の定義を用いて、重要度の低いエッジを除去する。 1パスあたりの浮動小数点演算数(FLOP)が約35%削減されるが、性能は低下しない。
論文参考訳（メタデータ） (2020-07-08T15:56:02Z)
Continual Learning in Recurrent Neural Networks [67.05499844830231]
リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。 RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
論文参考訳（メタデータ） (2020-06-22T10:05:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。