Fugu-MT 論文翻訳(概要): Scaling Up Exact Neural Network Compression by ReLU Stability

論文の概要: Scaling Up Exact Neural Network Compression by ReLU Stability

arxiv url: http://arxiv.org/abs/2102.07804v1
Date: Mon, 15 Feb 2021 19:19:02 GMT
ステータス: 処理完了
システム内更新日: 2021-02-17 14:52:46.702459
Title: Scaling Up Exact Neural Network Compression by ReLU Stability
Title（参考訳）: ReLU安定度によるニューラルネットワーク圧縮のスケールアップ
Authors: Thiago Serra, Abhinav Kumar, Srikumar Ramalingam
Abstract要約: 安定なニューロンを同定するために,単一最適化問題に基づくアルゴリズムを導入する。我々の手法は最先端手法の21倍の速度である。
参考スコア（独自算出の注目度）: 22.821726425339797
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We can compress a neural network while exactly preserving its underlying functionality with respect to a given input domain if some of its neurons are stable. However, current approaches to determine the stability of neurons in networks with Rectified Linear Unit (ReLU) activations require solving or finding a good approximation to multiple discrete optimization problems. In this work, we introduce an algorithm based on solving a single optimization problem to identify all stable neurons. Our approach is on median 21 times faster than the state-of-art method, which allows us to explore exact compression on deeper (5 x 100) and wider (2 x 800) networks within minutes. For classifiers trained under an amount of L1 regularization that does not worsen accuracy, we can remove up to 40% of the connections.
Abstract（参考訳）: ニューロンの一部が安定している場合、ある入力領域に関してその基礎機能を正確に保持しながら、ニューラルネットワークを圧縮することができる。しかし、整流線形単位(relu)活性化を持つネットワークにおけるニューロンの安定性を決定する現在のアプローチでは、複数の離散最適化問題に対するよい近似を求める必要がある。本研究では,全ての安定ニューロンを同定する単一最適化問題に基づくアルゴリズムを提案する。私たちのアプローチは最先端の方法の21倍の速度で、より深い(5 x 100)ネットワークとより広い(2 x 800)ネットワークの正確な圧縮を数分で探索できます。精度を悪くしないL1正規化の量で訓練された分類器では、最大40%の接続を除去できる。

関連論文リスト

LinSATNet: The Positive Linear Satisfiability Neural Networks [116.65291739666303]
本稿では,ニューラルネットワークに人気の高い正の線形満足度を導入する方法について検討する。本稿では,古典的なシンクホーンアルゴリズムを拡張し,複数の辺分布の集合を共同で符号化する,最初の微分可能満足層を提案する。
論文参考訳（メタデータ） (2024-07-18T22:05:21Z)
Minimum number of neurons in fully connected layers of a given neural network (the first approximation) [0.0]
本稿では,任意のネットワークが与えられた問題を解く際の,完全連結層内のニューロンの最小数を探索するアルゴリズムを提案する。提案アルゴリズムは,検出されたニューロン数のニューラルネットワークが要求される品質に適応可能であることを保証していないため,層内のニューロンの最小数を推定するための最初の近似である。
論文参考訳（メタデータ） (2024-05-23T03:46:07Z)
DIFUSCO: Graph-based Diffusion Solvers for Combinatorial Optimization [51.517956081644186]
グラフベースの拡散フレームワークであるDIFUSCOを導入する。本フレームワークは, NPC問題を離散0, 1ベクトル最適化問題とみなす。 MIS問題に対して、DIFUSCOは、挑戦的なSATLIBベンチマークにおいて、以前の最先端のニューラルソルバよりも優れている。
論文参考訳（メタデータ） (2023-02-16T11:13:36Z)
Zonotope Domains for Lagrangian Neural Network Verification [102.13346781220383]
我々は、ディープニューラルネットワークを多くの2層ニューラルネットワークの検証に分解する。我々の手法は線形プログラミングとラグランジアンに基づく検証技術の両方により改善された境界を与える。
論文参考訳（メタデータ） (2022-10-14T19:31:39Z)
Adaptive neural domain refinement for solving time-dependent differential equations [0.0]
ニューラルネットワークを用いた微分方程式の古典的な解法は、解領域の離散化を伴う微分方程式を用いるニューラルネットワーク形式に基づいている。このような重要かつ成功した戦略を、ニューラルネットワークベースのソリューションの分野に移行することが望ましい。本稿では,時間依存問題の解決を目的とした新しい適応型ニューラルアプローチを提案する。
論文参考訳（メタデータ） (2021-12-23T13:19:07Z)
Acceleration techniques for optimization over trained neural network ensembles [1.0323063834827415]
本研究では, 線形単位活性化の補正されたフィードフォワードニューラルネットワークを用いて, 目的関数をモデル化する最適化問題について検討する。本稿では,1つのニューラルネットワークを最適化するために,既存のBig-M$の定式化をベースとした混合整数線形プログラムを提案する。
論文参考訳（メタデータ） (2021-12-13T20:50:54Z)
Reachability analysis of neural networks using mixed monotonicity [0.0]
本稿では,入力不確実性の条件下でのフィードフォワードニューラルネットワークの出力集合の過度近似を計算するための新しい到達可能性解析ツールを提案する。提案手法は、力学系の到達可能性解析のための既存の混合単調性法をニューラルネットワークに適用する。
論文参考訳（メタデータ） (2021-11-15T11:35:18Z)
DeepSplit: Scalable Verification of Deep Neural Networks via Operator Splitting [70.62923754433461]
入力摂動に対するディープニューラルネットワークの最悪の性能を分析することは、大規模な非最適化問題の解決につながる。解析解を持つ小さなサブプロブレムに分割することで,問題の凸緩和を直接高精度に解ける新しい手法を提案する。
論文参考訳（メタデータ） (2021-06-16T20:43:49Z)
Non-Gradient Manifold Neural Network [79.44066256794187]
ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
論文参考訳（メタデータ） (2021-06-15T06:39:13Z)
Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文参考訳（メタデータ） (2020-05-05T18:08:23Z)
Accurate Tumor Tissue Region Detection with Accelerated Deep Convolutional Neural Networks [12.7414209590152]
がん診断のための手動の病理診断は、退屈で反復的である。我々のアプローチであるFLASHは、ディープ畳み込みニューラルネットワーク(DCNN)アーキテクチャに基づいている。計算コストを削減し、一般的なディープラーニングアプローチよりも2桁の速さで高速である。
論文参考訳（メタデータ） (2020-04-18T08:24:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。