論文の概要: Efficient and Flexible Method for Reducing Moderate-size Deep Neural Networks with Condensation
- arxiv url: http://arxiv.org/abs/2405.01041v2
- Date: Mon, 1 Jul 2024 05:06:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-02 14:19:57.328279
- Title: Efficient and Flexible Method for Reducing Moderate-size Deep Neural Networks with Condensation
- Title（参考訳）: 凝縮を伴う中規模深部ニューラルネットワークの効率化とフレキシブル化
- Authors: Tianyi Chen, Zhi-Qin John Xu,
- Abstract要約: 科学的応用において、ニューラルネットワークのスケールは概して中規模であり、主に推論の速度を保証する。
既存の研究によると、ニューラルネットワークの強力な能力は、主に非線形性に起因する。
本稿では,本手法の有効性を検証するための凝縮低減アルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 36.41451383422967
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural networks have been extensively applied to a variety of tasks, achieving astounding results. Applying neural networks in the scientific field is an important research direction that is gaining increasing attention. In scientific applications, the scale of neural networks is generally moderate-size, mainly to ensure the speed of inference during application. Additionally, comparing neural networks to traditional algorithms in scientific applications is inevitable. These applications often require rapid computations, making the reduction of neural network sizes increasingly important. Existing work has found that the powerful capabilities of neural networks are primarily due to their non-linearity. Theoretical work has discovered that under strong non-linearity, neurons in the same layer tend to behave similarly, a phenomenon known as condensation. Condensation offers an opportunity to reduce the scale of neural networks to a smaller subnetwork with similar performance. In this article, we propose a condensation reduction algorithm to verify the feasibility of this idea in practical problems. Our reduction method can currently be applied to both fully connected networks and convolutional networks, achieving positive results. In complex combustion acceleration tasks, we reduced the size of the neural network to 41.7% of its original scale while maintaining prediction accuracy. In the CIFAR10 image classification task, we reduced the network size to 11.5% of the original scale, still maintaining a satisfactory validation accuracy. Our method can be applied to most trained neural networks, reducing computational pressure and improving inference speed.
- Abstract（参考訳）: ニューラルネットワークは様々なタスクに広く適用されており、驚くべき結果が得られている。
科学分野におけるニューラルネットワークの適用は、注目を集めている重要な研究方向である。
科学的応用において、ニューラルネットワークの規模は概して中規模であり、主に応用中の推論の速度を保証する。
さらに、科学応用におけるニューラルネットワークと従来のアルゴリズムを比較することは避けられない。
これらのアプリケーションは、しばしば高速な計算を必要とし、ニューラルネットワークのサイズを減らすことがますます重要になる。
既存の研究によると、ニューラルネットワークの強力な能力は、主に非線形性に起因する。
理論的な研究により、強い非線形性の下では、同じ層のニューロンも同様に振る舞う傾向にあり、この現象は凝縮(condensation)と呼ばれる。
凝縮は、ニューラルネットワークの規模を、同様のパフォーマンスで小さなサブネットワークに縮小する機会を提供する。
本稿では,本手法の有効性を検証するための凝縮低減アルゴリズムを提案する。
提案手法は, 完全連結ネットワークと畳み込みネットワークの両方に適用可能であり, 肯定的な結果が得られる。
複雑な燃焼加速タスクでは、予測精度を維持しながら、ニューラルネットワークのサイズを元のスケールの41.7%に削減した。
CIFAR10画像分類タスクでは、ネットワークサイズを元のスケールの11.5%に削減し、良好な検証精度を維持した。
提案手法は、最も訓練されたニューラルネットワークに適用でき、計算圧力を低減し、推論速度を向上することができる。
関連論文リスト
- Verified Neural Compressed Sensing [58.98637799432153]
精度の高い計算タスクのために、初めて(私たちの知識を最大限に活用するために)証明可能なニューラルネットワークを開発します。
極小問題次元(最大50)では、線形および双項線形測定からスパースベクトルを確実に回復するニューラルネットワークを訓練できることを示す。
ネットワークの複雑さは問題の難易度に適応できることを示し、従来の圧縮センシング手法が証明不可能な問題を解く。
論文 参考訳（メタデータ） (2024-05-07T12:20:12Z) - Message Passing Variational Autoregressive Network for Solving Intractable Ising Models [6.261096199903392]
自己回帰型ニューラルネットワーク、畳み込み型ニューラルネットワーク、リカレントニューラルネットワーク、グラフニューラルネットワークなど、多くのディープニューラルネットワークがIsingモデルの解決に使用されている。
本稿では、スピン変数間の相互作用を効果的に活用できるメッセージパッシング機構を備えた変分自己回帰アーキテクチャを提案する。
新しいネットワークは、アニーリングフレームワークの下で訓練され、いくつかの原型スピンハミルトニアンの解法、特に低温での大きなスピン系において、既存の方法よりも優れている。
論文 参考訳（メタデータ） (2024-04-09T11:27:07Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
大規模空間問題に対する学習効率を向上させるために移動学習を用いる。
畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
論文 参考訳（メタデータ） (2023-06-14T01:24:42Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Adaptive Neural Networks Using Residual Fitting [2.546014024559691]
本稿では,ネットワークの残差における説明可能なエラーを探索し,十分なエラーが検出された場合,ネットワークを拡大するネットワーク成長手法を提案する。
これらのタスクの中で、成長するネットワークは、成長しない小さなネットワークよりも優れたパフォーマンスを達成することができる。
論文 参考訳（メタデータ） (2023-01-13T19:52:30Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:04:45Z) - Consistency of Neural Networks with Regularization [0.0]
本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。
双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
論文 参考訳（メタデータ） (2022-06-22T23:33:39Z) - Stochastic Neural Networks with Infinite Width are Deterministic [7.07065078444922]
使用中のニューラルネットワークの主要なタイプであるニューラルネットワークについて研究する。
最適化されたニューラルネットワークの幅が無限大になる傾向があるため、トレーニングセットの予測分散はゼロになる。
論文 参考訳（メタデータ） (2022-01-30T04:52:31Z) - Neural Network Quantization for Efficient Inference: A Survey [0.0]
ニューラルネットワークの量子化は、最近、ニューラルネットワークのサイズと複雑さを減らすというこの要求を満たすために発生した。
本稿では,過去10年間に開発された多くのニューラルネットワーク量子化技術について検討する。
論文 参考訳（メタデータ） (2021-12-08T22:49:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。