論文の概要: Robust Neural Pruning with Gradient Sampling Optimization for Residual
Neural Networks
- arxiv url: http://arxiv.org/abs/2312.16020v2
- Date: Wed, 24 Jan 2024 19:20:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-26 17:28:52.220169
- Title: Robust Neural Pruning with Gradient Sampling Optimization for Residual
Neural Networks
- Title(参考訳): 勾配サンプリング最適化による残留ニューラルネットワークのロバストニューラルプルーニング
- Authors: Juyoung Yun
- Abstract要約: 本研究は, 採粒過程におけるStochGradAdamと同様の勾配サンプリング技術の適用に焦点を当てた。
実験により, 従来の最適化手法と比較して, 勾配サンプリング法により最適化されたモデルの方が, 刈り込み時の精度を保つのに有効であることが判明した。
計算資源の制約のある環境においても,精度を損なうことなく効率の良いニューラルネットワークを構築するための有望な方向性が示唆された。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: In this study, we explore an innovative approach for neural network
optimization, focusing on the application of gradient sampling techniques,
similar to those in StochGradAdam, during the pruning process. Our primary
objective is to maintain high accuracy levels in pruned models, a critical
challenge in resource-limited scenarios. Our extensive experiments reveal that
models optimized with gradient sampling techniques are more effective at
preserving accuracy during pruning compared to those using traditional
optimization methods. This finding underscores the significance of gradient
sampling in facilitating robust learning and enabling networks to retain
crucial information even after substantial reduction in their complexity. We
validate our approach across various datasets and neural architectures,
demonstrating its broad applicability and effectiveness. The paper also delves
into the theoretical aspects, explaining how gradient sampling techniques
contribute to the robustness of models during pruning. Our results suggest a
promising direction for creating efficient neural networks that do not
compromise on accuracy, even in environments with constrained computational
resources.
- Abstract(参考訳): 本研究では,StochGradAdamのプルーニングプロセスにおける勾配サンプリング手法の適用に着目し,ニューラルネットワーク最適化のための革新的なアプローチを検討する。
我々の主な目的は、資源制限シナリオにおける重要な課題である、刈り取られたモデルにおける高精度のレベルを維持することである。
実験により, 従来の最適化手法と比較して, 勾配サンプリング法により最適化されたモデルの方が, 刈り込み時の精度の維持に有効であることが判明した。
この発見は、厳密な学習を容易にし、ネットワークが複雑さを著しく減らした後でも重要な情報を維持できることにおいて、勾配サンプリングの重要性を強調している。
さまざまなデータセットやニューラルネットワークにまたがるアプローチを検証し、その適用性と有効性を示す。
この論文は、勾配サンプリング技術が刈り込み時のモデルの堅牢性にどのように寄与するかを論じる。
計算資源の制約のある環境においても,精度を損なうことなく効率の良いニューラルネットワークを構築できる可能性が示唆された。
関連論文リスト
- Neural Network Pruning by Gradient Descent [7.427858344638741]
我々は,Gumbel-Softmaxテクニックを取り入れた,新しい,かつ簡単なニューラルネットワークプルーニングフレームワークを提案する。
ネットワークパラメータの0.15%しか持たないMNISTデータセット上で、高い精度を維持しながら、例外的な圧縮能力を実証する。
我々は,ディープラーニングプルーニングと解釈可能な機械学習システム構築のための,有望な新たな道を開くと信じている。
論文 参考訳(メタデータ) (2023-11-21T11:12:03Z) - Sensitivity-Aware Mixed-Precision Quantization and Width Optimization of
Deep Neural Networks Through Cluster-Based Tree-Structured Parzen Estimation [5.187866263931125]
本稿では,個々のニューラルネットワーク層に対して最適なビット幅と層幅を自動的に選択する革新的な探索機構を提案する。
これにより、ディープニューラルネットワークの効率が著しく向上する。
論文 参考訳(メタデータ) (2023-08-12T00:16:51Z) - Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。
本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
論文 参考訳(メタデータ) (2023-08-03T21:49:14Z) - Efficient Training of Physics-Informed Neural Networks with Direct Grid
Refinement Algorithm [0.0]
本研究では,物理インフォームドニューラルネットワーク(PINN)の枠組みにおける残点の適応サンプリングに適したアルゴリズムの開発について述べる。
提案手法は,既存の適応サンプリング手法に固有の制約に対処することにより,計算効率と適応点配置の両方を効果的に保証する直接メッシュ改良手法を提案する。
論文 参考訳(メタデータ) (2023-06-14T07:04:02Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳(メタデータ) (2023-03-06T18:59:13Z) - Learning Large-scale Neural Fields via Context Pruned Meta-Learning [60.93679437452872]
本稿では,大規模ニューラルネットワーク学習のための最適化に基づくメタラーニング手法を提案する。
メタテスト時間における勾配再スケーリングは、非常に高品質なニューラルネットワークの学習を可能にすることを示す。
我々のフレームワークは、モデルに依存しない、直感的で、実装が容易であり、幅広い信号に対する大幅な再構成改善を示す。
論文 参考訳(メタデータ) (2023-02-01T17:32:16Z) - Towards Theoretically Inspired Neural Initialization Optimization [66.04735385415427]
我々は,ニューラルネットワークの初期状態を評価するための理論的知見を備えた,GradCosineという微分可能な量を提案する。
標準制約下でGradCosineを最大化することにより、ネットワークのトレーニングとテストの両方の性能を向上させることができることを示す。
サンプル分析から実際のバッチ設定に一般化されたNIOは、無視可能なコストで、より優れた初期化を自動で探すことができる。
論文 参考訳(メタデータ) (2022-10-12T06:49:16Z) - Optimization-Based Separations for Neural Networks [57.875347246373956]
本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。
これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
論文 参考訳(メタデータ) (2021-12-04T18:07:47Z) - Analytically Tractable Bayesian Deep Q-Learning [0.0]
我々は時間差Q-ラーニングフレームワークを適応させ、抽出可能な近似ガウス推論(TAGI)と互換性を持たせる。
我々は,TAGIがバックプロパゲーション学習ネットワークに匹敵する性能に到達できることを実証した。
論文 参考訳(メタデータ) (2021-06-21T13:11:52Z) - Analytically Tractable Inference in Deep Neural Networks [0.0]
Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。
従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
論文 参考訳(メタデータ) (2021-03-09T14:51:34Z) - Large Batch Training Does Not Need Warmup [111.07680619360528]
大きなバッチサイズを使用してディープニューラルネットワークをトレーニングすることは、有望な結果を示し、多くの現実世界のアプリケーションに利益をもたらしている。
本稿では,大規模バッチ学習のための全層適応レートスケーリング(CLARS)アルゴリズムを提案する。
分析に基づいて,このギャップを埋め,3つの一般的な大規模バッチトレーニング手法の理論的洞察を提示する。
論文 参考訳(メタデータ) (2020-02-04T23:03:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。