論文の概要: Hyperpruning: Efficient Search through Pruned Variants of Recurrent Neural Networks Leveraging Lyapunov Spectrum

• arxiv url: http://arxiv.org/abs/2506.07975v1
• Date: Mon, 09 Jun 2025 17:49:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:11.090368
• Title: Hyperpruning: Efficient Search through Pruned Variants of Recurrent Neural Networks Leveraging Lyapunov Spectrum
• Title（参考訳）: ハイパープルーニング:リアプノフスペクトルを利用したリカレントニューラルネットワークの分岐変数による効率的な探索
• Authors: Caleb Zheng, Eli Shlizerman,
• Abstract要約: LS-based Hyperpruning (LSH) と呼ばれる効率的なハイパープルニングフレームワークを導入する。 LSベースのHyperpruningは、フルトレーニングに依存する従来のアプローチに比べて、検索時間を桁違いに削減する。
• 参考スコア（独自算出の注目度）: 7.136205674624814
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A variety of pruning methods have been introduced for over-parameterized Recurrent Neural Networks to improve efficiency in terms of power consumption and storage utilization. These advances motivate a new paradigm, termed `hyperpruning', which seeks to identify the most suitable pruning strategy for a given network architecture and application. Unlike conventional hyperparameter search, where the optimal configuration's accuracy remains uncertain, in the context of network pruning, the accuracy of the dense model sets the target for the accuracy of the pruned one. The goal, therefore, is to discover pruned variants that match or even surpass this established accuracy. However, exhaustive search over pruning configurations is computationally expensive and lacks early performance guarantees. To address this challenge, we propose a novel Lyapunov Spectrum (LS)-based distance metric that enables early comparison between pruned and dense networks, allowing accurate prediction of post-training performance. By integrating this LS-based distance with standard hyperparameter optimization algorithms, we introduce an efficient hyperpruning framework, termed LS-based Hyperpruning (LSH). LSH reduces search time by an order of magnitude compared to conventional approaches relying on full training. Experiments on stacked LSTM and RHN architectures using the Penn Treebank dataset, and on AWD-LSTM-MoS using WikiText-2, demonstrate that under fixed training budgets and target pruning ratios, LSH consistently identifies superior pruned models. Remarkably, these pruned variants not only outperform those selected by loss-based baseline but also exceed the performance of their dense counterpart.
• Abstract（参考訳）: 過パラメータ化されたリカレントニューラルネットワークに対して,電力消費とストレージ利用の面で効率を向上させるために,様々なプルーニング手法が導入された。 これらの進歩は'hyperpruning'と呼ばれる新しいパラダイムを動機付け、与えられたネットワークアーキテクチャとアプリケーションに最適なプルーニング戦略を特定することを目指している。 最適構成の精度が不確かである従来のハイパーパラメータサーチとは異なり、ネットワークプルーニングの文脈では、密度の高いモデルの精度は、プルーニングされたモデルの精度を目標に設定する。 したがって、ゴールは、この確立された精度に一致するか、あるいは超えるような、刈り取られた変種を見つけることである。 しかし、プルーニング構成に対する徹底的な探索は計算コストが高く、早期性能保証が欠如している。 この課題に対処するため,我々はLyapunov Spectrum (LS) を用いた距離測定法を提案し,プレナードネットワークと高密度ネットワークの早期比較を可能にし,学習後の性能の正確な予測を可能にした。 このLSベースの距離を標準パラメータ最適化アルゴリズムと統合することにより、LSベースのハイパープルニング(LSH)と呼ばれる効率的なハイパープルニングフレームワークを導入する。 LSHは、フルトレーニングに依存する従来のアプローチに比べて、探索時間を桁違いに削減する。 Penn Treebankデータセットを用いた積み重ねLSTMおよびRHNアーキテクチャの実験とWikiText-2を用いたAWD-LSTM-MoS実験により、固定トレーニング予算と目標プルーニング比率の下で、LSHは優れたプルーニングモデルを一貫して識別することを示した。 注目すべきは、これらの刈り取られた変種は、損失ベースラインによって選択されたものよりも優れているだけでなく、密度の高いものよりも優れていることである。

関連論文リスト

• Optuna vs Code Llama: Are LLMs a New Paradigm for Hyperparameter Tuning? [42.362388367152256]
  大規模言語モデル(LLM)は、LoRAを使用してパラメータ効率の良いCode Llamaを微調整するために使用される。 提案手法は,演算オーバーヘッドを著しく低減しつつ,ルート平均角誤差(RMSE)の点で競争力や優位性を実現する。
  論文  参考訳（メタデータ） (2025-04-08T13:15:47Z)
• Low-Rank Representations Meets Deep Unfolding: A Generalized and Interpretable Network for Hyperspectral Anomaly Detection [41.50904949744355]
  現在のハイパースペクトル異常検出(HAD)ベンチマークデータセットは、低解像度、単純なバックグラウンド、検出データの小さなサイズに悩まされている。 これらの要因は、ロバスト性の観点からよく知られた低ランク表現(LRR)モデルの性能も制限する。 我々は、複雑なシナリオにおけるHADアルゴリズムの堅牢性を改善するために、新しいHADベンチマークデータセットであるAIR-HADを構築した。
  論文  参考訳（メタデータ） (2024-02-23T14:15:58Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Learning k-Level Structured Sparse Neural Networks Using Group Envelope Regularization [4.0554893636822]
  制約のあるリソースに大規模ディープニューラルネットワークをデプロイするための新しいアプローチを導入する。 この手法は推論時間を短縮し、メモリ需要と消費電力を減らすことを目的とする。
  論文  参考訳（メタデータ） (2022-12-25T15:40:05Z)
• SPDY: Accurate Pruning with Speedup Guarantees [29.284147465251685]
  SPDYは、所望の推論スピードアップを達成するために、レイヤーワイドのスパシティターゲットを自動的に決定する新しい圧縮手法である。 また,SPDYは,ワンショットおよび段階的なプルーニングシナリオにおいて,既存の戦略と比較して高い精度を回復しつつ,スピードアップを保証していることを示す。 また、非常に少ないデータでプルーニングを行うという最近提案されたタスクにアプローチを拡張し、GPUをサポートする2:4のスパーシティパターンにプルーニングする際に最もよく知られた精度回復を実現する。
  論文  参考訳（メタデータ） (2022-01-31T10:14:31Z)
• Automatic Mapping of the Best-Suited DNN Pruning Schemes for Real-Time Mobile Acceleration [71.80326738527734]
  本稿では,汎用的,きめ細かな構造化プルーニング手法とコンパイラの最適化を提案する。 提案手法は,より微細な構造化プルーニング手法とともに,最先端のDNN最適化フレームワークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-22T23:53:14Z)
• Neural Architecture Search for Efficient Uncalibrated Deep Photometric Stereo [105.05232615226602]
  差別化可能なニューラルアーキテクチャサーチ(NAS)戦略を利用して、非校正型PSアーキテクチャを自動的に見つける。 DiLiGenTデータセットの実験では、自動検索されたニューラルネットワークのパフォーマンスが、最先端の未校正PSメソッドと好適に比較されている。
  論文  参考訳（メタデータ） (2021-10-11T21:22:17Z)
• Layer-adaptive sparsity for the Magnitude-based Pruning [88.37510230946478]
  本稿では,LAMP(Layer-Adaptive magnitude-based pruning)スコアを用いたグローバルプルーニングの新たな重要点を提案する。 LAMPは、階層的な空間選択のための一般的なスキームを一貫して上回っている。
  論文  参考訳（メタデータ） (2020-10-15T09:14:02Z)
• Discretization-Aware Architecture Search [81.35557425784026]
  本稿では,離散化対応アーキテクチャサーチ(DAtextsuperscript2S)を提案する。 中心となる考え方は、超ネットワークを所望のトポロジの構成に向けることであり、離散化による精度損失がほとんど軽減される。 標準画像分類ベンチマークの実験は、我々のアプローチの優位性を実証している。
  論文  参考訳（メタデータ） (2020-07-07T01:18:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。