論文の概要: Lattice-Based Pruning in Recurrent Neural Networks via Poset Modeling

• arxiv url: http://arxiv.org/abs/2502.16525v1
• Date: Sun, 23 Feb 2025 10:11:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 14:56:23.489268
• Title: Lattice-Based Pruning in Recurrent Neural Networks via Poset Modeling
• Title（参考訳）: ポセットモデリングによるリカレントニューラルネットワークにおける格子型プルーニング
• Authors: Rakesh Sengupta,
• Abstract要約: リカレントニューラルネットワーク(RNN)はシーケンスモデリングタスクの中心であるが、その高い計算複雑性はスケーラビリティとリアルタイムデプロイメントの課題を引き起こす。 本稿では,RNNを部分的に順序付けられた集合(命題)としてモデル化し,対応する依存格子を構成する新しいフレームワークを提案する。 既約ニューロンを同定することにより、格子ベースのプルーニングアルゴリズムは、冗長なニューロンを除去しながら、重要な接続を選択的に保持する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Recurrent neural networks (RNNs) are central to sequence modeling tasks, yet their high computational complexity poses challenges for scalability and real-time deployment. Traditional pruning techniques, predominantly based on weight magnitudes, often overlook the intrinsic structural properties of these networks. We introduce a novel framework that models RNNs as partially ordered sets (posets) and constructs corresponding dependency lattices. By identifying meet irreducible neurons, our lattice-based pruning algorithm selectively retains critical connections while eliminating redundant ones. The method is implemented using both binary and continuous-valued adjacency matrices to capture different aspects of network connectivity. Evaluated on the MNIST dataset, our approach exhibits a clear trade-off between sparsity and classification accuracy. Moderate pruning maintains accuracy above 98%, while aggressive pruning achieves higher sparsity with only a modest performance decline. Unlike conventional magnitude-based pruning, our method leverages the structural organization of RNNs, resulting in more effective preservation of functional connectivity and improved efficiency in multilayer networks with top-down feedback. The proposed lattice-based pruning framework offers a rigorous and scalable approach for reducing RNN complexity while sustaining robust performance, paving the way for more efficient hierarchical models in both machine learning and computational neuroscience.
• Abstract（参考訳）: リカレントニューラルネットワーク(RNN)はシーケンスモデリングタスクの中心であるが、その高い計算複雑性はスケーラビリティとリアルタイムデプロイメントの課題を引き起こす。 従来のプルーニング技術は、主に重量の大きさに基づいており、しばしばこれらのネットワークの固有の構造的特性を見落としている。 本稿では,RNNを部分的に順序付けられた集合(命題)としてモデル化し,対応する依存格子を構成する新しいフレームワークを提案する。 既約ニューロンを同定することにより、格子ベースのプルーニングアルゴリズムは、冗長なニューロンを除去しながら、重要な接続を選択的に保持する。 この手法は2値および連続値の隣接行列を用いて実装され、ネットワーク接続の異なる側面を捉える。 提案手法は, MNISTデータセットに基づいて, スパーシリティと分類精度の明確なトレードオフを示す。 モデレートプルーニングは98%以上の精度を維持し、アグレッシブプルーニングはわずかに性能が低下しただけで高いスパシティを実現する。 従来の等級ベースプルーニングとは異なり,本手法はRNNの構造的構造を活用し,機能的接続性の向上と,トップダウンフィードバックによる多層ネットワークの効率向上を実現している。 格子ベースのプルーニングフレームワークは、堅牢なパフォーマンスを維持しながらRNNの複雑さを低減し、機械学習と計算神経科学の両方においてより効率的な階層モデルを実現するための厳密でスケーラブルなアプローチを提供する。

関連論文リスト

• Exploring Neural Network Pruning with Screening Methods [3.443622476405787]
  現代のディープラーニングモデルは数千万のパラメータを持ち、推論プロセスはリソース集約化されている。 本稿では,非必須パラメータを除去するネットワーク・プルーニング・フレームワークの提案と評価を行う。 提案するフレームワークは,従来のネットワークと比較して,競争力のあるリーンネットワークを生成する。
  論文  参考訳（メタデータ） (2025-02-11T02:31:04Z)
• Finite Element Neural Network Interpolation. Part I: Interpretable and Adaptive Discretization for Solving PDEs [44.99833362998488]
  組込み有限要素ニューラルネットワーク(EFENN)における従来の研究を拡張したスパースニューラルネットワークアーキテクチャを提案する。 EFENNはメッシュベースの構造であるため、完全に接続されたニューラルネットワークよりもトレーニング可能なパラメータをはるかに少なくする必要がある。 EFENNフレームワーク内のFENNIフレームワークは、HiDeNNアプローチの改善をもたらします。
  論文  参考訳（メタデータ） (2024-12-07T18:31:17Z)
• Beyond Pruning Criteria: The Dominant Role of Fine-Tuning and Adaptive Ratios in Neural Network Robustness [7.742297876120561]
  ディープニューラルネットワーク(DNN)は、画像認識や自然言語処理といったタスクに優れています。 従来のプルーニング手法は、微妙な摂動に耐えるネットワークの能力を損なう。 本稿では,プライドネットワークの性能決定要因として,従来の重み付け重み付けの重視に挑戦する。
  論文  参考訳（メタデータ） (2024-10-19T18:35:52Z)
• Geometric sparsification in recurrent neural networks [0.8851237804522972]
  大きなニューラルモデルを実行する際の計算コストを改善するための一般的なテクニックはスパース化である。 本稿では,リカレントニューラルネット(RNN)のスペーサー化手法を提案する。 変調正則化はより安定なリカレントニューラルネットを誘導し、90%以上の高忠実度モデルを実現することを示す。
  論文  参考訳（メタデータ） (2024-06-10T14:12:33Z)
• Towards Efficient Deep Spiking Neural Networks Construction with Spiking Activity based Pruning [17.454100169491497]
  本稿では,Spking Channel Activity-based (SCA) network pruning frameworkという,畳み込みカーネルの動作レベルに基づく構造化プルーニング手法を提案する。 本手法は, 学習中の畳み込みカーネルの切断・再生によりネットワーク構造を動的に調整し, 現在の目標タスクへの適応性を高める。
  論文  参考訳（メタデータ） (2024-06-03T07:44:37Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  ニューラルネットワークのような予測器のための新しいトレーニング原理であるLFP(Layer-wise Feedback Propagation)を提案する。 LFPは、与えられたタスクの解決へのそれぞれの貢献に基づいて、個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分を補強し,有害な部分を弱めるという欲求的アプローチを実現する。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• DAIS: Automatic Channel Pruning via Differentiable Annealing Indicator Search [55.164053971213576]
  畳み込みニューラルネットワークは,計算オーバーヘッドが大きいにもかかわらず,コンピュータビジョンタスクの実行において大きな成功を収めている。 構造的(チャネル)プルーニングは、通常、ネットワーク構造を保ちながらモデルの冗長性を低減するために適用される。 既存の構造化プルーニング法では、手作りのルールが必要であり、これは大きなプルーニング空間に繋がる可能性がある。
  論文  参考訳（メタデータ） (2020-11-04T07:43:01Z)
• Kernel-Based Smoothness Analysis of Residual Networks [85.20737467304994]
  ResNets(Residual Networks)は、これらの強力なモダンアーキテクチャの中でも際立っている。 本稿では,2つのモデル,すなわちResNetsが勾配よりもスムーズな傾向を示す。
  論文  参考訳（メタデータ） (2020-09-21T16:32:04Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。