論文の概要: CAMP-HiVe: Cyclic Pair Merging based Efficient DNN Pruning with Hessian-Vector Approximation for Resource-Constrained Systems

• arxiv url: http://arxiv.org/abs/2511.06265v1
• Date: Sun, 09 Nov 2025 07:58:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 21:18:44.849586
• Title: CAMP-HiVe: Cyclic Pair Merging based Efficient DNN Pruning with Hessian-Vector Approximation for Resource-Constrained Systems
• Title（参考訳）: CAMP-HiVe:Hessian-Vector近似を用いた循環型ペアマージによる資源制約系の効率的なDNNプルーニング
• Authors: Mohammad Helal Uddin, Sai Krishna Ghanta, Liam Seymour, Sabur Baidya,
• Abstract要約: CAMP-HiVeは,Hessian Vector近似を用いたサイクリックペアマージベースプルーニングである。 実験により,提案手法が計算要求の大幅な削減を実現することを示す。 既存の最先端のニューラルプルーニング法よりも優れています。
• 参考スコア（独自算出の注目度）: 3.343542849202802
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning algorithms are becoming an essential component of many artificial intelligence (AI) driven applications, many of which run on resource-constrained and energy-constrained systems. For efficient deployment of these algorithms, although different techniques for the compression of neural network models are proposed, neural pruning is one of the fastest and effective methods, which can provide a high compression gain with minimal cost. To harness enhanced performance gain with respect to model complexity, we propose a novel neural network pruning approach utilizing Hessian-vector products that approximate crucial curvature information in the loss function, which significantly reduces the computation demands. By employing a power iteration method, our algorithm effectively identifies and preserves the essential information, ensuring a balanced trade-off between model accuracy and computational efficiency. Herein, we introduce CAMP-HiVe, a cyclic pair merging-based pruning with Hessian Vector approximation by iteratively consolidating weight pairs, combining significant and less significant weights, thus effectively streamlining the model while preserving its performance. This dynamic, adaptive framework allows for real-time adjustment of weight significance, ensuring that only the most critical parameters are retained. Our experimental results demonstrate that our proposed method achieves significant reductions in computational requirements while maintaining high performance across different neural network architectures, e.g., ResNet18, ResNet56, and MobileNetv2, on standard benchmark datasets, e.g., CIFAR10, CIFAR-100, and ImageNet, and it outperforms the existing state-of-the-art neural pruning methods.
• Abstract（参考訳）: ディープラーニングアルゴリズムは、多くの人工知能(AI)駆動アプリケーションにおいて不可欠なコンポーネントになりつつある。 これらのアルゴリズムを効率的に展開するためには、ニューラルネットワークモデルの圧縮のための異なる技術が提案されているが、ニューラルプルーニングは最も高速で効果的な方法の1つであり、最小コストで高い圧縮ゲインを提供することができる。 モデル複雑性に関する性能向上に資するため,損失関数における重要な曲率情報を近似したヘッセンベクトル積を用いたニューラル・ネットワーク・プルーニング手法を提案し,計算要求を大幅に低減した。 パワー・イテレーション法を用いて,本アルゴリズムは重要な情報を効果的に識別・保存し,モデル精度と計算効率のバランスの取れたトレードオフを保証する。 本稿では,重み付けを反復的に統合し,重み付けと少ない重み付けを組み合わせることで,Hessian Vector近似を併用した循環式ペア・マージベースプルーニングCAMP-HiVeを提案する。 この動的で適応的なフレームワークは、重み付けのリアルタイムな調整を可能にし、最も重要なパラメータだけが保持されることを保証する。 実験の結果,提案手法は,標準的なベンチマークデータセット,例えば,CIFAR10,CIFAR-100,ImageNetにおいて,ResNet18,ResNet56,MobileNetv2などの異なるニューラルネットワークアーキテクチャで高い性能を維持しながら,計算要求の大幅な削減を実現し,既存の最先端のニューラルプルーニング手法よりも優れていた。

関連論文リスト

• Resource-Efficient and Robust Inference of Deep and Bayesian Neural Networks on Embedded and Analog Computing Platforms [0.4441866681085516]
  この研究は、アルゴリズムとハードウェアの効率を共同で追求することで、ニューラルネットワークのリソース効率と堅牢な推論を促進する。 最初のコントリビューションであるGalenは、感度分析とハードウェア・イン・ザ・ループフィードバックによって導かれる自動層特異的圧縮を実行する。 第2の作業は確率的推論を前進させ、コストのかかるサンプリングを置き換え、コンパイラスタックに統合し、組み込み推論を最適化する分析およびアンサンブル近似を開発する。
  論文  参考訳（メタデータ） (2025-10-28T20:34:53Z)
• Self-Composing Neural Operators with Depth and Accuracy Scaling via Adaptive Train-and-Unroll Approach [12.718377513965912]
  本稿では,自己合成によるニューラル演算子の効率性と精度を高める新しい枠組みを提案する。 数値偏微分方程式 (PDE) を解くための反復的手法に着想を得て, 1つのニューラル演算子ブロックを繰り返し適用して, 特定のニューラル演算子を設計する。 適応型トレイン・アンド・アンロールアプローチを導入し、トレーニング中にニューラル演算子の深さが徐々に増加する。
  論文  参考訳（メタデータ） (2025-08-28T10:53:00Z)
• Optimizing Deep Neural Networks using Safety-Guided Self Compression [0.0]
  本研究では,ニューラルネットワークの重み付けと定量化を行う新しい安全性駆動量子化フレームワークを提案する。 提案手法は、畳み込みニューラルネットワーク(CNN)とアテンションベース言語モデルの両方で厳格に評価される。 実験結果から,本フレームワークは,従来の未定量モデルと比較して,テスト精度を最大2.5%向上することがわかった。
  論文  参考訳（メタデータ） (2025-05-01T06:50:30Z)
• Lattice-Based Pruning in Recurrent Neural Networks via Poset Modeling [0.0]
  リカレントニューラルネットワーク(RNN)はシーケンスモデリングタスクの中心であるが、その高い計算複雑性はスケーラビリティとリアルタイムデプロイメントの課題を引き起こす。 本稿では,RNNを部分的に順序付けられた集合(命題)としてモデル化し,対応する依存格子を構成する新しいフレームワークを提案する。 既約ニューロンを同定することにより、格子ベースのプルーニングアルゴリズムは、冗長なニューロンを除去しながら、重要な接続を選択的に保持する。
  論文  参考訳（メタデータ） (2025-02-23T10:11:38Z)
• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Adaptive Error-Bounded Hierarchical Matrices for Efficient Neural Network Compression [0.0]
  本稿では,物理インフォームドニューラルネットワーク(PINN)に適した動的,エラーバウンドな階層行列 (H-matrix) 圧縮手法を提案する。 提案手法は,ニューラル・タンジェント・カーネル(NTK)の本質的性質を保ちながら,大規模物理モデルにおける計算複雑性とメモリ要求を低減させる。 実験により, この手法は, 高精度を維持し, 一般化能力を向上させることにより, Singular Value Decomposition (SVD) やプルーニング, 量子化などの従来の圧縮手法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-09-11T05:55:51Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Neural network relief: a pruning algorithm based on neural activity [47.57448823030151]
  重要でない接続を非活性化する簡易な重要スコア計量を提案する。 MNIST上でのLeNetアーキテクチャの性能に匹敵する性能を実現する。 このアルゴリズムは、現在のハードウェアとソフトウェアの実装を考えるとき、FLOPを最小化するように設計されていない。
  論文  参考訳（メタデータ） (2021-09-22T15:33:49Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。