論文の概要: Dynamic Sensitivity Filter Pruning using Multi-Agent Reinforcement Learning For DCNN's
- arxiv url: http://arxiv.org/abs/2509.05446v1
- Date: Fri, 05 Sep 2025 18:55:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-09 14:07:03.513127
- Title: Dynamic Sensitivity Filter Pruning using Multi-Agent Reinforcement Learning For DCNN's
- Title（参考訳）: マルチエージェント強化学習を用いたDCNN用動的感度フィルタプルーニング
- Authors: Iftekhar Haider Chowdhury, Zaed Ikbal Syed, Ahmed Faizul Haque Dhrubo, Mohammad Abdul Qayum,
- Abstract要約: 本稿では,新しい単一ショットフィルタプルーニングフレームワークである差分感度融合プルーニングを紹介する。
異なるプルーニングレートの50%から70%にわたる実験は、差分感度融合プルーニングがモデルの複雑さを著しく減少させることを示した。
提案手法は、スケーラブルで適応的なDeep Convolutional Neural Networks圧縮のための効果的な解を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep Convolutional Neural Networks have achieved state of the art performance across various computer vision tasks, however their practical deployment is limited by computational and memory overhead. This paper introduces Differential Sensitivity Fusion Pruning, a novel single shot filter pruning framework that focuses on evaluating the stability and redundancy of filter importance scores across multiple criteria. Differential Sensitivity Fusion Pruning computes a differential sensitivity score for each filter by fusing the discrepancies among gradient based sensitivity, first order Taylor expansion, and KL divergence of activation distributions. An exponential scaling mechanism is applied to emphasize filters with inconsistent importance across metrics, identifying candidates that are structurally unstable or less critical to the model performance. Unlike iterative or reinforcement learning based pruning strategies, Differential Sensitivity Fusion Pruning is efficient and deterministic, requiring only a single forward-backward pass for scoring and pruning. Extensive experiments across varying pruning rates between 50 to 70 percent demonstrate that Differential Sensitivity Fusion Pruning significantly reduces model complexity, achieving over 80 percent Floating point Operations Per Seconds reduction while maintaining high accuracy. For instance, at 70 percent pruning, our approach retains up to 98.23 percent of baseline accuracy, surpassing traditional heuristics in both compression and generalization. The proposed method presents an effective solution for scalable and adaptive Deep Convolutional Neural Networks compression, paving the way for efficient deployment on edge and mobile platforms.
- Abstract（参考訳）: Deep Convolutional Neural Networksは、様々なコンピュータビジョンタスクで最先端のパフォーマンスを達成したが、実際のデプロイメントは計算とメモリのオーバーヘッドによって制限されている。
本稿では,複数基準におけるフィルタ重要度スコアの安定性と冗長性を評価することを目的とした,新しい単一ショットフィルタプルーニングフレームワークであるdifferial Sensitivity Fusion Pruningを紹介する。
差分感度融合プルーニングは、勾配に基づく感度、第1次テイラー展開、活性化分布のKL分散の相違を解消することにより、各フィルタの差分感度スコアを算出する。
指数的スケーリング機構は、モデルの性能に対して構造的に不安定であるか重要でない候補を特定するために、メトリクス間で不整合な重要性を持つフィルタを強調するために適用される。
反復的あるいは強化的学習に基づくプルーニング戦略とは異なり、差分感度融合プルーニングは効率的かつ決定論的であり、スコアとプルーニングのためには1つの前方通過しか必要としない。
異なるプルーニングレートの50%から70%にわたる大規模な実験により、差分感度融合プルーニングはモデルの複雑さを著しく低減し、高い精度を維持しつつ、80%以上の浮動小数点演算を達成できることを示した。
例えば、70パーセントのプルーニングでは、我々の手法は、圧縮と一般化の両方において従来のヒューリスティックよりも98.23パーセントのベースライン精度を維持している。
提案手法はスケーラブルで適応的なディープ畳み込みニューラルネットワーク圧縮のための効果的な解を示し,エッジおよびモバイルプラットフォームへの効率的なデプロイ方法を提案する。
関連論文リスト
- Progressive Element-wise Gradient Estimation for Neural Network Quantization [2.1413624861650358]
量子化アウェアトレーニング(QAT)法は、離散化関数の非微分可能性に対処するためにSTE(Straight-Through Estimator)に依存する。
本稿では,連続値と量子化値の離散化誤差に対処するため,PEGE(Progressive Element-wise Gradient Estimation)を提案する。
PEGEは、既存のバックプロパゲーション手法を一貫して上回り、低精度のモデルが彼らの完全精度の精度にマッチしたり、さらに上回ったりすることを可能にしている。
論文 参考訳（メタデータ） (2025-08-27T15:59:36Z) - Flexible Automatic Identification and Removal (FAIR)-Pruner: An Efficient Neural Network Pruning Method [11.575879702610914]
本稿では、ニューラルネットワーク構造化プルーニングの新しい手法であるフレキシブル自動識別除去(FAIR-Pruner)を提案する。
FAIR-Prunerの大きな利点は、レイヤーワイドプルーニング率を自動的に決定する能力にある。
利用スコアと復元誤差により、ユーザーは異なるプルーニング比率でプルーニングされたモデルを柔軟に取得できる。
論文 参考訳（メタデータ） (2025-08-04T10:59:07Z) - Efficient Test-time Adaptive Object Detection via Sensitivity-Guided Pruning [73.40364018029673]
連続的なテスト時間適応オブジェクト検出(CTTA-OD)は、源となる事前訓練された検出器を常に変化する環境にオンライン適応させることを目的としている。
私たちのモチベーションは、学習したすべての特徴が有益であるとは限らないという観察に起因しています。
FLOPの計算オーバヘッドを12%削減し,優れた適応性を実現する。
論文 参考訳（メタデータ） (2025-06-03T05:27:56Z) - Flow-GRPO: Training Flow Matching Models via Online RL [75.70017261794422]
本稿では,オンライン強化学習(RL)をフローマッチングモデルに統合する最初の方法であるFlow-GRPOを提案する。
提案手法では, 1 つの主要な戦略を用いる:(1) 決定論的正規方程式 (ODE) を, 1 つの時点における原モデルの限界分布に一致する等価な微分方程式 (SDE) に変換するODE-to-SDE 変換と、(2) 元の推論タイムステップ数を保ちながらトレーニングの段階を減らし,
論文 参考訳（メタデータ） (2025-05-08T17:58:45Z) - Dataset Distillation with Neural Characteristic Function: A Minmax Perspective [39.77640775591437]
minmax最適化問題としてデータセット蒸留を再構成し、ニューラル特徴関数離散性(NCFD)を導入する。
NCFDは分布差を測定するための包括的で理論的に基礎付けられた計量である。
提案手法は,低解像度および高解像度のデータセット上での最先端手法よりも高い性能向上を実現する。
論文 参考訳（メタデータ） (2025-02-28T02:14:55Z) - Layer Pruning with Consensus: A Triple-Win Solution [0.0]
レイヤ・プルーニングのアプローチは、しばしば、レイヤの複雑な基盤となる特性を完全に捉えない単一の基準に依存します。
本稿では,複数の類似度指標を,コンセンサス基準(Consensus criterion)と呼ばれる低重要層の単一の表現尺度に組み合わせた新しい手法を提案する。
本手法は,低精度低下,高性能化,敵攻撃に対するロバスト性の向上という3つの解を提供する。
論文 参考訳（メタデータ） (2024-11-21T17:41:27Z) - LATTE: Low-Precision Approximate Attention with Head-wise Trainable Threshold for Efficient Transformer [0.0]
我々は,高効率変圧器(LATTE)のための頭部訓練用閾値を用いた高精度近似注意法を提案する。
LATTEは、MHA(Multi-Head Attention)の計算量を削減するために、低精度ドット積を持つ頭部しきい値に基づくフィルタを用いる。
実験の結果, LATTE は NLP と CV の両方のタスクにスムーズに適応でき, 計算コストを大幅に削減できることがわかった。
論文 参考訳（メタデータ） (2024-04-11T07:23:19Z) - Once for Both: Single Stage of Importance and Sparsity Search for Vision Transformer Compression [63.23578860867408]
重要度評価と疎度評価を1段階にまとめる方法について検討する。
重要度と疎度の両方を同時に評価するコスト効率の高いOFBを提案する。
実験により、OFBは最先端のサーチベースおよびプルーニングベース手法よりも優れた圧縮性能が得られることが示された。
論文 参考訳（メタデータ） (2024-03-23T13:22:36Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳（メタデータ） (2021-03-10T03:59:03Z) - Dependency Aware Filter Pruning [74.69495455411987]
重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。
以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。
所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
論文 参考訳（メタデータ） (2020-05-06T07:41:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。