論文の概要: Hierarchical Reinforcement Learning for Neural Network Compression (HiReLC): Pruning and Quantization

• arxiv url: http://arxiv.org/abs/2606.26002v1
• Date: Wed, 24 Jun 2026 16:19:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.393725
• Title: Hierarchical Reinforcement Learning for Neural Network Compression (HiReLC): Pruning and Quantization
• Title（参考訳）: 階層型強化学習によるニューラルネットワーク圧縮(HiReLC)の探索と量子化
• Abstract要約: HiReLCは、ディープニューラルネットワークの自動量子化と構造化プルーニングのための階層型アンサンブル強化学習フレームワークである。 低レベルエージェント(LLA)はブロックごとに独立して動作し、マルチ離散アクション空間上でカーネル単位の設定を選択する。 高レベルエージェント(HLA)は、フィッシャー情報に基づく感度推定によって導かれるアンサンブル投票を通じて、グローバルな予算配分を調整する。
• 参考スコア（独自算出の注目度）: 1.7616042687330635
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present HiReLC, a hierarchical ensemble-reinforcement learning framework for automated joint quantization and structured pruning of deep neural networks. The framework decomposes the compression search across two levels of abstraction: low-level agents (LLAs) operate independently per block, selecting per-kernel configurations over a multi-discrete action space spanning bitwidth, pruning keep-ratio, quantization type, and granularity, while high-level agents (HLAs) coordinate global budget allocation via ensemble voting guided by Fisher Information-based sensitivity estimates. To mitigate the computational cost of policy evaluation, an iterative active learning loop interleaves surrogate-guided RL optimization with post-compression fine-tuning, using a lightweight MLP surrogate to amortize expensive evaluations and a logit-MSE proxy during cold-start. The surrogate is used for reward shaping rather than as a replacement for final post-compression evaluation. The controller is architecture-agnostic by design, with a modular layer abstraction decoupling the RL environment from the underlying network topology. Experiments across Vision Transformer and CNN benchmarks demonstrate effective parameter-storage compression ratios of 5.99 - 6.72$\times$ with a 3.83 % gain in one setting and 0.55 - 5.62 % accuracy drops elsewhere, supporting hierarchical policy decomposition and sensitivity-aware guidance as practical design choices for joint neural network compression.
• Abstract（参考訳）: 深層ニューラルネットワークの自動量子化と構造化プルーニングのための階層型アンサンブル強化学習フレームワークであるHiReLCを提案する。 低レベルエージェント (LLA) はブロックごとに独立して動作し、ビット幅、プルーニングキープ、量子化タイプ、粒度にまたがるマルチ離散アクション空間上でカーネル単位の設定を選択し、高レベルエージェント (HLA) はフィッシャー情報に基づく感度推定によって導かれるアンサンブル投票によるグローバル予算配分を調整する。 ポリシー評価の計算コストを軽減するために、反復能動学習ループは、冷間開始時に高価な評価とロジット-MSEプロキシを記憶するために軽量なMLPサロゲートを用いて、サロゲート誘導RL最適化を圧縮後微調整でインターリーブする。 シュロゲートは、最終的な圧縮後の評価の代替としてではなく、報酬形成に使用される。 コントローラは設計上アーキテクチャに依存しないため、基盤となるネットワークトポロジからRL環境を分離するモジュラー層を抽象化する。 Vision Transformer と CNN のベンチマークによる実験では、有効パラメータ-ストレージ圧縮比が 5.99 - 6.72$\times$ で、1 つの設定で 3.83 % 上昇し、他の場所では 0.55 - 5.62 % の精度低下を示し、統合ニューラルネットワーク圧縮の実用的な設計選択として階層的なポリシー分解と感度-認識ガイダンスをサポートする。

関連論文リスト

• GO-GenZip: Goal-Oriented Generative Sampling and Hybrid Compression [50.76941829813458]
  現在のネットワークデータテレメトリパイプラインは、複数の分散ソースから中央アグリゲータへの、きめ細かいキーパフォーマンス指標(KPI)の巨大なストリームで構成されている。 本研究は、目標指向の観点からネットワークテレメトリを再設計する、ジェネレーティブAI(GenAI)駆動サンプリングとハイブリッド圧縮フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-20T16:33:15Z)
• HQP: Sensitivity-Aware Hybrid Quantization and Pruning for Ultra-Low-Latency Edge AI Inference [0.0]
  相乗的モデル加速を実現するために設計されたHybrid Quantization and Pruning (HQP)フレームワーク。 HQPフレームワークは3.12倍の推論速度向上と55%のモデルサイズ縮小を実現している。
  論文  参考訳（メタデータ） (2026-02-02T18:17:45Z)
• Rethinking Autoregressive Models for Lossless Image Compression via Hierarchical Parallelism and Progressive Adaptation [75.58269386927076]
  自己回帰(AR)モデルは、しばしば計算コストの禁止のために非現実的に除外される。 この研究は、階層的並列性とプログレッシブ適応に基づくフレームワークを導入して、このパラダイムを再考する。 各種データセット(自然,衛星,医療)の実験により,本手法が新たな最先端圧縮を実現することを確認した。
  論文  参考訳（メタデータ） (2025-11-14T06:27:58Z)
• Structure-Aware Automatic Channel Pruning by Searching with Graph Embedding [28.03880549472142]
  チャネルプルーニングはディープニューラルネットワークの計算オーバーヘッドを低減するための強力な技術である。 ネットワークトポロジをモデル化し,各チャネルのグローバルな重要性を学習するための,構造対応自動チャネルプルーニング(SACP)フレームワークを提案する。 SACPは圧縮効率と精度保持の競争力において最先端のプルーニング法より優れている。
  論文  参考訳（メタデータ） (2025-06-13T05:05:35Z)
• An Adaptive Tensor-Train Decomposition Approach for Efficient Deep Neural Network Compression [4.869958813908807]
  本稿では,効率的なモデル圧縮のための新しい,自動,予算を考慮したランク選択手法を提案する。 レイヤワイズインプリンティング量子化(LWIQ)は、プロキシ分類器を統合することで、ニューラルネットワーク内の各レイヤの意義を定量化する。 CIFAR-10データセットの実験結果から,LWIQのランク検索効率は63.2%向上した。
  論文  参考訳（メタデータ） (2024-08-02T18:47:11Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• ALF: Autoencoder-based Low-rank Filter-sharing for Efficient Convolutional Neural Networks [63.91384986073851]
  オートエンコーダを用いた低ランクフィルタ共有技術(ALF)を提案する。 ALFは、ネットワークパラメータの70%、オペレーションの61%、実行時間の41%を削減し、精度の低下を最小限にしている。
  論文  参考訳（メタデータ） (2020-07-27T09:01:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。