論文の概要: The Impact of Quantization and Pruning on Deep Reinforcement Learning Models

• arxiv url: http://arxiv.org/abs/2407.04803v1
• Date: Fri, 5 Jul 2024 18:21:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 22:36:40.207444
• Title: The Impact of Quantization and Pruning on Deep Reinforcement Learning Models
• Title（参考訳）: 深部強化学習モデルにおける量子化とプルーニングの影響
• Authors: Heng Lu, Mehdi Alemi, Reza Rawassizadeh,
• Abstract要約: 深層強化学習(DRL)は、ビデオゲーム、ロボティクス、近年の大規模言語モデルなど、様々な領域で顕著な成功を収めている。 しかし、DRLモデルの計算コストとメモリ要求はリソース制約された環境への展開を制限することが多い。 本研究では,DRLモデルに対する量子化とプルーニングという2つの顕著な圧縮手法の影響について検討した。
• 参考スコア（独自算出の注目度）: 1.5252729367921107
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep reinforcement learning (DRL) has achieved remarkable success across various domains, such as video games, robotics, and, recently, large language models. However, the computational costs and memory requirements of DRL models often limit their deployment in resource-constrained environments. The challenge underscores the urgent need to explore neural network compression methods to make RDL models more practical and broadly applicable. Our study investigates the impact of two prominent compression methods, quantization and pruning on DRL models. We examine how these techniques influence four performance factors: average return, memory, inference time, and battery utilization across various DRL algorithms and environments. Despite the decrease in model size, we identify that these compression techniques generally do not improve the energy efficiency of DRL models, but the model size decreases. We provide insights into the trade-offs between model compression and DRL performance, offering guidelines for deploying efficient DRL models in resource-constrained settings.
• Abstract（参考訳）: 深層強化学習(DRL)は、ビデオゲーム、ロボティクス、近年の大規模言語モデルなど、様々な領域で顕著な成功を収めている。 しかし、DRLモデルの計算コストとメモリ要求はリソース制約された環境への展開を制限することが多い。 この課題は、RDLモデルをより実用的で広く適用するために、ニューラルネットワーク圧縮方法を検討する緊急の必要性を浮き彫りにしている。 本研究では,DRLモデルに対する量子化とプルーニングという2つの顕著な圧縮手法の影響について検討した。 これらの手法が,各DRLアルゴリズムおよび環境における平均戻り値,メモリ,推論時間,バッテリ利用の4つの性能要因に与える影響について検討した。 モデルサイズの減少にもかかわらず、これらの圧縮技術は一般的にDRLモデルのエネルギー効率を向上しないが、モデルサイズは減少する。 我々は、モデル圧縮とDRL性能のトレードオフに関する洞察を提供し、リソース制約のある環境で効率的なDRLモデルをデプロイするためのガイドラインを提供する。

関連論文リスト

• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Compressing Deep Reinforcement Learning Networks with a Dynamic Structured Pruning Method for Autonomous Driving [63.155562267383864]
  深部強化学習(DRL)は複雑な自律運転シナリオにおいて顕著な成功を収めている。 DRLモデルは、必然的に高いメモリ消費と計算をもたらし、リソース限定の自動運転デバイスへの広範な展開を妨げる。 そこで本研究では,DRLモデルの非重要なニューロンを段階的に除去する,新しい動的構造化プルーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-02-07T09:00:30Z)
• Data-Efficient Task Generalization via Probabilistic Model-based Meta Reinforcement Learning [58.575939354953526]
  PACOH-RLはメタ強化学習(Meta-RL)アルゴリズムである。 既存のMeta-RLメソッドは豊富なメタ学習データを必要とし、ロボット工学などの設定で適用性を制限する。 実験の結果,PACOH-RLはモデルベースRLおよびモデルベースMeta-RLベースラインよりも高い性能を示し,新しい動的条件に適応することがわかった。
  論文  参考訳（メタデータ） (2023-11-13T18:51:57Z)
• A Neuromorphic Architecture for Reinforcement Learning from Real-Valued Observations [0.34410212782758043]
  強化学習(RL)は複雑な環境における意思決定のための強力なフレームワークを提供する。 本稿では,実測値を用いてRL問題を解くための新しいスパイキングニューラルネットワーク(SNN)アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-07-06T12:33:34Z)
• Learning a model is paramount for sample efficiency in reinforcement learning control of PDEs [5.488334211013093]
  RLエージェントの訓練と並行して動作モデルを学ぶことで,実システムからサンプリングしたデータ量を大幅に削減できることを示す。 また、RLトレーニングのバイアスを避けるために、モデルを反復的に更新することが重要であることも示している。
  論文  参考訳（メタデータ） (2023-02-14T16:14:39Z)
• Reducing Action Space: Reference-Model-Assisted Deep Reinforcement Learning for Inverter-based Volt-Var Control [15.755809730271327]
  Inverter-based Volt-Var Control (IB-VVC) のための参照モデル支援深部強化学習(DRL)を提案する。 DRLの動作空間を低減するために,参照モデルを用いたDRLアプローチを設計する。 DRLの学習困難を軽減し、参照モデル支援DRLアプローチの性能を最適化する。
  論文  参考訳（メタデータ） (2022-10-10T02:55:16Z)
• Simplifying Model-based RL: Learning Representations, Latent-space Models, and Policies with One Objective [142.36200080384145]
  自己整合性を維持しつつ高いリターンを達成するために,潜在空間モデルとポリシーを協調的に最適化する単一目的を提案する。 得られたアルゴリズムは, モデルベースおよびモデルフリーRL手法のサンプル効率に適合するか, 改善することを示した。
  論文  参考訳（メタデータ） (2022-09-18T03:51:58Z)
• Pessimistic Model Selection for Offline Deep Reinforcement Learning [56.282483586473816]
  深層強化学習(DRL)は多くのアプリケーションにおいてシーケンシャルな意思決定問題を解決する大きな可能性を示している。 主要な障壁の1つは、DRLが学んだ政策の一般化性の低下につながる過度に適合する問題である。 理論的保証のあるオフラインDRLに対する悲観的モデル選択(PMS)手法を提案する。
  論文  参考訳（メタデータ） (2021-11-29T06:29:49Z)
• Offline Reinforcement Learning from Images with Latent Space Models [60.69745540036375]
  オフライン強化学習(RL)とは、環境相互作用の静的データセットからポリシーを学習する問題を指します。 オフラインRLのためのモデルベースアルゴリズムの最近の進歩の上に構築し、それらを高次元の視覚観測空間に拡張する。 提案手法は, 実測可能であり, 未知のPOMDPにおけるELBOの下限の最大化に対応している。
  論文  参考訳（メタデータ） (2020-12-21T18:28:17Z)
• Stealing Deep Reinforcement Learning Models for Fun and Profit [33.64948529132546]
  本稿では,Deep Reinforcement Learning (DRL) に対する最初のモデル抽出攻撃を提案する。 これにより、外部の敵は環境との相互作用からのみブラックボックスDRLモデルを正確に回復することができる。
  論文  参考訳（メタデータ） (2020-06-09T03:24:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。