論文の概要: Distilling Deep RL Models Into Interpretable Neuro-Fuzzy Systems

• arxiv url: http://arxiv.org/abs/2209.03357v1
• Date: Wed, 7 Sep 2022 14:43:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-09 12:37:44.256653
• Title: Distilling Deep RL Models Into Interpretable Neuro-Fuzzy Systems
• Title（参考訳）: 深部RLモデルの解釈可能なニューロファジィシステムへの応用
• Authors: Arne Gevaert, Jonathan Peck, Yvan Saeys
• Abstract要約: 本稿では,Q-networkから小型のニューロファジィコントローラへポリシーを抽出するアルゴリズムを提案する。 これにより、蒸留を通してコンパクトなニューロファジィコントローラを訓練し、直接解決できないタスクを解決できます。
• 参考スコア（独自算出の注目度）: 2.0625936401496237
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Reinforcement Learning uses a deep neural network to encode a policy, which achieves very good performance in a wide range of applications but is widely regarded as a black box model. A more interpretable alternative to deep networks is given by neuro-fuzzy controllers. Unfortunately, neuro-fuzzy controllers often need a large number of rules to solve relatively simple tasks, making them difficult to interpret. In this work, we present an algorithm to distill the policy from a deep Q-network into a compact neuro-fuzzy controller. This allows us to train compact neuro-fuzzy controllers through distillation to solve tasks that they are unable to solve directly, combining the flexibility of deep reinforcement learning and the interpretability of compact rule bases. We demonstrate the algorithm on three well-known environments from OpenAI Gym, where we nearly match the performance of a DQN agent using only 2 to 6 fuzzy rules.
• Abstract（参考訳）: Deep Reinforcement Learningは、ディープニューラルネットワークを使用してポリシーを符号化し、幅広いアプリケーションで非常に優れたパフォーマンスを達成するが、ブラックボックスモデルとして広く見なされている。 ディープネットワークのより解釈しやすい代替手段は、ニューロファジーコントローラによって与えられる。 残念ながら、神経ファジィコントローラは比較的単純なタスクを解くために多くのルールを必要とすることが多く、解釈が難しい。 本研究では,Qネットワークの深部から小型のニューロファジィコントローラへポリシーを抽出するアルゴリズムを提案する。 これにより、蒸留を通してコンパクトなニューロファジィコントローラを訓練し、より深い強化学習の柔軟性とコンパクトなルール基底の解釈可能性を組み合わせることで、直接解決できない課題を解決することができる。 このアルゴリズムはOpenAI Gymの3つのよく知られた環境で実証され、2から6のファジィルールでDQNエージェントのパフォーマンスとほぼ一致した。

関連論文リスト

• SINDy-RL: Interpretable and Efficient Model-Based Reinforcement Learning [5.59265003686955]
  SINDy-RLは,SINDyと深層強化学習を組み合わせたフレームワークである。 SINDy-RLは最先端のDRLアルゴリズムに匹敵する性能を達成する。 我々は,ベンチマーク制御環境と流体問題に対するアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2024-03-14T05:17:39Z)
• Fully Spiking Actor Network with Intra-layer Connections for Reinforcement Learning [51.386945803485084]
  エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。 既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。 浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
  論文  参考訳（メタデータ） (2024-01-09T07:31:34Z)
• Learning RL-Policies for Joint Beamforming Without Exploration: A Batch Constrained Off-Policy Approach [1.0080317855851213]
  本稿では,ネットワークにおけるパラメータキャンセル最適化の問題点について考察する。 探索と学習のために実世界でアルゴリズムをデプロイすることは、探索せずにデータによって達成できることを示す。
  論文  参考訳（メタデータ） (2023-10-12T18:36:36Z)
• Closed-form control with spike coding networks [1.1470070927586016]
  スパイキングニューラルネットワーク(SNN)を用いた効率的かつ堅牢な制御は、依然として未解決の問題である。 スパイク符号化ネットワーク(SCN)の神経科学理論を,クローズドフォームの最適推定と制御を取り入れて拡張する。 模擬スプリング・マス・ダンパーおよびカート・ポールシステムのロバストなスパイク制御を実証した。
  論文  参考訳（メタデータ） (2022-12-25T10:32:20Z)
• Symbolic Distillation for Learned TCP Congestion Control [70.27367981153299]
  TCP渋滞制御は、深層強化学習(RL)アプローチで大きな成功を収めた。 ブラックボックスポリシーは解釈可能性と信頼性に欠けており、しばしば従来のTCPデータパスの外で運用する必要がある。 本稿では,まず深部RLエージェントを訓練し,次にNNポリシーをホワイトボックスの軽量なルールに蒸留する,両世界の長所を達成するための新しい2段階のソリューションを提案する。
  論文  参考訳（メタデータ） (2022-10-24T00:58:16Z)
• Deep Reinforcement Learning with Spiking Q-learning [51.386945803485084]
  スパイクニューラルネットワーク(SNN)は、少ないエネルギー消費で人工知能(AI)を実現することが期待されている。 SNNと深部強化学習(RL)を組み合わせることで、現実的な制御タスクに有望なエネルギー効率の方法を提供する。
  論文  参考訳（メタデータ） (2022-01-21T16:42:11Z)
• Provable Regret Bounds for Deep Online Learning and Control [77.77295247296041]
  我々は、損失関数がニューラルネットワークのパラメータを最適化するために適応できることを示し、後から最も優れたネットと競合することを示す。 オンライン設定におけるこれらの結果の適用として、オンライン制御コントローラの証明可能なバウンダリを得る。
  論文  参考訳（メタデータ） (2021-10-15T02:13:48Z)
• Online-Learning Deep Neuro-Adaptive Dynamic Inversion Controller for Model Free Control [1.3764085113103217]
  ニュートラル適応コントローラは、新しい重み更新法則に基づいて訓練されたディープニューラルネットワークを特徴とする実装である。 制御器は、非線形プラントを迅速に学習することができ、追従制御問題において優れた性能を示す。
  論文  参考訳（メタデータ） (2021-07-21T22:46:03Z)
• Decentralized Control with Graph Neural Networks [147.84766857793247]
  分散コントローラを学習するグラフニューラルネットワーク(GNN)を用いた新しいフレームワークを提案する。 GNNは、自然分散アーキテクチャであり、優れたスケーラビリティと転送性を示すため、タスクに適している。 分散コントローラの学習におけるGNNの可能性を説明するために、群れとマルチエージェントパス計画の問題を検討する。
  論文  参考訳（メタデータ） (2020-12-29T18:59:14Z)
• Deep Reinforcement Learning with Population-Coded Spiking Neural Network for Continuous Control [0.0]
  深層強化学習(DRL)を用いた深層批評家ネットワークと連携して訓練された集団符号化スパイキングアクターネットワーク(PopSAN)を提案する。 我々は、トレーニング済みのPopSANをIntelのLoihiニューロモルフィックチップにデプロイし、本手法をメインストリームのDRLアルゴリズムと比較し、連続的な制御を行った。 本研究はニューロモルフィックコントローラの効率性をサポートし,エネルギー効率とロバスト性の両方が重要である場合,我々のハイブリッドRLをディープラーニングの代替として提案する。
  論文  参考訳（メタデータ） (2020-10-19T16:20:45Z)
• Graph Neural Networks for Decentralized Controllers [171.6642679604005]
  自律エージェントで構成される動的システムは、ロボット工学、スマートグリッド、スマートシティなど、多くの関連する問題に現れる。 最適な集中型コントローラは容易に利用できるが、スケーラビリティと実用的な実装の面で制限に直面している。 グラフニューラルネットワーク(GNN)を用いて,データから分散制御系を学習するフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-23T13:51:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。