論文の概要: Distill2Explain: Differentiable decision trees for explainable reinforcement learning in energy application controllers
- arxiv url: http://arxiv.org/abs/2403.11907v1
- Date: Mon, 18 Mar 2024 16:09:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-20 19:40:35.775038
- Title: Distill2Explain: Differentiable decision trees for explainable reinforcement learning in energy application controllers
- Title（参考訳）: Distill2Explain:エネルギー応用制御系における説明可能な強化学習のための微分可能な決定木
- Authors: Gargya Gokhale, Seyed Soroush Karimi Madahi, Bert Claessens, Chris Develder,
- Abstract要約: 住宅セクターはエネルギー柔軟性の重要な(潜在的)源である。
そのようなタスクの潜在的制御フレームワークは、データ駆動型制御、特にモデルフリー強化学習(RL)である。
RLは、環境と対話し、データに基づいて純粋に学習し、人間の介入を最小限に抑えて、優れた制御ポリシーを学ぶ。
本稿では、微分可能な決定木を用いて、説明可能なRLポリシーを得るための新しい方法を提案する。
- 参考スコア（独自算出の注目度）: 5.311053322050159
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Demand-side flexibility is gaining importance as a crucial element in the energy transition process. Accounting for about 25% of final energy consumption globally, the residential sector is an important (potential) source of energy flexibility. However, unlocking this flexibility requires developing a control framework that (1) easily scales across different houses, (2) is easy to maintain, and (3) is simple to understand for end-users. A potential control framework for such a task is data-driven control, specifically model-free reinforcement learning (RL). Such RL-based controllers learn a good control policy by interacting with their environment, learning purely based on data and with minimal human intervention. Yet, they lack explainability, which hampers user acceptance. Moreover, limited hardware capabilities of residential assets forms a hurdle (e.g., using deep neural networks). To overcome both those challenges, we propose a novel method to obtain explainable RL policies by using differentiable decision trees. Using a policy distillation approach, we train these differentiable decision trees to mimic standard RL-based controllers, leading to a decision tree-based control policy that is data-driven and easy to explain. As a proof-of-concept, we examine the performance and explainability of our proposed approach in a battery-based home energy management system to reduce energy costs. For this use case, we show that our proposed approach can outperform baseline rule-based policies by about 20-25%, while providing simple, explainable control policies. We further compare these explainable policies with standard RL policies and examine the performance trade-offs associated with this increased explainability.
- Abstract（参考訳）: エネルギー移行プロセスにおける重要な要素として、需要側の柔軟性が重要になっている。
世界の最終エネルギー消費の約25%を占める住宅セクターは、エネルギーの柔軟性の重要な(潜在的)源である。
しかし、この柔軟性を解き放つには、(1)異なる住宅に容易にスケールできる、(2)メンテナンスが容易、(3)エンドユーザにとって理解しやすいコントロールフレームワークを開発する必要がある。
そのようなタスクの潜在的な制御フレームワークは、データ駆動型制御、特にモデルフリー強化学習(RL)である。
このようなRLベースのコントローラは、環境と対話し、データに基づいて純粋に学習し、人間の介入を最小限に抑えて、優れた制御ポリシーを学習する。
しかし、説明性に欠けており、ユーザーの受け入れを妨げている。
さらに、住宅資産の限られたハードウェア能力はハードルとなる(例えば、ディープニューラルネットワークを使用する)。
これらの課題を克服するために、微分可能な決定木を用いて説明可能なRLポリシーを得る新しい方法を提案する。
政策蒸留アプローチを用いて、標準的なRLベースのコントローラを模倣するためにこれらの異なる決定木を訓練し、データ駆動型で説明しやすい決定木ベースの制御ポリシーを導出する。
概念実証として,バッテリベース家庭用エネルギー管理システムにおける提案手法の性能と説明可能性について検討し,エネルギーコストの低減を図る。
このユースケースでは,提案手法がベースラインルールベースのポリシーを20～25%上回り,シンプルで説明可能な制御ポリシーを提供する。
さらに、これらの説明可能なポリシーを標準のRLポリシーと比較し、この説明可能性の増加に伴うパフォーマンストレードオフについて検討する。
関連論文リスト
- CityLearn v2: Energy-flexible, resilient, occupant-centric, and carbon-aware management of grid-interactive communities [8.658740257657564]
CityLearnは、単純で高度な分散エネルギー資源制御アルゴリズムをベンチマークするための環境を提供する。
本研究は、v2環境設計を詳述し、蓄電池システムの充電/放電サイクル、車両間制御、ヒートポンプ電力変調時の熱快適性を管理するための強化学習を利用した応用例を提供する。
論文 参考訳（メタデータ） (2024-05-02T16:31:09Z) - Distilling Reinforcement Learning Policies for Interpretable Robot Locomotion: Gradient Boosting Machines and Symbolic Regression [53.33734159983431]
本稿では, ニューラルRLポリシをより解釈可能な形式に蒸留する新しい手法を提案する。
我々は、RLを用いて専門家のニューラルネットワークポリシーを訓練し、(i)GBM、(ii)EBM、(iii)シンボリックポリシーに蒸留する。
論文 参考訳（メタデータ） (2024-03-21T11:54:45Z) - Explainable Reinforcement Learning-based Home Energy Management Systems using Differentiable Decision Trees [4.573008040057806]
住宅セクターは、太陽光発電、家庭用バッテリー、EVの採用の増加により、柔軟性を損なう主要かつ未解決の源となっている。
微分可能な決定木を用いた強化学習に基づくアプローチを提案する。
このアプローチは、データ駆動強化学習のスケーラビリティと(微分可能)決定木の説明可能性を統合する。
概念実証として,家庭内エネルギー管理問題を用いて提案手法を解析し,その性能を市販のルールベースベースラインと標準ニューラルネットワークベースRLコントローラと比較した。
論文 参考訳（メタデータ） (2024-03-18T16:40:41Z) - Deployable Reinforcement Learning with Variable Control Rate [14.838483990647697]
可変制御率を持つ強化学習(RL)の変種を提案する。
このアプローチでは、ポリシーは、エージェントが取るべきアクションと、そのアクションに関連する時間ステップの期間を決定する。
ニュートンキネマティクスを用いたエージェントを駆動する概念実証シミュレーションによりSEACの有効性を示す。
論文 参考訳（メタデータ） (2024-01-17T15:40:11Z) - Conformal Policy Learning for Sensorimotor Control Under Distribution
Shifts [61.929388479847525]
本稿では,センサコントローラの観測値の分布変化を検知・応答する問題に焦点をあてる。
鍵となる考え方は、整合量子を入力として取ることができるスイッチングポリシーの設計である。
本稿では, 基本方針を異なる特性で切り替えるために, 共形量子関数を用いてこのようなポリシーを設計する方法を示す。
論文 参考訳（メタデータ） (2023-11-02T17:59:30Z) - Multi-market Energy Optimization with Renewables via Reinforcement
Learning [1.0878040851638]
本稿では,再生可能エネルギーと貯蔵量を組み合わせた発電プラントの運転を最適化するための深層強化学習フレームワークを提案する。
このフレームワークは、ストレージデバイスによる時間結合、再生可能エネルギー生成の不確実性、エネルギー価格、非線形ストレージモデルなどの複雑さを扱う。
複雑なストレージモデルを統合するためにRLを使用し、凸と微分可能なコンポーネントモデルを必要とする最適化ベースのメソッドの制限を克服する。
論文 参考訳（メタデータ） (2023-06-13T21:35:24Z) - Learning Resilient Radio Resource Management Policies with Graph Neural
Networks [124.89036526192268]
我々は、ユーザ当たりの最小容量制約でレジリエントな無線リソース管理問題を定式化する。
有限個のパラメータ集合を用いてユーザ選択と電力制御ポリシーをパラメータ化できることを示す。
このような適応により,提案手法は平均レートと5番目のパーセンタイルレートとの良好なトレードオフを実現する。
論文 参考訳（メタデータ） (2022-03-07T19:40:39Z) - Enforcing Policy Feasibility Constraints through Differentiable
Projection for Energy Optimization [57.88118988775461]
本稿では,ニューラルポリシー内での凸操作制約を強制するために,PROF(Projected Feasibility)を提案する。
エネルギー効率の高い建築操作とインバータ制御の2つの応用についてPROFを実証する。
論文 参考訳（メタデータ） (2021-05-19T01:58:10Z) - A Relearning Approach to Reinforcement Learning for Control of Smart
Buildings [1.8799681615947088]
本稿では、漸進的深層学習(RL)を用いた制御方針の連続的再学習が、非定常過程におけるポリシー学習を改善することを実証する。
我々は,全体の快適さを犠牲にすることなく,建築エネルギーを同時に削減するインクリメンタルRL技術を開発した。
論文 参考訳（メタデータ） (2020-08-04T23:31:05Z) - Strictly Batch Imitation Learning by Energy-based Distribution Matching [104.33286163090179]
すなわち、強化信号へのアクセスがなく、遷移力学の知識がなく、環境とのさらなる相互作用もない。
1つの解決策は、既存のアルゴリズムをオフライン環境で動作させるために、見習いの学習に適合させることである。
しかし、このようなアプローチは、政治外の評価やオフラインモデルの推定に大きく依存しており、間接的で非効率である可能性がある。
優れたソリューションは、ポリシーを明示的にパラメータ化し、ロールアウトダイナミクスから暗黙的に学習し、完全にオフラインで運用できるべきだ、と私たちは主張する。
論文 参考訳（メタデータ） (2020-06-25T03:27:59Z) - Multi-Agent Meta-Reinforcement Learning for Self-Powered and Sustainable
Edge Computing Systems [87.4519172058185]
エッジコンピューティング機能を有するセルフパワー無線ネットワークの効率的なエネルギー分配機構について検討した。
定式化問題を解くために,新しいマルチエージェントメタ強化学習(MAMRL)フレームワークを提案する。
実験の結果、提案されたMAMRLモデルは、再生不可能なエネルギー使用量を最大11%削減し、エネルギーコストを22.4%削減できることが示された。
論文 参考訳（メタデータ） (2020-02-20T04:58:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。