論文の概要: Interpretable Modeling of Deep Reinforcement Learning Driven Scheduling
- arxiv url: http://arxiv.org/abs/2403.16293v1
- Date: Sun, 24 Mar 2024 20:56:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-26 16:36:48.998418
- Title: Interpretable Modeling of Deep Reinforcement Learning Driven Scheduling
- Title(参考訳): 深層強化学習駆動スケジューリングの解釈モデル
- Authors: Boyang Li, Zhiling Lan, Michael E. Papka,
- Abstract要約: 本稿では,DRLスケジューリングの解釈可能性の問題に対処するIRL(Interpretable Reinforcement Learning)というフレームワークを提案する。
ILRは、ブラックボックスのDNNポリシーを、同等のスケジューリング性能を維持しつつ、解釈可能なルールベースの決定ツリーに変換することができる。
- 参考スコア(独自算出の注目度): 3.890533943135602
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the field of high-performance computing (HPC), there has been recent exploration into the use of deep reinforcement learning for cluster scheduling (DRL scheduling), which has demonstrated promising outcomes. However, a significant challenge arises from the lack of interpretability in deep neural networks (DNN), rendering them as black-box models to system managers. This lack of model interpretability hinders the practical deployment of DRL scheduling. In this work, we present a framework called IRL (Interpretable Reinforcement Learning) to address the issue of interpretability of DRL scheduling. The core idea is to interpret DNN (i.e., the DRL policy) as a decision tree by utilizing imitation learning. Unlike DNN, decision tree models are non-parametric and easily comprehensible to humans. To extract an effective and efficient decision tree, IRL incorporates the Dataset Aggregation (DAgger) algorithm and introduces the notion of critical state to prune the derived decision tree. Through trace-based experiments, we demonstrate that IRL is capable of converting a black-box DNN policy into an interpretable rulebased decision tree while maintaining comparable scheduling performance. Additionally, IRL can contribute to the setting of rewards in DRL scheduling.
- Abstract(参考訳): 高性能コンピューティング(HPC)の分野では,クラスタスケジューリング(DRLスケジューリング)における深層強化学習の利用が近年検討されており,有望な結果が示されている。
しかし、ディープニューラルネットワーク(DNN)の解釈可能性の欠如により、システムマネージャにブラックボックスモデルとして機能する、という大きな課題が生じる。
このモデル解釈可能性の欠如は、DRLスケジューリングの実践的な展開を妨げる。
本稿では,DRLスケジューリングの解釈可能性の問題に対処するIRL(Interpretable Reinforcement Learning)というフレームワークを提案する。
中心となる考え方は、模倣学習を利用してDNN(DRLポリシー)を決定木として解釈することである。
DNNとは異なり、決定木モデルは非パラメトリックであり、人間にとって容易に理解できる。
有効かつ効率的な決定木を抽出するために、IRLはデータセット集約(DAgger)アルゴリズムを導入し、決定木を抽出するために臨界状態の概念を導入する。
トレースベースの実験を通じて、IRLはブラックボックスDNNポリシーを、同等のスケジューリング性能を維持しつつ、解釈可能なルールベースの決定木に変換することができることを示した。
さらに、IRLはDRLスケジューリングにおける報酬の設定に寄与することができる。
関連論文リスト
- Compressing Deep Reinforcement Learning Networks with a Dynamic
Structured Pruning Method for Autonomous Driving [63.155562267383864]
深部強化学習(DRL)は複雑な自律運転シナリオにおいて顕著な成功を収めている。
DRLモデルは、必然的に高いメモリ消費と計算をもたらし、リソース限定の自動運転デバイスへの広範な展開を妨げる。
そこで本研究では,DRLモデルの非重要なニューロンを段階的に除去する,新しい動的構造化プルーニング手法を提案する。
論文 参考訳(メタデータ) (2024-02-07T09:00:30Z) - Differentiable Tree Search in Latent State Space [17.688341927195033]
微分可能木探索(DTS)は、誘導バイアスを大幅に強化する新しいニューラルネットワークアーキテクチャである。
本稿では,最優先のオンライン検索アルゴリズムのアルゴリズム構造を組み込むことにより,誘導バイアスを大幅に強化するニューラルネットワークアーキテクチャを提案する。
我々は,DTSをオフラインRL設定で評価し,Procgenゲームとグリッドナビゲーションタスクのトレーニングデータシナリオを限定した。
論文 参考訳(メタデータ) (2024-01-22T02:33:38Z) - NCART: Neural Classification and Regression Tree for Tabular Data [0.5439020425819]
NCARTはResidual Networksの修正版で、完全に接続されたレイヤを複数の識別不能な決定木で置き換える。
ニューラルネットワークのエンドツーエンド能力の恩恵を受けながら、解釈可能性を維持している。
NCARTアーキテクチャの単純さは、さまざまなサイズのデータセットに適している。
論文 参考訳(メタデータ) (2023-07-23T01:27:26Z) - A Neuromorphic Architecture for Reinforcement Learning from Real-Valued
Observations [0.34410212782758043]
強化学習(RL)は複雑な環境における意思決定のための強力なフレームワークを提供する。
本稿では,実測値を用いてRL問題を解くための新しいスパイキングニューラルネットワーク(SNN)アーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-07-06T12:33:34Z) - Optimal Interpretability-Performance Trade-off of Classification Trees
with Black-Box Reinforcement Learning [0.0]
AIモデルの解釈可能性により、モデルの信頼性を構築するためのユーザ安全チェックが可能になる。
決定木(DT)は、学習したモデルに関するグローバルな見解を提供し、与えられたデータを分類するのに重要な機能の役割を明確に概説する。
コンパクトツリーを学習するために、最近DTの空間を探求する強化学習フレームワークが提案されている。
論文 参考訳(メタデータ) (2023-04-11T09:43:23Z) - Scaling Laws Beyond Backpropagation [64.0476282000118]
因果デコーダのみの変換器を効率的に訓練するための直接フィードバックアライメントの有効性について検討した。
DFAはバックプロパゲーションよりも効率的なスケーリングを提供していないことが分かりました。
論文 参考訳(メタデータ) (2022-10-26T10:09:14Z) - Optimal Decision Diagrams for Classification [68.72078059880018]
数学的プログラミングの観点から最適決定図の学習について検討する。
本稿では,新しい混合整数線形プログラミングモデルを提案する。
このモデルは、公正性、同義性、安定性の概念に対してどのように容易に拡張できるかを示す。
論文 参考訳(メタデータ) (2022-05-28T18:31:23Z) - Reinforcement Learning with External Knowledge by using Logical Neural
Networks [67.46162586940905]
論理ニューラルネットワーク(LNN)と呼ばれる最近のニューラルシンボリックフレームワークは、ニューラルネットワークとシンボリックロジックの両方のキープロパティを同時に提供することができる。
外部知識ソースからのモデルフリー強化学習を可能にする統合手法を提案する。
論文 参考訳(メタデータ) (2021-03-03T12:34:59Z) - Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。
破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-02-07T14:19:07Z) - Chance-Constrained Control with Lexicographic Deep Reinforcement
Learning [77.34726150561087]
本稿では,レキシックなDeep Reinforcement Learning(DeepRL)に基づく確率制約マルコフ決定プロセスを提案する。
有名なDeepRLアルゴリズムDQNの辞書版も提案され、シミュレーションによって検証されている。
論文 参考訳(メタデータ) (2020-10-19T13:09:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。