論文の概要: Interpretable Modeling of Deep Reinforcement Learning Driven Scheduling

• arxiv url: http://arxiv.org/abs/2403.16293v1
• Date: Sun, 24 Mar 2024 20:56:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 16:36:48.998418
• Title: Interpretable Modeling of Deep Reinforcement Learning Driven Scheduling
• Title（参考訳）: 深層強化学習駆動スケジューリングの解釈モデル
• Authors: Boyang Li, Zhiling Lan, Michael E. Papka,
• Abstract要約: 本稿では,DRLスケジューリングの解釈可能性の問題に対処するIRL(Interpretable Reinforcement Learning)というフレームワークを提案する。 ILRは、ブラックボックスのDNNポリシーを、同等のスケジューリング性能を維持しつつ、解釈可能なルールベースの決定ツリーに変換することができる。
• 参考スコア（独自算出の注目度）: 3.890533943135602
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the field of high-performance computing (HPC), there has been recent exploration into the use of deep reinforcement learning for cluster scheduling (DRL scheduling), which has demonstrated promising outcomes. However, a significant challenge arises from the lack of interpretability in deep neural networks (DNN), rendering them as black-box models to system managers. This lack of model interpretability hinders the practical deployment of DRL scheduling. In this work, we present a framework called IRL (Interpretable Reinforcement Learning) to address the issue of interpretability of DRL scheduling. The core idea is to interpret DNN (i.e., the DRL policy) as a decision tree by utilizing imitation learning. Unlike DNN, decision tree models are non-parametric and easily comprehensible to humans. To extract an effective and efficient decision tree, IRL incorporates the Dataset Aggregation (DAgger) algorithm and introduces the notion of critical state to prune the derived decision tree. Through trace-based experiments, we demonstrate that IRL is capable of converting a black-box DNN policy into an interpretable rulebased decision tree while maintaining comparable scheduling performance. Additionally, IRL can contribute to the setting of rewards in DRL scheduling.
• Abstract（参考訳）: 高性能コンピューティング(HPC)の分野では,クラスタスケジューリング(DRLスケジューリング)における深層強化学習の利用が近年検討されており,有望な結果が示されている。 しかし、ディープニューラルネットワーク(DNN)の解釈可能性の欠如により、システムマネージャにブラックボックスモデルとして機能する、という大きな課題が生じる。 このモデル解釈可能性の欠如は、DRLスケジューリングの実践的な展開を妨げる。 本稿では,DRLスケジューリングの解釈可能性の問題に対処するIRL(Interpretable Reinforcement Learning)というフレームワークを提案する。 中心となる考え方は、模倣学習を利用してDNN(DRLポリシー)を決定木として解釈することである。 DNNとは異なり、決定木モデルは非パラメトリックであり、人間にとって容易に理解できる。 有効かつ効率的な決定木を抽出するために、IRLはデータセット集約(DAgger)アルゴリズムを導入し、決定木を抽出するために臨界状態の概念を導入する。 トレースベースの実験を通じて、IRLはブラックボックスDNNポリシーを、同等のスケジューリング性能を維持しつつ、解釈可能なルールベースの決定木に変換することができることを示した。 さらに、IRLはDRLスケジューリングにおける報酬の設定に寄与することができる。

関連論文リスト

• Upside-Down Reinforcement Learning for More Interpretable Optimal Control [2.06242362470764]
  ニューラルネットワーク(NN)以外の関数近似アルゴリズムも,アップサイドダウン強化学習フレームワークで利用できるかを検討する。 我々の実験は、いくつかの一般的な最適制御ベンチマークで実施され、ランダムフォレストや極端ランダム化ツリーのような木に基づく手法が、NNと同様に動作可能であることを示す。
  論文  参考訳（メタデータ） (2024-11-18T10:44:20Z)
• Making Large Language Models Better Planners with Reasoning-Decision Alignment [70.5381163219608]
  マルチモーダリティ強化LLMに基づくエンドツーエンド意思決定モデルを提案する。 ペア化されたCoTと計画結果との推論・決定アライメントの制約を提案する。 提案する大規模言語プランナをRDA-Driverとして推論・決定アライメントする。
  論文  参考訳（メタデータ） (2024-08-25T16:43:47Z)
• Compressing Deep Reinforcement Learning Networks with a Dynamic Structured Pruning Method for Autonomous Driving [63.155562267383864]
  深部強化学習(DRL)は複雑な自律運転シナリオにおいて顕著な成功を収めている。 DRLモデルは、必然的に高いメモリ消費と計算をもたらし、リソース限定の自動運転デバイスへの広範な展開を妨げる。 そこで本研究では,DRLモデルの非重要なニューロンを段階的に除去する,新しい動的構造化プルーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-02-07T09:00:30Z)
• Differentiable Tree Search Network [14.972768001402898]
  微分可能木探索ネットワーク(D-TSN)は、誘導バイアスを大幅に強化する新しいニューラルネットワークアーキテクチャである。 D-TSNは、完全に差別化可能なオンライン検索を行うために、学習された世界モデルを採用している。 D-TSNは、一般的なモデルフリーおよびモデルベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-01-22T02:33:38Z)
• A Neuromorphic Architecture for Reinforcement Learning from Real-Valued Observations [0.34410212782758043]
  強化学習(RL)は複雑な環境における意思決定のための強力なフレームワークを提供する。 本稿では,実測値を用いてRL問題を解くための新しいスパイキングニューラルネットワーク(SNN)アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-07-06T12:33:34Z)
• Optimal Interpretability-Performance Trade-off of Classification Trees with Black-Box Reinforcement Learning [0.0]
  AIモデルの解釈可能性により、モデルの信頼性を構築するためのユーザ安全チェックが可能になる。 決定木(DT)は、学習したモデルに関するグローバルな見解を提供し、与えられたデータを分類するのに重要な機能の役割を明確に概説する。 コンパクトツリーを学習するために、最近DTの空間を探求する強化学習フレームワークが提案されている。
  論文  参考訳（メタデータ） (2023-04-11T09:43:23Z)
• Scaling Laws Beyond Backpropagation [64.0476282000118]
  因果デコーダのみの変換器を効率的に訓練するための直接フィードバックアライメントの有効性について検討した。 DFAはバックプロパゲーションよりも効率的なスケーリングを提供していないことが分かりました。
  論文  参考訳（メタデータ） (2022-10-26T10:09:14Z)
• Optimal Decision Diagrams for Classification [68.72078059880018]
  数学的プログラミングの観点から最適決定図の学習について検討する。 本稿では,新しい混合整数線形プログラミングモデルを提案する。 このモデルは、公正性、同義性、安定性の概念に対してどのように容易に拡張できるかを示す。
  論文  参考訳（メタデータ） (2022-05-28T18:31:23Z)
• Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
  本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。 破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T14:19:07Z)
• Chance-Constrained Control with Lexicographic Deep Reinforcement Learning [77.34726150561087]
  本稿では,レキシックなDeep Reinforcement Learning(DeepRL)に基づく確率制約マルコフ決定プロセスを提案する。 有名なDeepRLアルゴリズムDQNの辞書版も提案され、シミュレーションによって検証されている。
  論文  参考訳（メタデータ） (2020-10-19T13:09:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。