論文の概要: REVEAL-IT: REinforcement learning with Visibility of Evolving Agent poLicy for InTerpretability

• arxiv url: http://arxiv.org/abs/2406.14214v5
• Date: Mon, 22 Jul 2024 10:34:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 01:01:51.199256
• Title: REVEAL-IT: REinforcement learning with Visibility of Evolving Agent poLicy for InTerpretability
• Title（参考訳）: REVEAL-IT:InTerpretabilityのための進化エージェントpoLicyの可視性を用いた強化学習
• Authors: Shuang Ao, Simon Khan, Haris Aziz, Flora D. Salim,
• Abstract要約: REVEAL-ITは複雑な環境下でのエージェントの学習過程を説明するための新しいフレームワークである。 各種学習課題における政策構造とエージェントの学習過程を可視化する。 GNNベースの説明者は、ポリシーの最も重要な部分を強調することを学び、エージェントの学習プロセスについてより明確で堅牢な説明を提供する。
• 参考スコア（独自算出の注目度）: 23.81322529587759
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding the agent's learning process, particularly the factors that contribute to its success or failure post-training, is crucial for comprehending the rationale behind the agent's decision-making process. Prior methods clarify the learning process by creating a structural causal model (SCM) or visually representing the distribution of value functions. Nevertheless, these approaches have constraints as they exclusively function in 2D-environments or with uncomplicated transition dynamics. Understanding the agent's learning process in complicated environments or tasks is more challenging. In this paper, we propose REVEAL-IT, a novel framework for explaining the learning process of an agent in complex environments. Initially, we visualize the policy structure and the agent's learning process for various training tasks. By visualizing these findings, we can understand how much a particular training task or stage affects the agent's performance in test. Then, a GNN-based explainer learns to highlight the most important section of the policy, providing a more clear and robust explanation of the agent's learning process. The experiments demonstrate that explanations derived from this framework can effectively help in the optimization of the training tasks, resulting in improved learning efficiency and final performance.
• Abstract（参考訳）: エージェントの学習過程、特にその成功や訓練後の失敗に寄与する要因を理解することは、エージェントの意思決定プロセスの背後にある根拠を理解するために重要である。 従来の手法では、構造因果モデル(SCM)を作成したり、価値関数の分布を視覚的に表現することで学習過程を明らかにする。 しかしながら、これらのアプローチは2次元環境や複雑でない遷移力学でのみ機能するので制約がある。 複雑な環境やタスクでエージェントの学習プロセスを理解することはより難しい。 本稿では,複雑な環境下でエージェントの学習過程を説明するための新しいフレームワークであるREVEAL-ITを提案する。 まず,様々な学習課題に対する政策構造とエージェントの学習過程を可視化する。 これらの知見を可視化することにより、特定のトレーニングタスクやステージがテストにおけるエージェントのパフォーマンスにどの程度影響するかを理解することができる。 そして、GNNベースの説明者がポリシーの最も重要な部分を強調することを学び、エージェントの学習プロセスについてより明確で堅牢な説明を提供する。 実験により,本フレームワークから導出した説明は,学習効率の向上と最終性能の向上に有効であることが示された。

関連論文リスト

• Watch Every Step! LLM Agent Learning via Iterative Step-Level Process Refinement [50.481380478458945]
  反復的なステップレベルプロセスリファインメント(IPR)フレームワークは、エージェントトレーニングを強化するためのステップバイステップのガイダンスを提供する。 3つの複雑なエージェントタスクに関する我々の実験は、我々のフレームワークが様々な強力なベースラインより優れていることを示した。
  論文  参考訳（メタデータ） (2024-06-17T03:29:13Z)
• Exploring CausalWorld: Enhancing robotic manipulation via knowledge transfer and curriculum learning [6.683222869973898]
  本研究では,指間の複雑な動きと協調を必要とする,学習に基づく三指ロボットアーム操作タスクについて検討する。 強化学習を利用することで、エージェントに熟練した操作に必要なスキルを習得するよう訓練する。 微調整とカリキュラム学習という2つの知識伝達戦略を,ソフトアクター・クリティカルなアーキテクチャで活用した。
  論文  参考訳（メタデータ） (2024-03-25T23:19:19Z)
• Explaining Agent's Decision-making in a Hierarchical Reinforcement Learning Scenario [0.6643086804649938]
  強化学習(Reinforcement learning)は、行動心理学に基づく機械学習手法である。 本研究では,サブタスクからなる階層環境において,メモリベースで説明可能な強化学習手法を利用する。
  論文  参考訳（メタデータ） (2022-12-14T01:18:45Z)
• Inverse Online Learning: Understanding Non-Stationary and Reactionary Policies [79.60322329952453]
  エージェントが意思決定を行う方法の解釈可能な表現を開発する方法を示す。 一連の軌跡に基づく意思決定プロセスを理解することにより,このオンライン学習問題に対して,政策推論問題を逆問題とみなした。 本稿では、エージェントがそれらを更新するプロセスと並行して、その影響を遡及的に推定する実用的なアルゴリズムを提案する。 UNOSの臓器提供受諾決定の分析に応用することで、我々のアプローチは意思決定プロセスを管理する要因や時間とともにどのように変化するかに、貴重な洞察をもたらすことができることを実証する。
  論文  参考訳（メタデータ） (2022-03-14T17:40:42Z)
• Rethinking Learning Dynamics in RL using Adversarial Networks [79.56118674435844]
  本稿では,スキル埋め込み空間を通じてパラメータ化された,密接に関連するスキルの強化学習のための学習機構を提案する。 本研究の主な貢献は、エントロピー規則化政策勾配定式化の助けを借りて、強化学習のための敵の訓練体制を定式化することである。
  論文  参考訳（メタデータ） (2022-01-27T19:51:09Z)
• What is Going on Inside Recurrent Meta Reinforcement Learning Agents? [63.58053355357644]
  recurrent meta reinforcement learning (meta-rl)エージェントは「学習アルゴリズムの学習」を目的としてrecurrent neural network (rnn)を使用するエージェントである。 部分観測可能なマルコフ決定プロセス(POMDP)フレームワークを用いてメタRL問題を再構成することにより,これらのエージェントの内部動作機構を明らかにする。
  論文  参考訳（メタデータ） (2021-04-29T20:34:39Z)
• Reinforcement Learning with Prototypical Representations [114.35801511501639]
  Proto-RLは、プロトタイプ表現を通じて表現学習と探索を結び付ける自己監督型フレームワークである。 これらのプロトタイプは、エージェントの探索経験の要約と同時に、観察を表す基盤としても機能する。 これにより、困難な連続制御タスクのセットで最新の下流ポリシー学習が可能になります。
  論文  参考訳（メタデータ） (2021-02-22T18:56:34Z)
• Importance Weighted Policy Learning and Adaptation [89.46467771037054]
  政治外学習の最近の進歩の上に構築された,概念的にシンプルで,汎用的で,モジュール的な補完的アプローチについて検討する。 このフレームワークは確率論的推論文学のアイデアにインスパイアされ、堅牢な非政治学習と事前の行動を組み合わせる。 提案手法は,メタ強化学習ベースラインと比較して,ホールドアウトタスクにおける競合適応性能を実現し,複雑なスパース・リワードシナリオにスケールすることができる。
  論文  参考訳（メタデータ） (2020-09-10T14:16:58Z)
• Human AI interaction loop training: New approach for interactive reinforcement learning [0.0]
  機械学習の様々な意思決定タスクにおける強化学習(RL)は、スタンドアロンの報酬関数から学習するエージェントによる効果的な結果を提供する。 RLは、多くの環境状態と行動空間、および報酬の決定に固有の課題を提示する。 イミテーションラーニング(IL)は、教師を使った課題に対して有望な解決策を提供する。
  論文  参考訳（メタデータ） (2020-03-09T15:27:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。