論文の概要: A Framework for Understanding and Visualizing Strategies of RL Agents
- arxiv url: http://arxiv.org/abs/2208.08552v1
- Date: Wed, 17 Aug 2022 21:58:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-19 13:15:45.770056
- Title: A Framework for Understanding and Visualizing Strategies of RL Agents
- Title（参考訳）: rlエージェントの戦略理解と可視化のためのフレームワーク
- Authors: Pedro Sequeira, Daniel Elenius, Jesse Hostetler, Melinda Gervasio
- Abstract要約: 本稿では,時間論理式を用いてエージェント戦略を特徴付ける逐次決定タスクの理解可能なモデル学習フレームワークを提案する。
我々は,手工芸の専門家政策と訓練された強化学習エージェントの痕跡を用いて,StarCraft II (SC2) の戦闘シナリオに関する枠組みを評価した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent years have seen significant advances in explainable AI as the need to
understand deep learning models has gained importance with the increased
emphasis on trust and ethics in AI. Comprehensible models for sequential
decision tasks are a particular challenge as they require understanding not
only individual predictions but a series of predictions that interact with
environmental dynamics. We present a framework for learning comprehensible
models of sequential decision tasks in which agent strategies are characterized
using temporal logic formulas. Given a set of agent traces, we first cluster
the traces using a novel embedding method that captures frequent action
patterns. We then search for logical formulas that explain the agent strategies
in the different clusters. We evaluate our framework on combat scenarios in
StarCraft II (SC2), using traces from a handcrafted expert policy and a trained
reinforcement learning agent. We implemented a feature extractor for SC2
environments that extracts traces as sequences of high-level features
describing both the state of the environment and the agent's local behavior
from agent replays. We further designed a visualization tool depicting the
movement of units in the environment that helps understand how different task
conditions lead to distinct agent behavior patterns in each trace cluster.
Experimental results show that our framework is capable of separating agent
traces into distinct groups of behaviors for which our approach to strategy
inference produces consistent, meaningful, and easily understood strategy
descriptions.
- Abstract（参考訳）: 近年、ディープラーニングモデルを理解する必要性が増し、AIにおける信頼と倫理が強調され、説明可能なAIが大幅に進歩している。
逐次決定タスクの理解可能なモデルは、個々の予測だけでなく、環境力学と相互作用する一連の予測を理解する必要があるため、特別な課題である。
本稿では,時間論理式を用いてエージェント戦略を特徴付ける逐次決定タスクの理解可能なモデル学習フレームワークを提案する。
エージェントトレースのセットが与えられた場合、我々はまず、頻繁なアクションパターンをキャプチャする新しい埋め込み手法を用いてトレースをクラスタ化する。
次に、異なるクラスタ内のエージェント戦略を説明する論理式を探索する。
我々は,手工芸の専門家政策と訓練された強化学習エージェントの痕跡を用いて,StarCraft II(SC2)の戦闘シナリオに関する枠組みを評価する。
エージェントリプレイから,環境の状態とエージェントのローカル動作を記述した高レベル機能のシーケンスとしてトレースを抽出するsc2環境の機能抽出器を実装した。
さらに,異なるタスク条件が各トレースクラスタ内の異なるエージェント動作パターンにどのように影響するかを理解するための,環境中のユニットの動きを視覚化するツールを設計した。
実験の結果, 提案手法は, エージェントトレースを, 戦略推論へのアプローチが一貫した, 意味的, 理解しやすい戦略記述を生成する, 異なる行動群に分離できることがわかった。
関連論文リスト
- Textualized Agent-Style Reasoning for Complex Tasks by Multiple Round LLM Generation [49.27250832754313]
我々は、llmベースの自律エージェントフレームワークであるAgentCOTを紹介する。
それぞれのステップで、AgentCOTはアクションを選択し、それを実行して、証拠を裏付ける中間結果を得る。
エージェントCOTの性能を高めるための2つの新しい戦略を導入する。
論文 参考訳（メタデータ） (2024-09-19T02:20:06Z) - Interactive Autonomous Navigation with Internal State Inference and
Interactivity Estimation [58.21683603243387]
本稿では,関係時間的推論を伴う3つの補助的タスクを提案し,それらを標準のディープラーニングフレームワークに統合する。
これらの補助的なタスクは、他の対話的エージェントの行動パターンを推測するための追加の監視信号を提供する。
提案手法は,標準評価指標の観点から,頑健かつ最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2023-11-27T18:57:42Z) - Strategy Extraction in Single-Agent Games [0.19336815376402716]
本研究では,行動戦略を用いた知識伝達を,人間の認知能力に左右される伝達可能な知識の形式として提案する。
提案手法は,Pacman, Bank Heist, Dungeon-crawling(ダンジョンクローリングゲーム)の3つの環境において有効な戦略を同定できることを示す。
論文 参考訳（メタデータ） (2023-05-22T01:28:59Z) - Inferring Versatile Behavior from Demonstrations by Matching Geometric
Descriptors [72.62423312645953]
人間は直感的にタスクを多目的に解決し、軌道に基づく計画や個々のステップの行動を変化させる。
現在のImitation Learningアルゴリズムは、通常、単調な専門家によるデモンストレーションのみを考慮し、状態アクションベースの設定で行動する。
代わりに、移動プリミティブの混合と分布マッチングの目的を組み合わせることで、専門家の行動と汎用性にマッチする多目的行動を学ぶ。
論文 参考訳（メタデータ） (2022-10-17T16:42:59Z) - Beyond Rewards: a Hierarchical Perspective on Offline Multiagent
Behavioral Analysis [14.656957226255628]
本稿では,マルチエージェント領域における行動クラスタの発見のためのモデルに依存しない手法を提案する。
我々のフレームワークはエージェントの基盤となる学習アルゴリズムを前提とせず、潜伏状態やモデルへのアクセスを必要とせず、完全にオフラインで観察データを使って訓練することができる。
論文 参考訳（メタデータ） (2022-06-17T23:07:33Z) - Dynamic Regret Analysis for Online Meta-Learning [0.0]
オンラインメタ学習フレームワークは、継続的な生涯学習設定のための強力なツールとして生まれてきた。
この定式化には、メタラーナーを学ぶ外部レベルと、タスク固有のモデルを学ぶ内部レベルという2つのレベルが含まれる。
グローバルな予測から環境の変化を扱う動的な後悔という観点から、パフォーマンスを確立します。
本稿では,本分析を1つの設定で実施し,各イテレーションの総数に依存する局所的局所的後悔の対数論的証明を期待する。
論文 参考訳（メタデータ） (2021-09-29T12:12:59Z) - Multi-Agent Imitation Learning with Copulas [102.27052968901894]
マルチエージェント模倣学習は、観察と行動のマッピングを学習することで、デモからタスクを実行するために複数のエージェントを訓練することを目的としている。
本稿では,確率変数間の依存を捉える強力な統計ツールである copula を用いて,マルチエージェントシステムにおける相関関係と協調関係を明示的にモデル化する。
提案モデルでは,各エージェントの局所的行動パターンと,エージェント間の依存構造のみをフルにキャプチャするコプラ関数を別々に学習することができる。
論文 参考訳（メタデータ） (2021-07-10T03:49:41Z) - Multi-agent navigation based on deep reinforcement learning and
traditional pathfinding algorithm [0.0]
我々は,マルチエージェント衝突回避問題のための新しいフレームワークを開発する。
このフレームワークは、従来のパスフィニングアルゴリズムと強化学習を組み合わせたものだ。
我々のアプローチでは、エージェントはナビゲートするか、パートナーを避けるために簡単な行動をとるかを学ぶ。
論文 参考訳（メタデータ） (2020-12-05T08:56:58Z) - Deep Reinforcement Learning with Stacked Hierarchical Attention for
Text-based Games [64.11746320061965]
自然言語の文脈におけるインタラクティブなシミュレーションであるテキストベースゲームの強化学習について検討する。
エージェントの動作が解釈可能な推論手順によって生成され、支援されるように、意思決定のための知識グラフを用いた明示的な推論を行うことを目指している。
提案手法を多数の人為的ベンチマークゲームで広範囲に評価し,本手法が既存のテキストベースエージェントよりも優れていることを示す実験結果を得た。
論文 参考訳（メタデータ） (2020-10-22T12:40:22Z) - Learning intuitive physics and one-shot imitation using
state-action-prediction self-organizing maps [0.0]
人間は探索と模倣によって学び、世界の因果モデルを構築し、両方を使って新しいタスクを柔軟に解決する。
このような特徴を生み出す単純だが効果的な教師なしモデルを提案する。
エージェントがアクティブな推論スタイルで柔軟に解決する、複数の関連するが異なる1ショットの模倣タスクに対して、その性能を示す。
論文 参考訳（メタデータ） (2020-07-03T12:29:11Z) - Dynamic Divide-and-Conquer Adversarial Training for Robust Semantic
Segmentation [79.42338812621874]
敵のトレーニングは、敵の摂動に対するディープニューラルネットワークの堅牢性を改善することを約束している。
本研究は, 敵とクリーンの両方のサンプルに対して良好に動作可能な, 汎用的な敵の訓練手順を定式化する。
本稿では,防衛効果を高めるための動的分割対対人訓練(DDC-AT)戦略を提案する。
論文 参考訳（メタデータ） (2020-03-14T05:06:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。