論文の概要: Interpretable Learning Dynamics in Unsupervised Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2505.06279v1
• Date: Tue, 06 May 2025 19:57:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:48.734595
• Title: Interpretable Learning Dynamics in Unsupervised Reinforcement Learning
• Title（参考訳）: 教師なし強化学習における解釈可能な学習ダイナミクス
• Authors: Shashwat Pandey,
• Abstract要約: 本稿では,教師なし強化学習(URL)エージェントの解釈可能性フレームワークを提案する。 DQN,RND,ICM,PPO,Transformer-RNDの5種類のエージェントを手続き的に生成する環境下で訓練した。
• 参考スコア（独自算出の注目度）: 0.10832949790701804
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present an interpretability framework for unsupervised reinforcement learning (URL) agents, aimed at understanding how intrinsic motivation shapes attention, behavior, and representation learning. We analyze five agents DQN, RND, ICM, PPO, and a Transformer-RND variant trained on procedurally generated environments, using Grad-CAM, Layer-wise Relevance Propagation (LRP), exploration metrics, and latent space clustering. To capture how agents perceive and adapt over time, we introduce two metrics: attention diversity, which measures the spatial breadth of focus, and attention change rate, which quantifies temporal shifts in attention. Our findings show that curiosity-driven agents display broader, more dynamic attention and exploratory behavior than their extrinsically motivated counterparts. Among them, TransformerRND combines wide attention, high exploration coverage, and compact, structured latent representations. Our results highlight the influence of architectural inductive biases and training signals on internal agent dynamics. Beyond reward-centric evaluation, the proposed framework offers diagnostic tools to probe perception and abstraction in RL agents, enabling more interpretable and generalizable behavior.
• Abstract（参考訳）: 本稿では,教師なし強化学習(URL)エージェントの解釈可能性フレームワークについて,本質的な動機が注意,行動,表現学習をどう形作るかを理解することを目的とした。 我々は、Grad-CAM、Layer-wise Relevance Propagation (LRP)、探索メトリクス、潜時空間クラスタリングを用いて、手続き的に生成された環境で訓練された5つのエージェントDQN、RND、ICM、PPO、Transformer-RNDを解析した。 エージェントが時間とともに知覚し、適応する方法を捉えるために、注意の空間的幅を測定する注意多様性と、注意の時間的変化を定量化する注意変化率という2つの指標を導入する。 その結果,好奇心を媒介するエージェントは,外因的に動機づけられたエージェントよりも広く,よりダイナミックな注意と探索行動を示すことがわかった。 その中でもTransformerRNDは、広範囲の注目、高い探査範囲、コンパクトで構造化された潜在表現を組み合わせたものである。 本研究は, 内部エージェントの動的特性に及ぼす建築的帰納バイアスと学習信号の影響を浮き彫りにした。 報酬中心の評価以外にも、提案フレームワークはRLエージェントの知覚と抽象化を探索する診断ツールを提供し、より解釈可能で一般化可能な振る舞いを可能にする。

関連論文リスト

• Variable-Agnostic Causal Exploration for Reinforcement Learning [56.52768265734155]
  強化学習のための新しいフレームワークVACERL(Variable-Agnostic Causal Exploration for Reinforcement Learning)を導入する。 本手法は,注目機構を用いて,重要変数に関連する重要な観測行動ステップを自動的に同定する。 これらのステップを接続する因果グラフを構築し、エージェントをタスク完了に対する因果的影響の大きい観察-作用ペアへと導く。
  論文  参考訳（メタデータ） (2024-07-17T09:45:27Z)
• DEAR: Disentangled Environment and Agent Representations for Reinforcement Learning without Reconstruction [4.813546138483559]
  強化学習(RL)アルゴリズムは視覚的な観察からロボット制御タスクを学習することができるが、大量のデータを必要とすることが多い。 本稿では,その形状に関するエージェントの知識が,視覚的RL法のサンプル効率を向上させる方法について検討する。 本稿では,エージェントのセグメンテーションマスクを監督対象とする,分散環境とエージェント表現という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-30T09:15:21Z)
• DCIR: Dynamic Consistency Intrinsic Reward for Multi-Agent Reinforcement Learning [84.22561239481901]
  本稿では,エージェントの行動が他のエージェントの行動と一致しているかどうかを学習するための新しいアプローチを提案する。 マルチエージェント粒子, Google Research Football および StarCraft II Micromanagement を含む複数の環境における DCIR の評価を行った。
  論文  参考訳（メタデータ） (2023-12-10T06:03:57Z)
• Interactive Autonomous Navigation with Internal State Inference and Interactivity Estimation [58.21683603243387]
  本稿では,関係時間的推論を伴う3つの補助的タスクを提案し,それらを標準のディープラーニングフレームワークに統合する。 これらの補助的なタスクは、他の対話的エージェントの行動パターンを推測するための追加の監視信号を提供する。 提案手法は,標準評価指標の観点から,頑健かつ最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-11-27T18:57:42Z)
• Generalization Across Observation Shifts in Reinforcement Learning [13.136140831757189]
  バイシミュレーションフレームワークを拡張して、コンテキスト依存の観察シフトを考慮します。 具体的には,シミュレータに基づく学習設定に焦点をあて,代替観測を用いて表現空間を学習する。 これにより、テスト期間中にエージェントをさまざまな監視設定にデプロイし、目に見えないシナリオに一般化することができます。
  論文  参考訳（メタデータ） (2023-06-07T16:49:03Z)
• Generalization in Visual Reinforcement Learning with the Reward Sequence Distribution [98.67737684075587]
  部分的に観察されたマルコフ決定過程(POMDP)の一般化は視覚強化学習(VRL)の成功に不可欠である 開始観測に基づく報酬系列分布と事前定義された後続行動系列(RSD-OA)を提案する。 実験により, RSD-OAに基づく表現学習手法は, 目に見えない環境における一般化性能を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2023-02-19T15:47:24Z)
• Beyond Rewards: a Hierarchical Perspective on Offline Multiagent Behavioral Analysis [14.656957226255628]
  本稿では,マルチエージェント領域における行動クラスタの発見のためのモデルに依存しない手法を提案する。 我々のフレームワークはエージェントの基盤となる学習アルゴリズムを前提とせず、潜伏状態やモデルへのアクセスを必要とせず、完全にオフラインで観察データを使って訓練することができる。
  論文  参考訳（メタデータ） (2022-06-17T23:07:33Z)
• Information is Power: Intrinsic Control via Information Capture [110.3143711650806]
  我々は,潜時状態空間モデルを用いて推定したエージェントの状態訪問のエントロピーを最小化する,コンパクトで汎用的な学習目的を論じる。 この目的は、不確実性の低減に対応する環境情報収集と、将来の世界状態の予測不可能性の低減に対応する環境制御の両方をエージェントに誘導する。
  論文  参考訳（メタデータ） (2021-12-07T18:50:42Z)
• What is Going on Inside Recurrent Meta Reinforcement Learning Agents? [63.58053355357644]
  recurrent meta reinforcement learning (meta-rl)エージェントは「学習アルゴリズムの学習」を目的としてrecurrent neural network (rnn)を使用するエージェントである。 部分観測可能なマルコフ決定プロセス(POMDP)フレームワークを用いてメタRL問題を再構成することにより,これらのエージェントの内部動作機構を明らかにする。
  論文  参考訳（メタデータ） (2021-04-29T20:34:39Z)
• On the Sensory Commutativity of Action Sequences for Embodied Agents [2.320417845168326]
  群論の数学的形式論に基づくエンボディエージェントの知覚について検討する。 本稿では,エージェントの自由度が環境に与える影響を計測する感覚コミュニケーション確率基準を提案する。 本研究では,SCPと行動系列の可換性を用いて環境中の物体を学習する方法を実証的に説明する。
  論文  参考訳（メタデータ） (2020-02-13T16:58:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。