論文の概要: Attention Trajectories as a Diagnostic Axis for Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2511.20591v2
• Date: Thu, 27 Nov 2025 08:35:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-01 13:46:31.799313
• Title: Attention Trajectories as a Diagnostic Axis for Deep Reinforcement Learning
• Title（参考訳）: 深層強化学習のための診断軸としての注意軌道
• Authors: Charlotte Beylier, Hannah Selder, Arthur Fleig, Simon M. Hofmann, Nico Scherf,
• Abstract要約: 本稿では,学習過程を定量的に分析して分析する科学的手法を提案する。 このアプローチは、オブジェクトとモダリティレベルでのサリエンシ情報を階層的な注意プロファイルに集約する。 この手法はアルゴリズム固有の注意バイアスを明らかにし、意図しない報酬駆動戦略を明らかにし、冗長な感覚チャネルへの過度な適合を診断する。
• 参考スコア（独自算出の注目度）: 4.662814261930481
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While deep reinforcement learning agents demonstrate high performance across domains, their internal decision processes remain difficult to interpret when evaluated only through performance metrics. In particular, it is poorly understood which input features agents rely on, how these dependencies evolve during training, and how they relate to behavior. We introduce a scientific methodology for analyzing the learning process through quantitative analysis of saliency. This approach aggregates saliency information at the object and modality level into hierarchical attention profiles, quantifying how agents allocate attention over time, thereby forming attention trajectories throughout training. Applied to Atari benchmarks, custom Pong environments, and muscle-actuated biomechanical user simulations in visuomotor interactive tasks, this methodology uncovers algorithm-specific attention biases, reveals unintended reward-driven strategies, and diagnoses overfitting to redundant sensory channels. These patterns correspond to measurable behavioral differences, demonstrating empirical links between attention profiles, learning dynamics, and agent behavior. To assess robustness of the attention profiles, we validate our findings across multiple saliency methods and environments. The results establish attention trajectories as a promising diagnostic axis for tracing how feature reliance develops during training and for identifying biases and vulnerabilities invisible to performance metrics alone.
• Abstract（参考訳）: 深層強化学習エージェントは、ドメイン間で高いパフォーマンスを示すが、その内部決定プロセスは、パフォーマンス指標によってのみ評価される場合、解釈が難しいままである。 特に、どの入力機能にエージェントが依存しているか、これらの依存関係がトレーニング中にどのように進化するか、そしてそれらがどのように振舞うかは理解されていない。 本稿では,学習過程を定量的に分析して分析する科学的手法を提案する。 このアプローチは、オブジェクトとモダリティレベルでの唾液度情報を階層的な注意プロファイルに集約し、エージェントが時間とともにどのように注意を割り当てるかを定量化し、トレーニングを通して注意軌道を形成する。 Atariベンチマーク、カスタムPong環境、筋肉作動型バイオメカニカルユーザーシミュレーションに応用されたこの手法は、アルゴリズム固有の注意バイアスを明らかにし、意図しない報酬駆動戦略を明らかにし、冗長な感覚チャネルに過度に適合する診断を行う。 これらのパターンは測定可能な行動差に対応し、注意プロファイル、学習力学、エージェントの行動と経験的リンクを示す。 注意プロファイルのロバスト性を評価するため,複数手法と環境にまたがって検討を行った。 結果は、トレーニング中に機能依存がどのように発達するかを追跡し、パフォーマンスメトリクスだけで見えないバイアスや脆弱性を特定するための、有望な診断軸として、注意軌道を確立します。

関連論文リスト

• Can you see how I learn? Human observers' inferences about Reinforcement Learning agents' learning processes [1.6874375111244329]
  強化学習(RL)エージェントは、人間の観察者によって直感的に解釈できない学習行動を示すことが多い。 この研究は、エージェントの学習プロセスに対する人間の観察者の理解の要因に関するデータ駆動的な理解を提供する。
  論文  参考訳（メタデータ） (2025-06-16T15:04:27Z)
• Truly Self-Improving Agents Require Intrinsic Metacognitive Learning [59.60803539959191]
  自己改善エージェントは、最小限の監督で継続的に新しい能力を取得することを目的としている。 現在のアプローチは2つの重要な制限に直面している。自己改善プロセスは、しばしば厳格であり、タスクドメイン全体にわたって一般化できない。 我々は、効果的な自己改善は、エージェントの本質的な能力として定義された固有のメタ認知学習を必要とし、自身の学習プロセスを積極的に評価し、反映し、適応させる。
  論文  参考訳（メタデータ） (2025-06-05T14:53:35Z)
• Interpretable Learning Dynamics in Unsupervised Reinforcement Learning [0.10832949790701804]
  本稿では,教師なし強化学習(URL)エージェントの解釈可能性フレームワークを提案する。 DQN,RND,ICM,PPO,Transformer-RNDの5種類のエージェントを手続き的に生成する環境下で訓練した。
  論文  参考訳（メタデータ） (2025-05-06T19:57:09Z)
• Revealing the Learning Process in Reinforcement Learning Agents Through Attention-Oriented Metrics [0.0]
  トレーニング中のRLエージェントの注意力の発達を調査するために、注意指向メトリクス(ATOM)を導入する。 ATOMは、各ゲームのバリエーションに基づいて訓練されたエージェントの注意パターンを明確化し、これらの注意パターンの違いはエージェントの行動の違いに変換する。
  論文  参考訳（メタデータ） (2024-06-20T13:56:05Z)
• Watch Every Step! LLM Agent Learning via Iterative Step-Level Process Refinement [50.481380478458945]
  反復的なステップレベルプロセスリファインメント(IPR)フレームワークは、エージェントトレーニングを強化するためのステップバイステップのガイダンスを提供する。 3つの複雑なエージェントタスクに関する我々の実験は、我々のフレームワークが様々な強力なベースラインより優れていることを示した。
  論文  参考訳（メタデータ） (2024-06-17T03:29:13Z)
• Beyond Rewards: a Hierarchical Perspective on Offline Multiagent Behavioral Analysis [14.656957226255628]
  本稿では,マルチエージェント領域における行動クラスタの発見のためのモデルに依存しない手法を提案する。 我々のフレームワークはエージェントの基盤となる学習アルゴリズムを前提とせず、潜伏状態やモデルへのアクセスを必要とせず、完全にオフラインで観察データを使って訓練することができる。
  論文  参考訳（メタデータ） (2022-06-17T23:07:33Z)
• Learning Dynamics and Generalization in Reinforcement Learning [59.530058000689884]
  時間差学習は, エージェントが訓練の初期段階において, 値関数の非平滑成分を適合させるのに役立つことを理論的に示す。 本研究では,高密度報酬タスクの時間差アルゴリズムを用いて学習したニューラルネットワークが,ランダムなネットワークや政策手法で学習した勾配ネットワークよりも,状態間の一般化が弱いことを示す。
  論文  参考訳（メタデータ） (2022-06-05T08:49:16Z)
• What is Going on Inside Recurrent Meta Reinforcement Learning Agents? [63.58053355357644]
  recurrent meta reinforcement learning (meta-rl)エージェントは「学習アルゴリズムの学習」を目的としてrecurrent neural network (rnn)を使用するエージェントである。 部分観測可能なマルコフ決定プロセス(POMDP)フレームワークを用いてメタRL問題を再構成することにより,これらのエージェントの内部動作機構を明らかにする。
  論文  参考訳（メタデータ） (2021-04-29T20:34:39Z)
• Joint Attention for Multi-Agent Coordination and Social Learning [108.31232213078597]
  共同注意がマルチエージェント協調とソーシャルラーニングを改善するメカニズムとして有用であることを示す。 共同の注意は、複数の環境にまたがる競争集中型批評家のベースラインよりも高いパフォーマンスをもたらす。 これらの結果から,共同注意は多エージェント学習に有用な帰納的バイアスである可能性が示唆された。
  論文  参考訳（メタデータ） (2021-04-15T20:14:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。