論文の概要: Attention Trajectories as a Diagnostic Axis for Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2511.20591v1
• Date: Tue, 25 Nov 2025 18:20:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-26 17:37:04.607507
• Title: Attention Trajectories as a Diagnostic Axis for Deep Reinforcement Learning
• Title（参考訳）: 深層強化学習のための診断軸としての注意軌道
• Authors: Charlotte Beylier, Hannah Selder, Arthur Fleig, Simon M. Hofmann, Nico Scherf,
• Abstract要約: トレーニング中のRLエージェントの注意力の発達を調査するために、注意指向メトリクス(ATOM)を導入する。 ATOMは、各ゲームのバリエーションに基づいて訓練されたエージェントの注意パターンを明確化し、これらの注意パターンの違いはエージェントの行動の違いに変換する。
• 参考スコア（独自算出の注目度）: 4.662814261930481
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The learning process of a reinforcement learning (RL) agent remains poorly understood beyond the mathematical formulation of its learning algorithm. To address this gap, we introduce attention-oriented metrics (ATOMs) to investigate the development of an RL agent's attention during training. In a controlled experiment, we tested ATOMs on three variations of a Pong game, each designed to teach the agent distinct behaviours, complemented by a behavioural assessment. ATOMs successfully delineate the attention patterns of an agent trained on each game variation, and that these differences in attention patterns translate into differences in the agent's behaviour. Through continuous monitoring of ATOMs during training, we observed that the agent's attention developed in phases, and that these phases were consistent across game variations. Overall, we believe that ATOM could help improve our understanding of the learning processes of RL agents and better understand the relationship between attention and learning.
• Abstract（参考訳）: 強化学習(RL)エージェントの学習過程は、その学習アルゴリズムの数学的定式化以外には理解されていない。 このギャップに対処するために、トレーニング中のRLエージェントの注意の発達を調べるために、注意指向メトリクス(ATOM)を導入する。 制御された実験では,Pongゲームの3つのバリエーションでATOMをテストし,それぞれがエージェントに異なる動作を教えるように設計し,行動評価によって補完した。 ATOMは、各ゲームのバリエーションに基づいて訓練されたエージェントの注意パターンを明確化し、これらの注意パターンの違いはエージェントの行動の違いに変換する。 トレーニング中のATOMの連続的なモニタリングにより,エージェントの注意は段階的に発達し,これらのフェーズはゲームのバリエーションによって一致していることがわかった。 全体として、ATOMは、RLエージェントの学習プロセスの理解を深め、注意と学習の関係をよりよく理解するのに役立つと信じている。

関連論文リスト

• GuideAI: A Real-time Personalized Learning Solution with Adaptive Interventions [0.5833117322405447]
  大規模言語モデル(LLM)は強力な学習ツールとして登場したが、学習者の認知的・生理的状態に対する認識は欠如している。 リアルタイムバイオセンサーフィードバックを統合することでLLM駆動学習を強化するマルチモーダルフレームワークである GuideAI を紹介する。
  論文  参考訳（メタデータ） (2026-01-28T09:06:45Z)
• AI-Driven Evaluation of Surgical Skill via Action Recognition [4.92174988745803]
  マイクロアナコシス性能の自動評価のためのAI駆動型フレームワークを提案する。 マイクロアナコシススキルの5つの側面、例えば、全体的な動作実行、プロシージャクリティカルアクション中の運動品質、一般的な楽器ハンドリングについて評価する。
  論文  参考訳（メタデータ） (2025-12-30T18:45:34Z)
• Stochastic Encodings for Active Feature Acquisition [100.47043816019888]
  Active Feature Acquisitionは、インスタンスワイドでシーケンシャルな意思決定問題である。 目的は、テストインスタンスごとに独立して、現在の観測に基づいて計測する機能を動的に選択することである。 一般的なアプローチは強化学習(Reinforcement Learning)であり、トレーニングの困難を経験する。 我々は、教師付きで訓練された潜在変数モデルを導入し、潜在空間における観測不能な実現の可能性の多くにまたがる特徴を推論することで獲得する。
  論文  参考訳（メタデータ） (2025-08-03T23:48:46Z)
• Can you see how I learn? Human observers' inferences about Reinforcement Learning agents' learning processes [1.6874375111244329]
  強化学習(RL)エージェントは、人間の観察者によって直感的に解釈できない学習行動を示すことが多い。 この研究は、エージェントの学習プロセスに対する人間の観察者の理解の要因に関するデータ駆動的な理解を提供する。
  論文  参考訳（メタデータ） (2025-06-16T15:04:27Z)
• Truly Self-Improving Agents Require Intrinsic Metacognitive Learning [59.60803539959191]
  自己改善エージェントは、最小限の監督で継続的に新しい能力を取得することを目的としている。 現在のアプローチは2つの重要な制限に直面している。自己改善プロセスは、しばしば厳格であり、タスクドメイン全体にわたって一般化できない。 我々は、効果的な自己改善は、エージェントの本質的な能力として定義された固有のメタ認知学習を必要とし、自身の学習プロセスを積極的に評価し、反映し、適応させる。
  論文  参考訳（メタデータ） (2025-06-05T14:53:35Z)
• Dynamic Programming Techniques for Enhancing Cognitive Representation in Knowledge Tracing [125.75923987618977]
  認知表現動的プログラミングに基づく知識追跡(CRDP-KT)モデルを提案する。 質問の難易度とそれらの間の性能間隔に基づいて認知表現を最適化する動的プログラミングアルゴリズムである。 これは、その後のモデルトレーニングのためにより正確で体系的な入力機能を提供し、それによって認知状態のシミュレーションにおける歪みを最小限にする。
  論文  参考訳（メタデータ） (2025-06-03T14:44:48Z)
• Interpretable Learning Dynamics in Unsupervised Reinforcement Learning [0.10832949790701804]
  本稿では,教師なし強化学習(URL)エージェントの解釈可能性フレームワークを提案する。 DQN,RND,ICM,PPO,Transformer-RNDの5種類のエージェントを手続き的に生成する環境下で訓練した。
  論文  参考訳（メタデータ） (2025-05-06T19:57:09Z)
• Revealing the Learning Process in Reinforcement Learning Agents Through Attention-Oriented Metrics [0.0]
  トレーニング中のRLエージェントの注意力の発達を調査するために、注意指向メトリクス(ATOM)を導入する。 ATOMは、各ゲームのバリエーションに基づいて訓練されたエージェントの注意パターンを明確化し、これらの注意パターンの違いはエージェントの行動の違いに変換する。
  論文  参考訳（メタデータ） (2024-06-20T13:56:05Z)
• Watch Every Step! LLM Agent Learning via Iterative Step-Level Process Refinement [50.481380478458945]
  反復的なステップレベルプロセスリファインメント(IPR)フレームワークは、エージェントトレーニングを強化するためのステップバイステップのガイダンスを提供する。 3つの複雑なエージェントタスクに関する我々の実験は、我々のフレームワークが様々な強力なベースラインより優れていることを示した。
  論文  参考訳（メタデータ） (2024-06-17T03:29:13Z)
• A Matter of Annotation: An Empirical Study on In Situ and Self-Recall Activity Annotations from Wearable Sensors [56.554277096170246]
  In-the-wildデータ収集に焦点をあてたユーザスタディにおいて,一般的な4つのアノテーション手法の評価と対比を行う実験的検討を行った。 実際の記録プロセス中に参加者がアノテートするユーザ主導のin situアノテーションと、各日の終わりに参加者が振り返ってアノテートするリコールメソッドの両方に対して、参加者は自身のアクティビティクラスと対応するラベルを選択できる柔軟性を持っていた。
  論文  参考訳（メタデータ） (2023-05-15T16:02:56Z)
• Discovering Behavioral Predispositions in Data to Improve Human Activity Recognition [1.2961180148172198]
  本研究は,患者が特定の行動を示す傾向のある日や週の特定の時間に観察を行うことにより,認識性能を向上させることを提案する。 クラスタ内のすべての時間セグメントは、同じ挙動からなり、従って振舞い前沈着(BPD)を示す。 実験により、時間セグメント当たりのBPDが分かっている場合、活動認識性能が大幅に向上することが実証された。
  論文  参考訳（メタデータ） (2022-07-18T10:07:15Z)
• Beyond Rewards: a Hierarchical Perspective on Offline Multiagent Behavioral Analysis [14.656957226255628]
  本稿では,マルチエージェント領域における行動クラスタの発見のためのモデルに依存しない手法を提案する。 我々のフレームワークはエージェントの基盤となる学習アルゴリズムを前提とせず、潜伏状態やモデルへのアクセスを必要とせず、完全にオフラインで観察データを使って訓練することができる。
  論文  参考訳（メタデータ） (2022-06-17T23:07:33Z)
• Learning Dynamics and Generalization in Reinforcement Learning [59.530058000689884]
  時間差学習は, エージェントが訓練の初期段階において, 値関数の非平滑成分を適合させるのに役立つことを理論的に示す。 本研究では,高密度報酬タスクの時間差アルゴリズムを用いて学習したニューラルネットワークが,ランダムなネットワークや政策手法で学習した勾配ネットワークよりも,状態間の一般化が弱いことを示す。
  論文  参考訳（メタデータ） (2022-06-05T08:49:16Z)
• Counterfactual Attention Learning for Fine-Grained Visual Categorization and Re-identification [101.49122450005869]
  本稿では,因果推論に基づくより効果的な注意力学習法を提案する。 具体的には,学習した視覚的注意がネットワーク予測に与える影響を分析する。 本手法は,広範囲の粒度認識タスクにおいて評価する。
  論文  参考訳（メタデータ） (2021-08-19T14:53:40Z)
• What is Going on Inside Recurrent Meta Reinforcement Learning Agents? [63.58053355357644]
  recurrent meta reinforcement learning (meta-rl)エージェントは「学習アルゴリズムの学習」を目的としてrecurrent neural network (rnn)を使用するエージェントである。 部分観測可能なマルコフ決定プロセス(POMDP)フレームワークを用いてメタRL問題を再構成することにより,これらのエージェントの内部動作機構を明らかにする。
  論文  参考訳（メタデータ） (2021-04-29T20:34:39Z)
• Joint Attention for Multi-Agent Coordination and Social Learning [108.31232213078597]
  共同注意がマルチエージェント協調とソーシャルラーニングを改善するメカニズムとして有用であることを示す。 共同の注意は、複数の環境にまたがる競争集中型批評家のベースラインよりも高いパフォーマンスをもたらす。 これらの結果から,共同注意は多エージェント学習に有用な帰納的バイアスである可能性が示唆された。
  論文  参考訳（メタデータ） (2021-04-15T20:14:19Z)
• Unsupervised Behaviour Analysis and Magnification (uBAM) using Deep Learning [5.101123537955207]
  運動行動分析は、運動障害とその介入による変化を特定する非侵襲的戦略を提供する。 偏差の検出と拡大による挙動解析のための自動深層学習アルゴリズムであるuBAM(Unsupervised Behavior Analysis and magnification)について紹介する。 中心となる側面は姿勢と行動表現の教師なし学習であり、運動の客観的比較を可能にする。
  論文  参考訳（メタデータ） (2020-12-16T20:07:36Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)
• Untangling tradeoffs between recurrence and self-attention in neural networks [81.30894993852813]
  本稿では,再帰的ネットワークにおける自己注意が勾配伝播に与える影響を公式に分析する。 長期的な依存関係を捉えようとするとき、勾配をなくすことの問題を緩和することを証明する。 本稿では,スパース自己アテンションを反復的にスケーラブルに利用するための関連性スクリーニング機構を提案する。
  論文  参考訳（メタデータ） (2020-06-16T19:24:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。