論文の概要: Can you see how I learn? Human observers' inferences about Reinforcement Learning agents' learning processes

• arxiv url: http://arxiv.org/abs/2506.13583v1
• Date: Mon, 16 Jun 2025 15:04:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:48.784607
• Title: Can you see how I learn? Human observers' inferences about Reinforcement Learning agents' learning processes
• Title（参考訳）: 学習方法がわかるか? 強化学習エージェントの学習過程に関する人間の観察者の推測
• Authors: Bernhard Hilpert, Muhan Hou, Kim Baraka, Joost Broekens,
• Abstract要約: 強化学習(RL)エージェントは、人間の観察者によって直感的に解釈できない学習行動を示すことが多い。 この研究は、エージェントの学習プロセスに対する人間の観察者の理解の要因に関するデータ駆動的な理解を提供する。
• 参考スコア（独自算出の注目度）: 1.6874375111244329
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement Learning (RL) agents often exhibit learning behaviors that are not intuitively interpretable by human observers, which can result in suboptimal feedback in collaborative teaching settings. Yet, how humans perceive and interpret RL agent's learning behavior is largely unknown. In a bottom-up approach with two experiments, this work provides a data-driven understanding of the factors of human observers' understanding of the agent's learning process. A novel, observation-based paradigm to directly assess human inferences about agent learning was developed. In an exploratory interview study (\textit{N}=9), we identify four core themes in human interpretations: Agent Goals, Knowledge, Decision Making, and Learning Mechanisms. A second confirmatory study (\textit{N}=34) applied an expanded version of the paradigm across two tasks (navigation/manipulation) and two RL algorithms (tabular/function approximation). Analyses of 816 responses confirmed the reliability of the paradigm and refined the thematic framework, revealing how these themes evolve over time and interrelate. Our findings provide a human-centered understanding of how people make sense of agent learning, offering actionable insights for designing interpretable RL systems and improving transparency in Human-Robot Interaction.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)エージェントは、人間の観察者によって直感的に解釈できない学習行動を示すことが多い。 しかし、人間がRLエージェントの学習行動をどのように認識し、解釈するかはほとんど不明である。 2つの実験によるボトムアップアプローチでは、この研究は、エージェントの学習プロセスに対する人間の観察者の理解の要因に関するデータ駆動的な理解を提供する。 エージェント学習に関する人間の推論を直接評価する,観察に基づく新しいパラダイムを開発した。 探索的インタビュー研究 (\textit{N}=9) において, エージェントゴール, 知識, 意思決定, 学習メカニズムの4つの基本テーマを同定した。 2つ目の確認研究 (\textit{N}=34) では、2つのタスク(ナビゲーション/マニピュレーション)と2つのRLアルゴリズム(タブラル/ファンクション近似)にパラダイムの拡張版を適用した。 816の回答の分析により、パラダイムの信頼性が確認され、テーマの枠組みが洗練され、これらのテーマが時間とともにどのように進化し、相互に関係するかが明らかになった。 我々の発見は、人間がエージェント学習をどのように理解するかを人間中心で理解し、解釈可能なRLシステムを設計し、人間-ロボットインタラクションにおける透明性を向上させるための実用的な洞察を提供する。

関連論文リスト

• When Models Know More Than They Can Explain: Quantifying Knowledge Transfer in Human-AI Collaboration [79.69935257008467]
  我々は,人間とAIの知識伝達能力に関する概念的かつ実験的フレームワークである知識統合と伝達評価(KITE)を紹介する。 最初の大規模人間実験(N=118)を行い,その測定を行った。 2段階のセットアップでは、まずAIを使って問題解決戦略を思いつき、その後独立してソリューションを実装し、モデル説明が人間の理解に与える影響を分離します。
  論文  参考訳（メタデータ） (2025-06-05T20:48:16Z)
• Prosody as a Teaching Signal for Agent Learning: Exploratory Studies and Algorithmic Implications [2.8243597585456017]
  本稿では,人間教師からのエージェント学習を強化するための教示信号として,韻律の統合を提唱する。 その結果,明示的なフィードバックと組み合わせることで,韻律的特徴が強化学習効果を高めることが示唆された。
  論文  参考訳（メタデータ） (2024-10-31T01:51:23Z)
• CogniDual Framework: Self-Training Large Language Models within a Dual-System Theoretical Framework for Improving Cognitive Tasks [39.43278448546028]
  カーネマンの二重系理論は人間の意思決定過程を解明し、素早い直感的なシステム1と合理的なシステム2を区別する。 近年の大きな言語モデル (LLMs) は、認知タスクにおける人間レベルの習熟度に近づきやすいツールとして位置づけられている。 本研究では、自己学習を通じて、意図的な推論から直感的な応答へと進化するLLM(textbfCognidual Framework for LLMs, CFLLMs)について述べる。
  論文  参考訳（メタデータ） (2024-09-05T09:33:24Z)
• Interpreting Neural Policies with Disentangled Tree Representations [58.769048492254555]
  本稿では,コンパクトなニューラルポリシーの解釈可能性について,不整合表現レンズを用いて検討する。 決定木を利用して,ロボット学習における絡み合いの要因を抽出する。 学習したニューラルダイナミクスの絡み合いを計測する解釈可能性指標を導入する。
  論文  参考訳（メタデータ） (2022-10-13T01:10:41Z)
• Assessing Human Interaction in Virtual Reality With Continually Learning Prediction Agents Based on Reinforcement Learning Algorithms: A Pilot Study [6.076137037890219]
  本研究では,人間と学習の継続する予測エージェントの相互作用が,エージェントの能力の発達とともにどのように発達するかを検討する。 我々は、強化学習(RL)アルゴリズムから学習した予測が人間の予測を増大させる仮想現実環境と時間ベースの予測タスクを開発する。 以上の結果から,人的信頼はエージェントとの早期の相互作用に影響され,信頼が戦略的行動に影響を及ぼす可能性が示唆された。
  論文  参考訳（メタデータ） (2021-12-14T22:46:44Z)
• PEBBLE: Feedback-Efficient Interactive Reinforcement Learning via Relabeling Experience and Unsupervised Pre-training [94.87393610927812]
  我々は、フィードバックと非政治学習の両方の長所を生かした、非政治的、インタラクティブな強化学習アルゴリズムを提案する。 提案手法は,従来ヒト・イン・ザ・ループ法で検討されていたよりも複雑度の高いタスクを学習可能であることを実証する。
  論文  参考訳（メタデータ） (2021-06-09T14:10:50Z)
• Deep Interpretable Models of Theory of Mind For Human-Agent Teaming [0.7734726150561086]
  我々は、他の観測対象の意図をモデル化するための解釈可能なモジュラー・ニューラル・フレームワークを開発する。 Minecraftの検索および救助タスクで、人間の参加者のデータに関する実験を行い、アプローチの有効性を実証します。
  論文  参考訳（メタデータ） (2021-04-07T06:18:58Z)
• Explainability in Deep Reinforcement Learning [68.8204255655161]
  説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。 エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
  論文  参考訳（メタデータ） (2020-08-15T10:11:42Z)
• Accelerating Reinforcement Learning Agent with EEG-based Implicit Human Feedback [10.138798960466222]
  人間のフィードバックによる強化学習(RL)エージェントは、学習のさまざまな側面を劇的に改善することができる。 従来の方法では、人間の観察者が明示的に入力をし、RLエージェントの学習プロセスのループで人間を負担する必要があった。 脳波による人間の内因性反応を、エラー関連電位(ErrP)の形で暗黙の(そして自然な)フィードバックとして捉えることを検討する。
  論文  参考訳（メタデータ） (2020-06-30T03:13:37Z)
• Explainable Active Learning (XAL): An Empirical Study of How Local Explanations Impact Annotator Experience [76.9910678786031]
  本稿では、最近急増している説明可能なAI(XAI)のテクニックをアクティブラーニング環境に導入することにより、説明可能なアクティブラーニング(XAL)の新たなパラダイムを提案する。 本研究は,機械教育のインタフェースとしてのAI説明の利点として,信頼度校正を支援し,リッチな形式の教示フィードバックを可能にすること,モデル判断と認知作業負荷による潜在的な欠点を克服する効果を示す。
  論文  参考訳（メタデータ） (2020-01-24T22:52:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。