論文の概要: A Closer Look at Reward Decomposition for High-Level Robotic
Explanations
- arxiv url: http://arxiv.org/abs/2304.12958v2
- Date: Sat, 4 Nov 2023 00:42:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-07 23:09:01.312019
- Title: A Closer Look at Reward Decomposition for High-Level Robotic
Explanations
- Title(参考訳): 高レベルロボット説明のための逆解法について
- Authors: Wenhao Lu, Xufeng Zhao, Sven Magg, Martin Gromniak, Mengdi Li, Stefan
Wermter
- Abstract要約: 本稿では、報酬分解と抽象的な行動空間を組み合わせたQ-Map学習フレームワークを提案する。
本稿では,2つのロボットシナリオの定量的,定性的な分析を通じて,本フレームワークの有効性を実証する。
- 参考スコア(独自算出の注目度): 18.019811754800767
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Explaining the behaviour of intelligent agents learned by reinforcement
learning (RL) to humans is challenging yet crucial due to their
incomprehensible proprioceptive states, variational intermediate goals, and
resultant unpredictability. Moreover, one-step explanations for RL agents can
be ambiguous as they fail to account for the agent's future behaviour at each
transition, adding to the complexity of explaining robot actions. By leveraging
abstracted actions that map to task-specific primitives, we avoid explanations
on the movement level. To further improve the transparency and explainability
of robotic systems, we propose an explainable Q-Map learning framework that
combines reward decomposition (RD) with abstracted action spaces, allowing for
non-ambiguous and high-level explanations based on object properties in the
task. We demonstrate the effectiveness of our framework through quantitative
and qualitative analysis of two robotic scenarios, showcasing visual and
textual explanations, from output artefacts of RD explanations, that are easy
for humans to comprehend. Additionally, we demonstrate the versatility of
integrating these artefacts with large language models (LLMs) for reasoning and
interactive querying.
- Abstract(参考訳): 強化学習(RL)によって人間に学習された知的エージェントの振る舞いを説明することは、理解不能な先天受容状態、変分中間目標、そして結果として予測不可能であるために、非常に難しい。
さらに、RLエージェントの1段階の説明は、各遷移におけるエージェントの将来の振る舞いを説明できないため曖昧になり、ロボットアクションを説明する複雑さが増す。
タスク固有のプリミティブにマップする抽象的なアクションを活用することで、動作レベルの説明を避けることができる。
ロボットシステムの透明性と説明可能性をさらに向上するために,報酬分解(RD)と抽象的な行動空間を組み合わせたQ-Map学習フレームワークを提案する。
本研究では,人間の理解が容易なRD説明の出力成果から視覚的・テキスト的説明を提示する,2つのシナリオの定量的・定性的な分析を通じて,フレームワークの有効性を実証する。
さらに,これらのアーティファクトを大規模言語モデル(llm)に統合し,推論と対話的なクエリを行う汎用性を示す。
関連論文リスト
- MOKA: Open-Vocabulary Robotic Manipulation through Mark-Based Visual
Prompting [106.53784213239479]
Moka(Marking Open-vocabulary Keypoint Affordances)は,視覚言語モデルを用いたロボット操作タスクの解法である。
我々のアプローチの核心は、物理的世界におけるVLMのRGB画像とロボットの動きの予測を橋渡しする、手頃さと動きのコンパクトなポイントベース表現である。
我々は,自由形式の言語記述によって規定される様々な操作タスクに対して,Mokaの性能を評価し,分析する。
論文 参考訳(メタデータ) (2024-03-05T18:08:45Z) - Robotic Imitation of Human Actions [18.278372872404326]
本研究では,人間を模倣するロボットの課題に対処する,模倣学習の新しいアプローチを提案する。
提案手法では, 実証されたタスクに関する情報を抽象化し, その情報を一般化し, 再現するために利用する。
論文 参考訳(メタデータ) (2024-01-16T14:11:54Z) - Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。
驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。
以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
論文 参考訳(メタデータ) (2023-12-10T23:13:23Z) - Explaining Explainability: Towards Deeper Actionable Insights into Deep
Learning through Second-order Explainability [70.60433013657693]
2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。
そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
論文 参考訳(メタデータ) (2023-06-14T23:24:01Z) - Interpretability in the Wild: a Circuit for Indirect Object
Identification in GPT-2 small [68.879023473838]
間接オブジェクト識別 (IOI) と呼ばれる自然言語タスクにおいて, GPT-2 の小型化が果たす役割について解説する。
我々の知る限り、この調査は言語モデルにおいて「野生」の自然な振る舞いをリバースエンジニアリングする最大のエンドツーエンドの試みである。
論文 参考訳(メタデータ) (2022-11-01T17:08:44Z) - Inherently Explainable Reinforcement Learning in Natural Language [14.117921448623342]
本稿では,本質的に説明可能な強化学習エージェントの開発に焦点をあてる。
この階層的説明可能な強化学習エージェントは、インタラクティブフィクション、テキストベースのゲーム環境で動作する。
私たちのエージェントは、説明責任を第一級市民として扱うように設計されています。
論文 参考訳(メタデータ) (2021-12-16T14:24:35Z) - Tell me why! -- Explanations support learning of relational and causal
structure [24.434551113103105]
説明は人間の学習において重要な役割を担い、特にAIにとって大きな課題が残る分野においてである。
我々は、強化学習エージェントが説明の恩恵を受ける可能性があることを示す。
我々の結果は、説明からの学習が強力な原則であり、より堅牢で一般的な機械学習システムのトレーニングに有望な道筋を提供することを示唆している。
論文 参考訳(メタデータ) (2021-12-07T15:09:06Z) - A Novel Approach to Curiosity and Explainable Reinforcement Learning via
Interpretable Sub-Goals [0.0]
強化学習における2つの重要な課題は、(a)環境内でのエージェント学習の改善、および(b)エージェントアクションの説明可能性である。
これらの課題に対処するために、興味深いサブゴールに焦点を当てたエージェントについて説明する。
環境遷移にロバストな環境遷移のモデルとして,gan(generative adrial network)を用いた新たな好奇心評価手法を提案する。
論文 参考訳(メタデータ) (2021-04-14T05:21:13Z) - Are We On The Same Page? Hierarchical Explanation Generation for
Planning Tasks in Human-Robot Teaming using Reinforcement Learning [0.0]
我々は、エージェント生成の説明は、人間のチームメイトが受信者の認知負荷を維持するために望む詳細のレベルに合わせて抽象化されるべきであると主張します。
階層的な説明は, 認知負荷を低減しつつ, 作業性能と行動解釈性を向上することを示した。
論文 参考訳(メタデータ) (2020-12-22T02:14:52Z) - Explainability in Deep Reinforcement Learning [68.8204255655161]
説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。
エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
論文 参考訳(メタデータ) (2020-08-15T10:11:42Z) - A general framework for scientifically inspired explanations in AI [76.48625630211943]
我々は、AIシステムの説明を実装可能な一般的なフレームワークの理論的基盤として、科学的説明の構造の概念をインスタンス化する。
このフレームワークは、AIシステムの"メンタルモデル"を構築するためのツールを提供することを目的としている。
論文 参考訳(メタデータ) (2020-03-02T10:32:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。