論文の概要: Widening the Pipeline in Human-Guided Reinforcement Learning with
Explanation and Context-Aware Data Augmentation
- arxiv url: http://arxiv.org/abs/2006.14804v5
- Date: Tue, 26 Oct 2021 19:16:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-16 21:49:14.693310
- Title: Widening the Pipeline in Human-Guided Reinforcement Learning with
Explanation and Context-Aware Data Augmentation
- Title（参考訳）: 説明と文脈認識データ拡張による人間誘導強化学習におけるパイプライン拡大
- Authors: Lin Guan, Mudit Verma, Sihang Guo, Ruohan Zhang, Subbarao Kambhampati
- Abstract要約: 本研究は,人間によるループ内強化学習における視覚的説明を用いた最初の研究である。
本研究では,タスク関連機能をコンテキスト対応データ拡張を通じて符号化することをモデルに推奨するEXPANDを提案する。
- 参考スコア（独自算出の注目度）: 20.837228359591663
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Human explanation (e.g., in terms of feature importance) has been recently
used to extend the communication channel between human and agent in interactive
machine learning. Under this setting, human trainers provide not only the
ground truth but also some form of explanation. However, this kind of human
guidance was only investigated in supervised learning tasks, and it remains
unclear how to best incorporate this type of human knowledge into deep
reinforcement learning. In this paper, we present the first study of using
human visual explanations in human-in-the-loop reinforcement learning (HRL). We
focus on the task of learning from feedback, in which the human trainer not
only gives binary evaluative "good" or "bad" feedback for queried state-action
pairs, but also provides a visual explanation by annotating relevant features
in images. We propose EXPAND (EXPlanation AugmeNted feeDback) to encourage the
model to encode task-relevant features through a context-aware data
augmentation that only perturbs irrelevant features in human salient
information. We choose five tasks, namely Pixel-Taxi and four Atari games, to
evaluate the performance and sample efficiency of this approach. We show that
our method significantly outperforms methods leveraging human explanation that
are adapted from supervised learning, and Human-in-the-loop RL baselines that
only utilize evaluative feedback.
- Abstract（参考訳）: 人間の説明(例えば、機能の重要性)は、インタラクティブ機械学習において人間とエージェントの間のコミュニケーションチャネルを拡張するために最近使われている。
この設定の下で、人間のトレーナーは、基礎的な真実だけでなく、ある種の説明も提供する。
しかし、この種の人間指導は教師付き学習タスクでのみ研究されており、このタイプの人間知識を深層強化学習にどのように組み込むかは未だ不明である。
本稿では,ヒューマン・イン・ザ・ループ強化学習(HRL)における人間の視覚的説明を用いた最初の研究について述べる。
我々は,フィードバックから学習するタスクに注目し,人間のトレーナーが2値評価の「良い」あるいは「悪い」フィードバックを与えるだけでなく,画像に関連した特徴を付加して視覚的説明を提供する。
本研究は,人間の有能な情報における無関係な特徴のみを摂動させるコンテキスト認識データ拡張を通じて,タスク関連特徴を符号化するためのEXPAND(EXPlanation AugmeNted feeDback)を提案する。
このアプローチの性能とサンプル効率を評価するために,5つのタスク,すなわちpixel-taxiと4つのatariゲームを選択した。
提案手法は,教師付き学習から適応した人間の説明や,評価的フィードバックのみを利用するループ内rlベースラインを活用する手法を著しく上回っている。
関連論文リスト
- Mapping out the Space of Human Feedback for Reinforcement Learning: A Conceptual Framework [13.949126295663328]
我々は、対話型学習シナリオにおける人間のフィードバックの共通理解を開発することにより、機械学習と人間とコンピュータの相互作用のギャップを埋める。
そこで我々は,9つの重要な次元に基づいて,人的フィードバックから報酬に基づく学習を行うためのフィードバックタイプ分類を導入した。
フィードバックを表現できる人間の能力と、フィードバックから学習するエージェントの能力に影響を及ぼす、人間のフィードバックの質の指標を7つ同定する。
論文 参考訳（メタデータ） (2024-11-18T17:40:42Z) - GUIDE: Real-Time Human-Shaped Agents [4.676987516944155]
リアルタイム強化学習のためのGUIDEを紹介した。
人間のフィードバックが10分しかなく、我々のアルゴリズムはRLベースラインと比較して最大30%の成功率を達成できる。
論文 参考訳（メタデータ） (2024-10-19T18:59:39Z) - Human-Feedback Efficient Reinforcement Learning for Online Diffusion Model Finetuning [21.707688492630304]
HEROは、人間のフィードバックを捉え、微調整のための情報学習信号を提供するオンライントレーニング手法である。
HEROは、推論、カウント、パーソナライズ、NSFWコンテンツを0.5Kのオンラインフィードバックで効果的に処理できる。
論文 参考訳（メタデータ） (2024-10-07T15:12:01Z) - Real-time Addressee Estimation: Deployment of a Deep-Learning Model on
the iCub Robot [52.277579221741746]
住所推定は、社会ロボットが人間とスムーズに対話するために必要なスキルである。
人間の知覚スキルにインスパイアされたディープラーニングモデルは、iCubロボットに設計、訓練、デプロイされる。
本研究では,人間-ロボットのリアルタイムインタラクションにおいて,そのような実装の手順とモデルの性能について述べる。
論文 参考訳（メタデータ） (2023-11-09T13:01:21Z) - Explaining Explainability: Towards Deeper Actionable Insights into Deep
Learning through Second-order Explainability [70.60433013657693]
2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。
そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
論文 参考訳（メタデータ） (2023-06-14T23:24:01Z) - PEBBLE: Feedback-Efficient Interactive Reinforcement Learning via
Relabeling Experience and Unsupervised Pre-training [94.87393610927812]
我々は、フィードバックと非政治学習の両方の長所を生かした、非政治的、インタラクティブな強化学習アルゴリズムを提案する。
提案手法は,従来ヒト・イン・ザ・ループ法で検討されていたよりも複雑度の高いタスクを学習可能であることを実証する。
論文 参考訳（メタデータ） (2021-06-09T14:10:50Z) - Parrot: Data-Driven Behavioral Priors for Reinforcement Learning [79.32403825036792]
そこで本研究では,実験で得られた複雑なインプット・アウトプット関係を事前に学習する手法を提案する。
RLエージェントが新規な動作を試す能力を阻害することなく、この学習が新しいタスクを迅速に学習するのにどのように役立つかを示す。
論文 参考訳（メタデータ） (2020-11-19T18:47:40Z) - Accelerating Reinforcement Learning Agent with EEG-based Implicit Human
Feedback [10.138798960466222]
人間のフィードバックによる強化学習(RL)エージェントは、学習のさまざまな側面を劇的に改善することができる。
従来の方法では、人間の観察者が明示的に入力をし、RLエージェントの学習プロセスのループで人間を負担する必要があった。
脳波による人間の内因性反応を、エラー関連電位(ErrP)の形で暗黙の(そして自然な)フィードバックとして捉えることを検討する。
論文 参考訳（メタデータ） (2020-06-30T03:13:37Z) - On the interaction between supervision and self-play in emergent
communication [82.290338507106]
本研究は,2つのカテゴリの学習信号と,サンプル効率の向上を目標とする学習信号の関係について検討する。
人間のデータに基づく教師付き学習による初等訓練エージェントが,自己演奏が会話に優れていることが判明した。
論文 参考訳（メタデータ） (2020-02-04T02:35:19Z) - Facial Feedback for Reinforcement Learning: A Case Study and Offline
Analysis Using the TAMER Framework [51.237191651923666]
訓練者の表情からエージェント学習の可能性について,評価フィードバックとして解釈することで検討した。
設計したCNN-RNNモデルを用いて,学習者に対して表情とコンペティションの使用を指示することで,肯定的および否定的なフィードバックを推定する精度を向上させることができることを示す。
シミュレーション実験の結果,表情に基づく予測フィードバックのみから学習できることが示唆された。
論文 参考訳（メタデータ） (2020-01-23T17:50:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。