論文の概要: "Guess what I'm doing": Extending legibility to sequential decision
tasks
- arxiv url: http://arxiv.org/abs/2209.09141v1
- Date: Mon, 19 Sep 2022 16:01:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-20 19:12:03.445935
- Title: "Guess what I'm doing": Extending legibility to sequential decision
tasks
- Title(参考訳): 「私がやっていること」--適性から逐次的な決定タスクへ拡張する
- Authors: Miguel Faria, Francisco S. Melo, Ana Paiva
- Abstract要約: 不確実性を考慮したシーケンシャルな意思決定課題における正当性の概念について検討する。
提案手法はPoL-MDPと呼ばれ,不確実性に対処できる。
- 参考スコア(独自算出の注目度): 8.70928211339504
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In this paper we investigate the notion of legibility in sequential decision
tasks under uncertainty. Previous works that extend legibility to scenarios
beyond robot motion either focus on deterministic settings or are
computationally too expensive. Our proposed approach, dubbed PoL-MDP, is able
to handle uncertainty while remaining computationally tractable. We establish
the advantages of our approach against state-of-the-art approaches in several
simulated scenarios of different complexity. We also showcase the use of our
legible policies as demonstrations for an inverse reinforcement learning agent,
establishing their superiority against the commonly used demonstrations based
on the optimal policy. Finally, we assess the legibility of our computed
policies through a user study where people are asked to infer the goal of a
mobile robot following a legible policy by observing its actions.
- Abstract(参考訳): 本稿では,不確実性下での逐次決定課題における正当性の概念について検討する。
ロボットの動き以外のシナリオへのレジリエンスを拡大する以前の作業は、決定論的設定に集中するか、計算コストが高すぎる。
提案手法はpol-mdpと呼ばれ,不確実性に対処し,計算的に把握可能である。
我々は,複雑度が異なる複数のシミュレーションシナリオにおいて,最先端のアプローチに対するアプローチの利点を確立する。
また,逆強化学習エージェントのデモンストレーションとして,当社のレジブル・ポリシーを活用し,その最適方針に基づく実演に対する優位性を確立した。
最後に,モバイルロボットの動作を観察することで,有効なポリシーに従って目標を推測するユーザスタディを通じて,計算されたポリシーの正当性を評価する。
関連論文リスト
- PARTNR: Pick and place Ambiguity Resolving by Trustworthy iNteractive
leaRning [5.046831208137847]
本稿では,選択と配置のポーズにおける複数のモーダルを解析することにより,訓練されたポリシーのあいまいさを検出できるPartinNRアルゴリズムを提案する。
PartNRは、追加のユーザデモが必要なかどうかを判断する適応型、感度ベースのゲーティング機能を採用している。
テーブルトップのピック・アンド・プレイス・タスクにおけるPartinNRの性能を実演する。
論文 参考訳(メタデータ) (2022-11-15T17:07:40Z) - Reinforcement Learning with a Terminator [80.34572413850186]
我々は, TerMDP のパラメータを学習し, 推定問題の構造を活用し, 状態ワイドな信頼境界を提供する。
我々はこれらを用いて証明可能な効率のよいアルゴリズムを構築し、終端を考慮し、その後悔を抑える。
論文 参考訳(メタデータ) (2022-05-30T18:40:28Z) - Proximal Reinforcement Learning: Efficient Off-Policy Evaluation in
Partially Observed Markov Decision Processes [65.91730154730905]
医療や教育などの観察データへのオフライン強化学習の適用においては、観察された行動は観測されていない要因に影響される可能性があるという一般的な懸念がある。
ここでは、部分的に観察されたマルコフ決定過程(POMDP)における非政治評価を考慮し、この問題に取り組む。
我々は、近位因果推論の枠組みをPOMDP設定に拡張し、識別が可能となる様々な設定を提供する。
論文 参考訳(メタデータ) (2021-10-28T17:46:14Z) - A Reinforcement Learning Approach to the Stochastic Cutting Stock
Problem [0.0]
本稿では,削減された無限水平決定プロセスとして,カットストック問題の定式化を提案する。
最適解は、各状態と決定を関連付け、期待される総コストを最小化するポリシーに対応する。
論文 参考訳(メタデータ) (2021-09-20T14:47:54Z) - Deceptive Decision-Making Under Uncertainty [25.197098169762356]
タスクを遂行しながら,外部の観察者の意図を判断できる自律エージェントの設計について検討する。
エージェントの動作をマルコフ決定プロセスとしてモデル化することにより、エージェントが複数の潜在的な目標を達成するための設定を考える。
本稿では,最大エントロピーの原理に基づいて観測者予測をモデル化し,認識戦略を効率的に生成する手法を提案する。
論文 参考訳(メタデータ) (2021-09-14T14:56:23Z) - Instance-Aware Predictive Navigation in Multi-Agent Environments [93.15055834395304]
エージェント間の相互作用と将来のシーン構造を予測するIPC(Instance-Aware Predictive Control)アプローチを提案する。
我々は,ego中心の視点でエージェント間のインタラクションを推定するために,新しいマルチインスタンスイベント予測モジュールを採用する。
シーンレベルとインスタンスレベルの両方の予測状態をより有効活用するために、一連のアクションサンプリング戦略を設計します。
論文 参考訳(メタデータ) (2021-01-14T22:21:25Z) - Privacy-Constrained Policies via Mutual Information Regularized Policy
Gradients [93.65993173260318]
報酬を最大化するポリシーを訓練し、そのアクションを通じて特定の機密状態変数の開示を最小化するタスクを考える。
この設定は、シーケンシャルな意思決定のためのプライバシーにおける現実世界の問題をどのようにカバーするかを例に示します。
実験の結果,本手法は敏感な状態を隠蔽する方針が得られた。
論文 参考訳(メタデータ) (2020-12-30T03:22:35Z) - Learning Robot Skills with Temporal Variational Inference [31.742002337959107]
本稿では,ロボットが様々なタスクを行う場合のデモから,低レベル制御ポリシと高レベル制御ポリシを共同で学習するフレームワークを提案する。
我々は,3つのロボットデモデータセットからこのような選択肢を学習するフレームワークの能力を実証する。
論文 参考訳(メタデータ) (2020-06-29T17:54:09Z) - Continuous Action Reinforcement Learning from a Mixture of Interpretable
Experts [35.80418547105711]
本稿では,複雑な関数近似を内部値予測に保持するポリシスキームを提案する。
この論文の主な技術的貢献は、この非微分不可能な状態選択手順によってもたらされた課題に対処することである。
論文 参考訳(メタデータ) (2020-06-10T16:02:08Z) - Guided Uncertainty-Aware Policy Optimization: Combining Learning and
Model-Based Strategies for Sample-Efficient Policy Learning [75.56839075060819]
従来のロボットのアプローチは、環境の正確なモデル、タスクの実行方法の詳細な説明、現在の状態を追跡するための堅牢な認識システムに依存している。
強化学習アプローチは、タスクを記述するための報酬信号だけで、生の感覚入力から直接操作することができるが、非常にサンプル非効率で脆弱である。
本研究では,ロボットの知覚・運動パイプラインにおける不正確さを克服できる一般的な手法を得るために,モデルに基づく手法の強みと学習に基づく手法の柔軟性を組み合わせる。
論文 参考訳(メタデータ) (2020-05-21T19:47:05Z) - Optimizing for the Future in Non-Stationary MDPs [52.373873622008944]
本稿では,今後の性能予測を最大化するポリシ勾配アルゴリズムを提案する。
我々のアルゴリズムであるPrognosticatorは2つのオンライン適応手法よりも非定常性に頑健であることを示す。
論文 参考訳(メタデータ) (2020-05-17T03:41:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。