論文の概要: Belief-Grounded Networks for Accelerated Robot Learning under Partial
Observability
- arxiv url: http://arxiv.org/abs/2010.09170v5
- Date: Thu, 21 Oct 2021 00:37:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 21:14:19.479836
- Title: Belief-Grounded Networks for Accelerated Robot Learning under Partial
Observability
- Title(参考訳): 部分観測可能性を考慮した加速ロボット学習のための信念周辺ネットワーク
- Authors: Hai Nguyen, Brett Daley, Xinchao Song, Christopher Amato, Robert Platt
- Abstract要約: 本稿では,BGN(Belief-Grounded Network)と呼ばれる部分観測可能性下での政策学習手法を提案する。
BGNはニューラルネットワークにインセンティブを与え、入力履歴を簡潔に要約する。
他のテスト方法よりも優れており、物理的なロボットに移植された場合、その学習ポリシーはうまく機能する。
- 参考スコア(独自算出の注目度): 13.080765595494213
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many important robotics problems are partially observable in the sense that a
single visual or force-feedback measurement is insufficient to reconstruct the
state. Standard approaches involve learning a policy over beliefs or
observation-action histories. However, both of these have drawbacks; it is
expensive to track the belief online, and it is hard to learn policies directly
over histories. We propose a method for policy learning under partial
observability called the Belief-Grounded Network (BGN) in which an auxiliary
belief-reconstruction loss incentivizes a neural network to concisely summarize
its input history. Since the resulting policy is a function of the history
rather than the belief, it can be executed easily at runtime. We compare BGN
against several baselines on classic benchmark tasks as well as three novel
robotic touch-sensing tasks. BGN outperforms all other tested methods and its
learned policies work well when transferred onto a physical robot.
- Abstract(参考訳): 多くの重要なロボット工学の問題は、視覚または力による測定が状態の再構築に不十分であるという意味で部分的に観察可能である。
標準的なアプローチは、信念や観察行動史に関する政策を学ぶことである。
しかし、どちらも欠点があり、オンラインで信念を追跡するのは高価であり、歴史よりも直接政策を学ぶのは難しい。
本稿では,補助的信念再構成損失がニューラルネットワークにインセンティブを与え,その入力履歴を簡潔に要約する,信条基底ネットワーク(bgn)と呼ばれる部分的可観測性下でのポリシ学習手法を提案する。
結果として得られるポリシーは信念よりも歴史の関数であるため、実行時に容易に実行できる。
我々は、BGNを古典的なベンチマークタスクのベースライン、および3つの新しいロボットタッチセンシングタスクと比較した。
BGNは、他の試験方法よりも優れており、学習されたポリシーは、物理的なロボットに転送するとうまく機能する。
関連論文リスト
- Contact Energy Based Hindsight Experience Prioritization [19.42106651692228]
強化学習(RL)アルゴリズムでは,報酬の少ないマルチゴールロボット操作作業が困難である。
Hindsight Experience Replay (HER)のような最近のアルゴリズムは、失敗軌跡を生かして学習を高速化している。
本稿では,コンタクトによるリッチな情報に基づいて,リプレイバッファからサンプルを選択するための,CEBP(Contact Energy Based Prioritization)を提案する。
論文 参考訳(メタデータ) (2023-12-05T11:32:25Z) - Learning Vision-based Pursuit-Evasion Robot Policies [54.52536214251999]
我々は、部分的に観察可能なロボットの監督を生成する完全観測可能なロボットポリシーを開発する。
我々は、RGB-Dカメラを搭載した4足歩行ロボットに、野生での追従回避のインタラクションにポリシーを展開させる。
論文 参考訳(メタデータ) (2023-08-30T17:59:05Z) - Privileged Knowledge Distillation for Sim-to-Real Policy Generalization [33.25203428820186]
強化学習(Reinforcement Learning, RL)は近年, ロボット制御において顕著な成功を収めている。
ほとんどのRLメソッドは、特権知識が容易に利用できるシミュレーション環境で動作する。
現実のシナリオでは、ロボットエージェントは通常、ローカル状態にのみ依存してアクションを選択する。
既存の方法は、特権知識への依存を徐々に減らしたり、2段階の政策模倣を行うことによって、このギャップに対処する。
本研究では,Historical Information Bottleneck (HIB) と呼ばれる単一段階の特権的知識蒸留手法を提案する。
論文 参考訳(メタデータ) (2023-05-29T07:51:00Z) - Self-Improving Robots: End-to-End Autonomous Visuomotor Reinforcement
Learning [54.636562516974884]
模倣と強化学習において、人間の監督コストは、ロボットが訓練できるデータの量を制限する。
本研究では,自己改善型ロボットシステムのための新しい設計手法であるMEDAL++を提案する。
ロボットは、タスクの実施と解除の両方を学ぶことで、自律的にタスクを練習し、同時にデモンストレーションから報酬関数を推論する。
論文 参考訳(メタデータ) (2023-03-02T18:51:38Z) - Deep Class-Incremental Learning: A Survey [68.21880493796442]
常に変化する世界で、新しいクラスが時々現れます。
新しいクラスのインスタンスでモデルを直接トレーニングする場合、モデルは破滅的に以前のモデルの特徴を忘れる傾向があります。
ベンチマーク画像分類タスクにおける16の手法の厳密で統一的な評価を行い、異なるアルゴリズムの特徴を明らかにする。
論文 参考訳(メタデータ) (2023-02-07T17:59:05Z) - Leveraging Fully Observable Policies for Learning under Partial
Observability [14.918197552051929]
オフライントレーニング中に完全に観測可能なポリシを用いてオンラインパフォーマンスを向上させる部分観測可能強化学習法を提案する。
当社のアプローチでは,部分的な可観測性の下で学びながら,完全な可観測性を持つ領域や領域の一部について,完全に可観測性を持つポリシを活用することが可能です。
画素からの操作タスクにおける物理ロボットへのポリシー伝達の成功は、部分的可観測性の下で興味深いポリシーを学習する際の我々のアプローチの実践性を示している。
論文 参考訳(メタデータ) (2022-11-03T16:57:45Z) - Verifying Learning-Based Robotic Navigation Systems [61.01217374879221]
有効モデル選択に現代検証エンジンをどのように利用できるかを示す。
具体的には、検証を使用して、最適下行動を示す可能性のあるポリシーを検出し、除外する。
我々の研究は、現実世界のロボットにおける準最適DRLポリシーを認識するための検証バックエンドの使用を初めて実証したものである。
論文 参考訳(メタデータ) (2022-05-26T17:56:43Z) - Explainability in reinforcement learning: perspective and position [1.299941371793082]
本稿では, 説明可能なRL領域における既存手法の体系的概要について述べる。
新しく統合された分類法を提案し、既存の分類を構築・拡張する。
論文 参考訳(メタデータ) (2022-03-22T09:00:13Z) - A Framework for Efficient Robotic Manipulation [79.10407063260473]
単一のロボットアームがピクセルからスパースリワード操作ポリシーを学習できることを示します。
デモは10回しかなく、単一のロボットアームがピクセルからスパースリワード操作のポリシーを学習できることを示しています。
論文 参考訳(メタデータ) (2020-12-14T22:18:39Z) - Toward Force Estimation in Robot-Assisted Surgery using Deep Learning
with Vision and Robot State [25.121899443298567]
畳み込みニューラルネットワークを用いた視覚ベースのディープラーニングは、有用な力推定を提供するための有望なアプローチである。
本稿では,RGB画像とロボット状態を入力として使用する力推定ニューラルネットワークを提案する。
精度は同等だが、ベースラインのリカレントニューラルネットワークよりも高速な計算時間を示しており、リアルタイムアプリケーションに適している。
論文 参考訳(メタデータ) (2020-11-04T04:00:07Z) - COG: Connecting New Skills to Past Experience with Offline Reinforcement
Learning [78.13740204156858]
我々は、動的プログラミングによって新しいスキルを拡張するために、事前データを再利用できることを示します。
我々は、新しいタスクを解決するために、以前のデータセットに見られるいくつかの動作をチェーンすることで、アプローチの有効性を実証する。
我々は、高次元画像観察を低レベルのロボット制御コマンドにマッピングし、エンドツーエンドでポリシーを訓練する。
論文 参考訳(メタデータ) (2020-10-27T17:57:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。