論文の概要: Demonstration-Guided Reinforcement Learning with Efficient Exploration
for Task Automation of Surgical Robot
- arxiv url: http://arxiv.org/abs/2302.09772v1
- Date: Mon, 20 Feb 2023 05:38:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-21 16:36:24.229562
- Title: Demonstration-Guided Reinforcement Learning with Efficient Exploration
for Task Automation of Surgical Robot
- Title（参考訳）: 手術ロボットのタスク自動化のための効率的な探索によるデモンストレーション誘導強化学習
- Authors: Tao Huang, Kai Chen, Bin Li, Yun-Hui Liu, Qi Dou
- Abstract要約: 効率的な強化学習アルゴリズムであるDEX(Demonstration-Guided Exploration)を導入する。
本手法は,生産的相互作用を促進するために,高い値で専門家のような行動を推定する。
総合的な手術シミュレーションプラットフォームであるSurRoLによる10ドルの手術操作に関する実験では、大幅な改善が示されている。
- 参考スコア（独自算出の注目度）: 54.80144694888735
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Task automation of surgical robot has the potentials to improve surgical
efficiency. Recent reinforcement learning (RL) based approaches provide
scalable solutions to surgical automation, but typically require extensive data
collection to solve a task if no prior knowledge is given. This issue is known
as the exploration challenge, which can be alleviated by providing expert
demonstrations to an RL agent. Yet, how to make effective use of demonstration
data to improve exploration efficiency still remains an open challenge. In this
work, we introduce Demonstration-guided EXploration (DEX), an efficient
reinforcement learning algorithm that aims to overcome the exploration problem
with expert demonstrations for surgical automation. To effectively exploit
demonstrations, our method estimates expert-like behaviors with higher values
to facilitate productive interactions, and adopts non-parametric regression to
enable such guidance at states unobserved in demonstration data. Extensive
experiments on $10$ surgical manipulation tasks from SurRoL, a comprehensive
surgical simulation platform, demonstrate significant improvements in the
exploration efficiency and task success rates of our method. Moreover, we also
deploy the learned policies to the da Vinci Research Kit (dVRK) platform to
show the effectiveness on the real robot. Code is available at
https://github.com/med-air/DEX.
- Abstract（参考訳）: 手術ロボットのタスク自動化は,手術効率を向上させる可能性がある。
最近の強化学習(RL)ベースのアプローチは、外科的自動化に対するスケーラブルなソリューションを提供するが、通常、事前の知識が与えられなければ、タスクを解決するために広範なデータ収集を必要とする。
この問題はexploring challengeと呼ばれ、rlエージェントに専門家のデモンストレーションを提供することで緩和することができる。
しかし、探索効率を改善するために実証データを効果的に活用する方法は、依然としてオープンな課題である。
本研究では,手術自動化のための専門家実験を用いて探索問題を克服することを目的とした,効率的な強化学習アルゴリズムであるdex(experiment-guided exploration)を提案する。
実演を効果的に活用するため,提案手法では,高い価値を持つ専門家的な振る舞いを推定し,生産的相互作用を促進させ,非パラメトリック回帰を適用して,実演データに観察できない状態の指導を可能にする。
包括的手術シミュレーションプラットフォームであるsurrolによる10ドルの手術操作タスクに関する広範囲な実験により,本手法の探索効率と作業成功率に有意な改善が示された。
さらに,学習方針をda Vinci Research Kit (dVRK)プラットフォームに展開し,実ロボットの有効性を示す。
コードはhttps://github.com/med-air/DEXで入手できる。
関連論文リスト
- VITAL: Visual Teleoperation to Enhance Robot Learning through Human-in-the-Loop Corrections [10.49712834719005]
本稿では,VITAL と呼ばれる双方向操作作業のための低コストな視覚遠隔操作システムを提案する。
われわれのアプローチは、安価なハードウェアとビジュアル処理技術を利用してデモを収集する。
実環境と模擬環境の両方を活用することにより,学習方針の一般化性と堅牢性を高める。
論文 参考訳（メタデータ） (2024-07-30T23:29:47Z) - Offline Imitation Learning Through Graph Search and Retrieval [57.57306578140857]
模倣学習は、ロボットが操作スキルを取得するための強力な機械学習アルゴリズムである。
本稿では,グラフ検索と検索により,最適下実験から学習する,シンプルで効果的なアルゴリズムGSRを提案する。
GSRは、ベースラインに比べて10%から30%高い成功率、30%以上の熟練を達成できる。
論文 参考訳（メタデータ） (2024-07-22T06:12:21Z) - Tactile Active Inference Reinforcement Learning for Efficient Robotic
Manipulation Skill Acquisition [10.072992621244042]
触覚能動推論強化学習(Tactile Active Inference Reinforcement Learning, Tactile-AIRL)と呼ばれるロボット操作におけるスキル学習手法を提案する。
強化学習(RL)の性能を高めるために,モデルに基づく手法と本質的な好奇心をRLプロセスに統合した能動推論を導入する。
本研究では,タスクをプッシュする非包括的オブジェクトにおいて,学習効率が著しく向上することが実証された。
論文 参考訳（メタデータ） (2023-11-19T10:19:22Z) - Constrained Reinforcement Learning for Robotics via Scenario-Based
Programming [64.07167316957533]
DRLをベースとしたエージェントの性能を最適化し,その動作を保証することが重要である。
本稿では,ドメイン知識を制約付きDRLトレーニングループに組み込む新しい手法を提案する。
我々の実験は、専門家の知識を活用するために我々のアプローチを用いることで、エージェントの安全性と性能が劇的に向上することを示した。
論文 参考訳（メタデータ） (2022-06-20T07:19:38Z) - Learning from Guided Play: A Scheduled Hierarchical Approach for
Improving Exploration in Adversarial Imitation Learning [7.51557557629519]
本稿では,主課題,複数の補助課題に加えて,専門家による実演を活用するためのフレームワークであるLearning from Guided Play (LfGP)を紹介する。
主なタスクに対する学習効率は、ボトルネック遷移に挑戦して改善され、専門家データがタスク間で再利用可能になり、学習した補助タスクモデルの再利用を通じて学習を移行することが可能になります。
論文 参考訳（メタデータ） (2021-12-16T14:58:08Z) - Accelerating Robotic Reinforcement Learning via Parameterized Action
Primitives [92.0321404272942]
強化学習は汎用ロボットシステムの構築に使用することができる。
しかし、ロボット工学の課題を解決するためにRLエージェントを訓練することは依然として困難である。
本研究では,ロボット行動プリミティブ(RAPS)のライブラリを手動で指定し,RLポリシーで学習した引数をパラメータ化する。
動作インターフェースへの簡単な変更は、学習効率とタスクパフォーマンスの両方を大幅に改善する。
論文 参考訳（メタデータ） (2021-10-28T17:59:30Z) - Human-Aware Robot Navigation via Reinforcement Learning with Hindsight
Experience Replay and Curriculum Learning [28.045441768064215]
強化学習アプローチは、シーケンシャルな意思決定問題を解決する優れた能力を示している。
本研究では,実演データを使わずにRLエージェントを訓練する作業を検討する。
密集層における最適なナビゲーションポリシーを効率的に学習するために,後視体験リプレイ(HER)とカリキュラム学習(CL)技術をRLに組み込むことを提案する。
論文 参考訳（メタデータ） (2021-10-09T13:18:11Z) - The SARAS Endoscopic Surgeon Action Detection (ESAD) dataset: Challenges
and methods [15.833413083110903]
本稿では,内視鏡下低侵襲手術における外科医の行動検出問題に取り組むための,最初の大規模データセットであるesadについて述べる。
このデータセットは、前立腺切除術中にキャプチャされた実際の内視鏡的ビデオフレーム上の21のアクションクラスに対するバウンディングボックスアノテーションを提供し、最近のMIDL 2020チャレンジのベースとして使用された。
論文 参考訳（メタデータ） (2021-04-07T15:11:51Z) - A Framework for Efficient Robotic Manipulation [79.10407063260473]
単一のロボットアームがピクセルからスパースリワード操作ポリシーを学習できることを示します。
デモは10回しかなく、単一のロボットアームがピクセルからスパースリワード操作のポリシーを学習できることを示しています。
論文 参考訳（メタデータ） (2020-12-14T22:18:39Z) - Visual Imitation Made Easy [102.36509665008732]
本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。
我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。
我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
論文 参考訳（メタデータ） (2020-08-11T17:58:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。