論文の概要: Reward Learning from Suboptimal Demonstrations with Applications in Surgical Electrocautery
- arxiv url: http://arxiv.org/abs/2404.07185v1
- Date: Wed, 10 Apr 2024 17:40:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-11 14:01:43.071745
- Title: Reward Learning from Suboptimal Demonstrations with Applications in Surgical Electrocautery
- Title（参考訳）: 外科的電気診断における準最適指示からの逆戻り学習と応用
- Authors: Zohre Karimi, Shing-Hei Ho, Bao Thach, Alan Kuntz, Daniel S. Brown,
- Abstract要約: 本稿では,限られたランク付けされた準最適実験から頑健な報酬関数を学習する,サンプル効率のよい手法を提案する。
学習した報酬関数を用いてポリシーを得ることは、純粋な模倣学習よりも堅牢であることを示す。
本手法は身体的外科的電気診断に応用し, 提案した実証実験が最適条件下であっても良好に動作できることを実証する。
- 参考スコア（独自算出の注目度）: 10.38505087117544
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automating robotic surgery via learning from demonstration (LfD) techniques is extremely challenging. This is because surgical tasks often involve sequential decision-making processes with complex interactions of physical objects and have low tolerance for mistakes. Prior works assume that all demonstrations are fully observable and optimal, which might not be practical in the real world. This paper introduces a sample-efficient method that learns a robust reward function from a limited amount of ranked suboptimal demonstrations consisting of partial-view point cloud observations. The method then learns a policy by optimizing the learned reward function using reinforcement learning (RL). We show that using a learned reward function to obtain a policy is more robust than pure imitation learning. We apply our approach on a physical surgical electrocautery task and demonstrate that our method can perform well even when the provided demonstrations are suboptimal and the observations are high-dimensional point clouds.
- Abstract（参考訳）: デモ(LfD)技術によるロボット手術の自動化は非常に難しい。
これは、外科的タスクは、しばしば物理的オブジェクトの複雑な相互作用を伴うシーケンシャルな意思決定プロセスを含み、ミスに対する耐性が低いためである。
先行研究は、全てのデモンストレーションが完全に観察可能で最適なものであると仮定しており、現実の世界では実用的ではないかもしれない。
本稿では, 部分ビュー点雲観測による最適下界実験の限られた数から, 頑健な報酬関数を学習するサンプル効率の手法を提案する。
次に、強化学習(RL)を用いて学習した報酬関数を最適化し、ポリシーを学習する。
学習した報酬関数を用いてポリシーを得ることは、純粋な模倣学習よりも堅牢であることを示す。
提案手法は, 提案した実証実験が最適以下であり, 観察が高次元の点雲であっても良好に動作できることを実証する。
関連論文リスト
- Adaptive Language-Guided Abstraction from Contrastive Explanations [53.48583372522492]
報酬を計算するためにこれらの特徴をどのように使うべきかを決定する前に、環境のどの特徴が関係しているかを決定する必要がある。
連立特徴と報奨学習のためのエンドツーエンドの手法は、しばしば、刺激的な状態特徴に敏感な脆い報酬関数をもたらす。
本稿では,言語モデルを用いて人間に意味のある特徴を反復的に識別するALGAEという手法について述べる。
論文 参考訳（メタデータ） (2024-09-12T16:51:58Z) - Offline Imitation Learning Through Graph Search and Retrieval [57.57306578140857]
模倣学習は、ロボットが操作スキルを取得するための強力な機械学習アルゴリズムである。
本稿では,グラフ検索と検索により,最適下実験から学習する,シンプルで効果的なアルゴリズムGSRを提案する。
GSRは、ベースラインに比べて10%から30%高い成功率、30%以上の熟練を達成できる。
論文 参考訳（メタデータ） (2024-07-22T06:12:21Z) - Demonstration-Guided Reinforcement Learning with Efficient Exploration
for Task Automation of Surgical Robot [54.80144694888735]
効率的な強化学習アルゴリズムであるDEX(Demonstration-Guided Exploration)を導入する。
本手法は,生産的相互作用を促進するために,高い値で専門家のような行動を推定する。
総合的な手術シミュレーションプラットフォームであるSurRoLによる10ドルの手術操作に関する実験では、大幅な改善が示されている。
論文 参考訳（メタデータ） (2023-02-20T05:38:54Z) - End-to-End Affordance Learning for Robotic Manipulation [4.405918052597016]
インタラクティブな環境で3Dオブジェクトを操作することの学習は、強化学習において難しい問題であった。
視覚的余裕は、効果的に実行可能なセマンティクスを備えたオブジェクト中心の情報提供において、大きな見通しを示してきた。
本研究では,RL学習過程において生成した接触情報を用いて視覚的余裕を生かし,興味のある接触マップを予測する。
論文 参考訳（メタデータ） (2022-09-26T18:24:28Z) - Reward Shaping with Dynamic Trajectory Aggregation [7.6146285961466]
ポテンシャルに基づく報酬形成は報酬を豊かにする基本的な方法である。
SARSA-RSは潜在的な機能を学び、それを取得する。
サブゴール系列を用いた軌道アグリゲーションを提案する。
論文 参考訳（メタデータ） (2021-04-13T13:07:48Z) - Learning from Imperfect Demonstrations from Agents with Varying Dynamics [29.94164262533282]
我々は,実演が模倣学習にどの程度有用かを測定するために,実現可能性スコアと最適度スコアからなる指標を開発した。
シミュレーションと実ロボットによる4つの環境実験により,学習方針の改善が期待された。
論文 参考訳（メタデータ） (2021-03-10T07:39:38Z) - A Framework for Efficient Robotic Manipulation [79.10407063260473]
単一のロボットアームがピクセルからスパースリワード操作ポリシーを学習できることを示します。
デモは10回しかなく、単一のロボットアームがピクセルからスパースリワード操作のポリシーを学習できることを示しています。
論文 参考訳（メタデータ） (2020-12-14T22:18:39Z) - Learning Object Manipulation Skills via Approximate State Estimation
from Real Videos [47.958512470724926]
人間は、いくつかの指導ビデオを見て、新しいタスクを学ぶことに精通しています。
一方、新しいアクションを学習するロボットは、試行錯誤によって多くの労力を必要とするか、あるいは入手が困難な専門家によるデモを使う必要がある。
本稿では,ビデオから直接オブジェクト操作スキルを学習する手法について検討する。
論文 参考訳（メタデータ） (2020-11-13T08:53:47Z) - Visual Imitation Made Easy [102.36509665008732]
本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。
我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。
我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
論文 参考訳（メタデータ） (2020-08-11T17:58:50Z) - Active Preference-Based Gaussian Process Regression for Reward Learning [42.697198807877925]
一般的なアプローチの1つは、収集された専門家によるデモンストレーションから報酬関数を学ぶことである。
選好に基づく学習手法を提案し、その代替として、人間のフィードバックは軌跡間の比較の形でのみ存在する。
当社のアプローチは、嗜好に基づく学習フレームワークにおいて、柔軟性とデータ非効率の両問題に対処することを可能にする。
論文 参考訳（メタデータ） (2020-05-06T03:29:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。