論文の概要: Robotic Surgery With Lean Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2105.01006v1
• Date: Mon, 3 May 2021 16:52:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-04 13:39:29.731082
• Title: Robotic Surgery With Lean Reinforcement Learning
• Title（参考訳）: リーン強化学習によるロボット手術
• Authors: Yotam Barnoy, Molly O'Brien, Will Wang, Gregory Hager
• Abstract要約: da vinciスキルシミュレータへの強化学習サポートの追加について述べる。 画像または状態データを使用して、シミュレータ環境でサブタスクを実行するようRLベースのエージェントに教えます。 ハイブリッドバッチ学習(HBL)と呼ばれるシンプルな実装システムを用いてRLのサンプル非効率性に取り組む。
• 参考スコア（独自算出の注目度）: 0.8258451067861933
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: As surgical robots become more common, automating away some of the burden of complex direct human operation becomes ever more feasible. Model-free reinforcement learning (RL) is a promising direction toward generalizable automated surgical performance, but progress has been slowed by the lack of efficient and realistic learning environments. In this paper, we describe adding reinforcement learning support to the da Vinci Skill Simulator, a training simulation used around the world to allow surgeons to learn and rehearse technical skills. We successfully teach an RL-based agent to perform sub-tasks in the simulator environment, using either image or state data. As far as we know, this is the first time an RL-based agent is taught from visual data in a surgical robotics environment. Additionally, we tackle the sample inefficiency of RL using a simple-to-implement system which we term hybrid-batch learning (HBL), effectively adding a second, long-term replay buffer to the Q-learning process. Additionally, this allows us to bootstrap learning from images from the data collected using the easier task of learning from state. We show that HBL decreases our learning times significantly.
• Abstract（参考訳）: 手術ロボットが一般化するにつれて、複雑な人間の操作の負担を省くことがますます実現可能になる。 モデルフリー強化学習 (RL) は, 汎用的な自動手術成績に向けた有望な方向であるが, 効率的で現実的な学習環境の欠如により進歩が鈍化している。 本稿では,外科医が技術スキルを習得し,リハーサルできるように,世界中のトレーニングシミュレーションであるda Vinci Skill Simulatorに強化学習支援を追加することを述べる。 我々は、画像データと状態データの両方を用いて、シミュレータ環境でサブタスクを実行するためにRLベースのエージェントをうまく教える。 私たちが知る限り、手術ロボティクス環境でrlベースのエージェントが視覚データから教えられるのはこれが初めてです。 さらに,ハイブリッドバッチ学習(HBL)と呼ばれる簡単な実装システムを用いて,RLのサンプル非効率に取り組み,Q-ラーニングプロセスに2番目の長期再生バッファを効果的に追加する。 さらに、状態から簡単に学習できるタスクを使用して収集したデータから学習をブートストラップすることができる。 HBLは学習時間を著しく短縮することを示す。

関連論文リスト

• REBOOT: Reuse Data for Bootstrapping Efficient Real-World Dexterous Manipulation [61.7171775202833]
  本稿では,強化学習による巧妙な操作スキルの学習を効率化するシステムを提案する。 我々のアプローチの主な考え方は、サンプル効率のRLとリプレイバッファブートストラップの最近の進歩の統合である。 本システムでは,実世界の学習サイクルを,模倣に基づくピックアップポリシを通じて学習されたリセットを組み込むことで完遂する。
  論文  参考訳（メタデータ） (2023-09-06T19:05:31Z)
• Real World Offline Reinforcement Learning with Realistic Data Source [33.7474988142367]
  オフライン強化学習(ORL)は、任意の事前生成経験から学習する能力があるため、ロボット学習に非常に有望である。 現在のORLベンチマークは、ほぼ完全にシミュレーションされており、オンラインRLエージェントのリプレイバッファや、サブ最適トラジェクトリのような、探索されたデータセットを使用している。 本研究(Real-ORL)では、密接に関連するタスクの安全な操作から収集されたデータは、現実のロボット学習のためのより実用的なデータソースであると仮定する。
  論文  参考訳（メタデータ） (2022-10-12T17:57:05Z)
• Don't Start From Scratch: Leveraging Prior Data to Automate Robotic Reinforcement Learning [70.70104870417784]
  強化学習(RL)アルゴリズムは、ロボットシステムの自律的なスキル獲得を可能にするという約束を持っている。 現実のロボットRLは、通常、環境をリセットするためにデータ収集と頻繁な人間の介入を必要とする。 本研究では,従来のタスクから収集した多様なオフラインデータセットを効果的に活用することで,これらの課題にどのように対処できるかを検討する。
  論文  参考訳（メタデータ） (2022-07-11T08:31:22Z)
• Accelerating Robotic Reinforcement Learning via Parameterized Action Primitives [92.0321404272942]
  強化学習は汎用ロボットシステムの構築に使用することができる。 しかし、ロボット工学の課題を解決するためにRLエージェントを訓練することは依然として困難である。 本研究では,ロボット行動プリミティブ(RAPS)のライブラリを手動で指定し,RLポリシーで学習した引数をパラメータ化する。 動作インターフェースへの簡単な変更は、学習効率とタスクパフォーマンスの両方を大幅に改善する。
  論文  参考訳（メタデータ） (2021-10-28T17:59:30Z)
• SurRoL: An Open-source Reinforcement Learning Centered and dVRK Compatible Platform for Surgical Robot Learning [78.76052604441519]
  SurRoLは、ダ・ヴィンチ・リサーチキット(dVRK)と互換性のある外科ロボット学習のためのRL中心のシミュレーションプラットフォームである。 プラットフォームには10の学習ベースの外科的タスクが構築されており、実際の自律的な外科的実行に共通している。 シミュレーションにおいてRLアルゴリズムを用いてSurRoLの評価を行い、奥行き分析を行い、実際のdVRKにトレーニングされたポリシーをデプロイし、実世界でより優れた転送性を実現することを示す。
  論文  参考訳（メタデータ） (2021-08-30T07:43:47Z)
• A Framework for Efficient Robotic Manipulation [79.10407063260473]
  単一のロボットアームがピクセルからスパースリワード操作ポリシーを学習できることを示します。 デモは10回しかなく、単一のロボットアームがピクセルからスパースリワード操作のポリシーを学習できることを示しています。
  論文  参考訳（メタデータ） (2020-12-14T22:18:39Z)
• Meta-Reinforcement Learning for Robotic Industrial Insertion Tasks [70.56451186797436]
  本研究では,メタ強化学習を用いてシミュレーションの課題の大部分を解決する方法について検討する。 エージェントを訓練して現実の挿入タスクを成功させる手法を実証する。
  論文  参考訳（メタデータ） (2020-04-29T18:00:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。