論文の概要: SimRetract: Zero-Shot Sim-to-Real Robotic Assistance for Retractor Take-Over in Open Surgery
- arxiv url: http://arxiv.org/abs/2610.38234v2
- Date: Fri, 30 Oct 2026 04:34:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.389395
- Title: SimRetract: Zero-Shot Sim-to-Real Robotic Assistance for Retractor Take-Over in Open Surgery
- Title（参考訳）: SimRetract: 開腹手術におけるリトラクタ用Zero-Shot Sim-to-Real Robotic Assistance
- Abstract要約: 開腹手術における手術ロボット協調作業のためのゼロショット・シム・トゥ・リアルトランスファーの最初の例を示す:レトラクタ・テイクオーバー。
ロボットアームは外科医の手からリトラクタを取り、ハンドオフ時にリトラクタを保持する。
- 参考スコア（独自算出の注目度）: 9.837709675926446
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We demonstrate the first zero-shot sim-to-real transfer for a surgeon-robot collaboration task in open surgery: retractor take-over. A robot arm takes a retractor from the surgeon's hand and preserves retraction at handoff, using a policy trained only on simulated demonstrations, without human demonstrations or real-world fine-tuning. Imitation learning from real demonstrations is limited by collection and labeling costs, and by performance degradation when the environment changes. Our framework, SimRetract, generates simulated demonstrations designed for transfer: the policy observes masked instrument images and grasp geometry, learns to recover from off-nominal states, and acts with margin for execution drift. Deployed zero-shot, it grasps the retractor in 90% of 50 surgeon-defined phantom presentations and preserves retraction at handoff in 78%. Results on unseen retractors suggest potential for generalization to instruments with similar grasp geometry. Across ten policy configurations and 1,200 simulated and real trials, we localize the sim-to-real gap to components: in simulation, grasp rates across ablations span 80-96%, while on the real robot removing the instrument mask alone drops performance to 22% grasped and 12% held. Transfer-oriented design thus makes zero-shot sim-to-real transfer feasible for a surgical assistance task without human demonstrations. Code is available here: https://anonymous.4open.science/r/simretract-58D2.
- Abstract（参考訳）: 開腹手術における手術ロボット協調作業のためのゼロショット・シム・トゥ・リアルトランスファーの最初の例を示す:レトラクタ・テイクオーバー。
ロボットアームは、外科医の手からリトラクタを取り、ハンドオフ時にリトラクションを保持する。
実演からの模倣学習は、収集とラベル付けのコスト、環境の変化による性能劣化によって制限される。
我々のフレームワークであるSimRetractは、転送用に設計された模擬的なデモを生成する。このポリシーは、マスクされた楽器の画像を観察し、幾何学を把握し、オフ・ノミナル状態から回復することを学び、実行ドリフトのマージンで行動する。
ゼロショットを配置すると、50の外科医が定義した幻のプレゼンテーションの90%でリトラクタを把握し、78%でリトラクタをハンドオフで保持する。
目に見えないリトラクタの結果は、同様のグリップ幾何学を持つ機器への一般化の可能性を示している。
10のポリシー構成と1200のシミュレートと実際の試行において、シミュレート・トゥ・リアルのギャップをコンポーネントにローカライズする:シミュレーションでは、アブリケーション全体の把握率は80～96%、楽器マスクを除去する実際のロボットでは、パフォーマンスは22%に低下し、12%が保持される。
移動指向設計により、人体でのデモンストレーションを伴わない外科的補助作業において、ゼロショットのsim-to-real転送が可能となる。
コードは、https://anonymous.4open.science/r/simretract-58D2.comで入手できる。
関連論文リスト
- Real2Gym: Building Gyms from Videos, Bringing Skills to Robots [19.362310545356344]
我々はReal2Gymを紹介した。Real2Sim2Realフレームワークは人間とロボットのデモをインタラクティブなシミュレーションジムに変える。
Real2Simモジュールは編集可能なシーンを再構築し、オブジェクトとカメラを入力に合わせる。
これらの環境では、エージェントは操作段階の実行可能なコードを生成し、結果を観察し、成功した試行と失敗を再利用可能なタスク手順に蒸留する。
論文 参考訳（メタデータ） (2026-09-29T09:16:49Z) - Robot Manipulation with GPT-6-Astra: Body Knowledge, Experience Reuse, Emergent Skills, and Sim2Real Transfer [69.90442891409597]
GPT-6-Astra で制御された XLeRobot の体外知識, 経験, 実行能力の向上について検討した。
GPT-6-Astra周辺で汎用的な操作実験を構築するための実践的な方法が示唆された。
論文 参考訳（メタデータ） (2026-09-24T13:58:17Z) - Pre-training Visual Dexterity in Simulation [67.17477115017896]
シミュレーションで完全に収集されたデータを利用するデクスタラスな操作のための事前学習フレームワークを導入する。
5人のオペレーターの助けを借りて、1週間にわたって75時間のマルチタスク・デキスタラスな操作を収集し、配列モデリングの目的に基づいて因果変換器を事前訓練する。
提案手法は,シミュレーション遠隔操作が実世界における創発的操作のトレーニング前情報源として有効なことを示し,学習行動のクローン化方針をゼロから上回る結果を得た。
論文 参考訳（メタデータ） (2026-08-16T20:21:33Z) - Efficient Sim-to-Real Transfer of World-Action Models from Synthetic Priors [15.482859998546985]
本研究では, 実世界において, 合成先行から世界行動モデルを訓練し, ゼロショットを展開できるかどうかを考察する。
我々は、広範囲なドメインランダム化を伴うシミュレーション環境を構築し、AnyTaskモーションプランニングパイプラインを使用してデモを生成する。
Franka Robotにゼロショットをデプロイすると、われわれのポリシーは平均的な成功率35%に達する。
論文 参考訳（メタデータ） (2026-06-30T03:49:31Z) - DataLadder: A Simulation-Enabled Interconversion Toolchain for the Embodied Data Pyramid [63.45560198934907]
ジェネラリストロボットポリシーは、信頼できる評価とロボット使用可能なトレーニングデータを必要とする。
本稿では,人間ロボットによるモデル評価とデータ生成のためのシミュレーション可能な変換ツールチェーンであるDataLadderを提案する。
JD Cloud上のクラウドサービスとして、コア再構築、シミュレーション、レンダリング、リアリズム拡張モジュールをパッケージ化します。
論文 参考訳（メタデータ） (2026-06-15T14:21:35Z) - Point Cloud Segmentation for Autonomous Clip Positioning in Laparoscopic Cholecystectomy on a Phantom [18.991664638461227]
腹腔鏡下手術において,身体ファントムに自律的なクリップ位置決めを行うロボットシステムについて紹介する。
128,000個の合成点雲の事前学習と2つの新しいデータ拡張技術を組み合わせることでこれを克服する。
実際のロボット実験において,本システムは95%の成功率で0.75mmの精度で目標をローカライズし,100%の成功率で自律的なクリップ位置決めを行う。
論文 参考訳（メタデータ） (2026-06-10T13:12:45Z) - OASIS: From Simulation Data Collection to Real-World Humanoid Loco-Manipulation [51.37436817948304]
OASISはヒューマノイドのロコ操作のためのシミュレーションデータ駆動のフレームワークである。
3次元生成モデルを用いて実世界の画像から現実的なオブジェクト資産を再構築する。
ゼロショットデプロイメントでは、実際のロボット遠隔操作データでトレーニングされたタスクよりも、ほとんどのタスクで高い成功率を達成する。
論文 参考訳（メタデータ） (2026-06-07T10:01:53Z) - DemoStart: Demonstration-led auto-curriculum applied to sim-to-real with multi-fingered robots [15.034811470942962]
3本指ロボットハンドを装備した腕の複雑な操作動作を学習できる新しい自己カリキュラム強化学習法であるDemoStartを提案する。
シミュレーションからの学習は、行動生成のサイクルを劇的に減らし、ドメインランダム化技術を利用して、ゼロショット・シム・トゥ・リアル転送を成功させる。
論文 参考訳（メタデータ） (2024-09-10T16:05:25Z) - DeXtreme: Transfer of Agile In-hand Manipulation from Simulation to
Reality [64.51295032956118]
我々は人型ロボットの手で頑健な操作を行える政策を訓練する。
本研究は,各種ハードウェアおよびシミュレータのデクスタラス操作におけるsim-to-real転送の可能性を再確認する。
論文 参考訳（メタデータ） (2022-10-25T01:51:36Z) - Point Cloud Based Reinforcement Learning for Sim-to-Real and Partial
Observability in Visual Navigation [62.22058066456076]
強化学習(Reinforcement Learning, RL)は、複雑なロボットタスクを解決する強力なツールである。
RL は sim-to-real transfer problem として知られる現実世界では直接作用しない。
本稿では,点雲と環境ランダム化によって構築された観測空間を学習する手法を提案する。
論文 参考訳（メタデータ） (2020-07-27T17:46:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。