論文の概要: SurgFlow: 3D Object-Centric Contact Flow for Surgical Robot Manipulation
- arxiv url: http://arxiv.org/abs/2609.33237v1
- Date: Sun, 27 Sep 2026 05:25:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 02:00:40.101579
- Title: SurgFlow: 3D Object-Centric Contact Flow for Surgical Robot Manipulation
- Title（参考訳）: 手術ロボットマニピュレーションのための3次元物体中心接触流SurgFlow
- Abstract要約: 本稿では,アクションラベルのない立体的手術ビデオから3次元物体中心接触流を学習するフレームワークであるSurgFlowを紹介する。
各対象点について、将来の3次元軌跡と接触点を予測する。
da Vinci Research Kit (dVRK) において、SurgFlowは39ステージのうち37ステージの評価に成功し、組織除去、バイマン露呈、針の取り出し、ハンドオーバなどを行った。
- 参考スコア（独自算出の注目度）: 2.6014661064775226
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Paired video-action demonstrations enable autonomous surgical behavior, but such data is scarce: robots perform roughly 1% of surgeries, while video-only data is abundant. Learning 3D object flow offers an embodiment-agnostic way to utilize video data, but flow alone specifies how an object should move, not where and when the tool should engage it, a distinction that is critical in surgery. We introduce SurgFlow, a framework that learns 3D Object-Centric Contact Flow from stereo surgical video without action labels. For each object point, it predicts a future 3D trajectory and contact scores. We extract targets via 3D tracking and tool-object proximity, train a flow matching generator to predict them, and use predicted contact to trigger grasp and release while optimizing end effector motion from flow. On the da Vinci Research Kit (dVRK), SurgFlow succeeds in 37 of 39 stage evaluations across tissue retraction, bimanual reveal, needle pickup, and handover, outperforming baselines trained on equal data with or without action labels. Zero-shot transfer to a humanoid-based laparoscopic robot achieves 85% and 70% average success under similar and novel camera viewpoints, respectively.
- Abstract（参考訳）: ペアリングされたビデオアクションのデモは、自律的な外科的動作を可能にするが、そのようなデータは、ロボットが約1%の手術を行うのに対して、ビデオのみのデータは豊富である。
3Dオブジェクトフローの学習は、ビデオデータを活用するための具体的非依存の手段を提供するが、フローだけでは、どの場所やいつツールがそれに参加するべきかではなく、どのように動くべきかを特定する。
本稿では,アクションラベルのない立体的手術ビデオから3次元物体中心接触流を学習するフレームワークであるSurgFlowを紹介する。
各対象点について、将来の3次元軌跡と接触点を予測する。
我々は3Dトラッキングとツールオブジェクト近接によりターゲットを抽出し、フローマッチングジェネレータをトレーニングしてそれらを予測し、予測された接触を用いて、フローからエンドエフェクタ運動を最適化しながら、把握と解放をトリガーする。
da Vinci Research Kit (dVRK)では、SurgFlowは組織抽出、バイマン露光、針の取り出し、ハンドオーバーの39段階評価のうち37段階で成功し、アクションラベルと同等以上のデータでトレーニングされたベースラインを上回っている。
ヒューマノイドをベースとした腹腔鏡ロボットへのゼロショット転送は、カメラの視点でそれぞれ85%と70%の平均的な成功を達成している。
関連論文リスト
- Contrastive Action-Image Pre-training for Visuomotor Control [91.5630572541332]
エンドエフェクタアクションのプロキシとして,大規模なエゴセントリックビデオからの人間の手ポーズを取り扱う視覚エンコーダであるCAIPを紹介する。
人間のビデオは32,041時間、ロボット操作のデータは88時間しかなく、CAIPは最先端の視覚エンコーダより優れています。
論文 参考訳（メタデータ） (2026-06-15T20:00:20Z) - GRAIL: Generating Humanoid Loco-Manipulation from 3D Assets and Video Priors [113.71148915419246]
GRAILは3Dアセット、シミュレーター対応シーン、およびビデオファンデーションモデル(VFM)の先行データで構成され、物理的環境を再構築したりロボットを遠隔操作したりすることなく対話を合成するデジタル生成パイプラインである。
GRAILは、オブジェクト形状、カメラパラメータ、メートル法スケール、環境深度、ロボットが提案する文字がビデオ生成の前に知られ、再構成中に再利用される、完全に定義された3D構成から始まる。
我々は、回復した動作をヒューマノイドロボットに再ターゲティングし、補完的なタスク・ジェネラル・モルフォロジー・トラッカーを訓練する。
GRAILは、ピックアップ、オブジェクト操作、着座にまたがる2万以上のシーケンスを生成する
論文 参考訳（メタデータ） (2026-06-03T17:57:45Z) - A Synthetic Eye Movement Dataset for Script Reading Detection: Real Trajectory Replay on a 3D Simulator [12.307366979757065]
本稿では,参照ビデオから実際の人間の虹彩軌跡を抽出し,合成ラベル付き眼球運動ビデオを生成するパイプラインを提案する。
144セッション(72読取,72会話)を25fpsで12時間合成眼球運動ビデオとしてリリースした。
一致したフレーム・バイ・フレーム比較により、3Dシミュレータは読み出しスケールの動作に対して有界感度を示すことが明らかとなった。
論文 参考訳（メタデータ） (2026-04-07T06:15:48Z) - PAWS: Perception of Articulation in the Wild at Scale from Egocentric Videos [90.4816165292854]
既存の学習ベースの手法は、高品質な3Dデータと手動アノテーションによる教師付きトレーニングに大きく依存している。
そこで本研究では,手動物体間相互作用からオブジェクトの調音を直接抽出する手法であるPAWSを提案する。
提案手法は,HD-EPICやArti4Dを含む公開データセット上で評価し,ベースラインよりも大幅に改善された。
論文 参考訳（メタデータ） (2026-03-26T15:16:51Z) - Dream2Flow: Bridging Video Generation and Open-World Manipulation with 3D Object Flow [21.658558775915267]
本研究では3次元オブジェクトフローを中間表現として,映像生成とロボット制御をブリッジするフレームワークDream2Flowを紹介する。
本手法は,生成した映像から3次元物体の動きを再構成し,物体軌跡追跡として定式化する。
Dream2Flowは、エボディメントギャップを克服し、事前訓練されたビデオモデルからのゼロショットガイダンスにより、さまざまなカテゴリのオブジェクトを操作することができる。
論文 参考訳（メタデータ） (2025-12-31T10:25:24Z) - NovaFlow: Zero-Shot Manipulation via Actionable Flow from Generated Videos [13.84832813181084]
NovaFlowは、タスク記述をターゲットロボットの実行可能な計画に変換する、自律的な操作フレームワークである。
我々は,テーブルトップのフランカアームとスポット四足歩行ロボットを用いて,剛性,調音性,変形可能な物体操作タスクを検証した。
論文 参考訳（メタデータ） (2025-10-09T17:59:55Z) - 3DFlowAction: Learning Cross-Embodiment Manipulation from 3D Flow World Model [40.730112146035076]
主な理由は、ロボットの操作スキルを教えるための、大きく均一なデータセットがないことだ。
現在のロボットデータセットは、単純なシーン内で異なるアクション空間でロボットのアクションを記録することが多い。
我々は人間とロボットの操作データから3次元フローワールドモデルを学ぶ。
論文 参考訳（メタデータ） (2025-06-06T16:00:31Z) - Object-centric 3D Motion Field for Robot Learning from Human Videos [56.9436352861611]
本稿では,人間ビデオからのロボット学習の動作を表現するために,物体中心の3次元運動場を提案する。
ゼロショット制御のためのビデオからこの表現を抽出するための新しいフレームワークを提案する。
実験の結果,提案手法は最新の手法に比べて3次元動作推定誤差を50%以上削減できることがわかった。
論文 参考訳（メタデータ） (2025-06-04T17:59:06Z) - VidBot: Learning Generalizable 3D Actions from In-the-Wild 2D Human Videos for Zero-Shot Robotic Manipulation [53.63540587160549]
VidBotは、WildのモノクルなRGBのみの人間ビデオから学習した3Dアベイランスを使って、ゼロショットロボット操作を可能にするフレームワークである。
VidBotは、人間の日常的なビデオを利用してロボットの学習をよりスケーラブルにする。
論文 参考訳（メタデータ） (2025-03-10T10:04:58Z) - Robot See Robot Do: Imitating Articulated Object Manipulation with Monocular 4D Reconstruction [51.49400490437258]
本研究は,1つの単分子RGB人間の実演から音声による物体操作を模倣する手法を開発した。
まず,モノクロ映像から3次元部分運動を復元する4次元微分可能部品モデル(4D-DPM)を提案する。
この4D再構成を前提として、ロボットは物体の軌道を再現し、両腕の動きを計画し、実証された物体部分の動きを誘導する。
両用するYuMiロボットを用いて,4D-DPMの3D追跡精度を実写3D部分軌跡に基づいて評価し,9つのオブジェクトに対してRSRDの物理的実行性能を評価した。
論文 参考訳（メタデータ） (2024-09-26T17:57:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。