論文の概要: Predicting the Timing of Camera Movements From the Kinematics of
Instruments in Robotic-Assisted Surgery Using Artificial Neural Networks
- arxiv url: http://arxiv.org/abs/2109.11192v1
- Date: Thu, 23 Sep 2021 07:57:27 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-24 15:09:11.899172
- Title: Predicting the Timing of Camera Movements From the Kinematics of
Instruments in Robotic-Assisted Surgery Using Artificial Neural Networks
- Title（参考訳）: 人工ニューラルネットワークを用いたロボット支援手術における機器の運動からカメラ動作のタイミング予測
- Authors: Hanna Kossowsky and Ilana Nisky
- Abstract要約: 本稿では,人工知能を用いてカメラの動きを予測するための予測手法を提案する。
ブタモデルを用いたロボット支援手術訓練中に記録した手術器具のキネマティクスデータを用いて検討した。
その結果,装置のキネマティックデータを用いて,カメラの動きがいつ起こるのかを予測し,セグメント長やアンサンブルサイズの違いによる性能評価を行った。
- 参考スコア（独自算出の注目度）: 1.0965065178451106
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robotic-assisted surgeries benefit both surgeons and patients, however,
surgeons frequently need to adjust the endoscopic camera to achieve good
viewpoints. Simultaneously controlling the camera and the surgical instruments
is impossible, and consequentially, these camera adjustments repeatedly
interrupt the surgery. Autonomous camera control could help overcome this
challenge, but most existing systems are reactive, e.g., by having the camera
follow the surgical instruments. We propose a predictive approach for
anticipating when camera movements will occur using artificial neural networks.
We used the kinematic data of the surgical instruments, which were recorded
during robotic-assisted surgical training on porcine models. We split the data
into segments, and labeled each either as a segment that immediately precedes a
camera movement, or one that does not. Due to the large class imbalance, we
trained an ensemble of networks, each on a balanced sub-set of the training
data. We found that the instruments' kinematic data can be used to predict when
camera movements will occur, and evaluated the performance on different segment
durations and ensemble sizes. We also studied how much in advance an upcoming
camera movement can be predicted, and found that predicting a camera movement
0.25, 0.5, and 1 second before they occurred achieved 98%, 94%, and 84%
accuracy relative to the prediction of an imminent camera movement. This
indicates that camera movement events can be predicted early enough to leave
time for computing and executing an autonomous camera movement and suggests
that an autonomous camera controller for RAMIS may one day be feasible.
- Abstract（参考訳）: ロボット支援手術は外科医と患者の両方に利益をもたらすが、外科医は良好な視点を得るために内視鏡カメラを調整する必要がある。
同時にカメラと手術器具を制御することは不可能であり、これらの調整は繰り返し手術を中断する。
自動カメラ制御は、この課題を克服するのに役立つが、既存のシステムのほとんどは、例えば、カメラを手術器具に従わせることによって、リアクティブである。
本稿では,ニューラルネットワークを用いたカメラ動作の予測手法を提案する。
ブタモデルを用いたロボット支援手術訓練中に記録した手術器具のキネマティクスデータを用いて検討した。
データをセグメントに分割し、各セグメントをカメラの動きに先行するセグメント、あるいはそうでないセグメントにラベル付けしました。
大きなクラス不均衡のため、トレーニングデータのバランスのとれたサブセットに基づいて、ネットワークのアンサンブルをトレーニングしました。
その結果,装置のキネマティックデータを用いて,カメラの動きがいつ起こるかを予測することができ,セグメント間隔やアンサンブルサイズの異なる性能を評価することができた。
また,カメラの動きを事前に予測できるかどうかについても検討し,カメラの動きを0.25,0.5,1秒前に予測すると,差し迫ったカメラの動きの予測と比較して98%,94%,84%の精度が得られた。
これは、カメラムーブメントイベントが計算と自律カメラムーブメントの実行に十分な時間を残せるほど早く予測できることを示し、RAMIS用の自律カメラコントローラがいつか実現可能であることを示唆している。
関連論文リスト
- Image Conductor: Precision Control for Interactive Video Synthesis [90.2353794019393]
映画製作とアニメーション制作は、しばしばカメラの遷移と物体の動きを調整するための洗練された技術を必要とする。
イメージコンダクタ(Image Conductor)は、カメラトランジションとオブジェクトの動きを正確に制御し、単一の画像からビデオアセットを生成する方法である。
論文 参考訳（メタデータ） (2024-06-21T17:55:05Z) - Track2Act: Predicting Point Tracks from Internet Videos enables Generalizable Robot Manipulation [65.46610405509338]
我々は、ゼロショットロボット操作を可能にする汎用的な目標条件ポリシーを学習することを目指している。
私たちのフレームワークであるTrack2Actは、ゴールに基づいて将来のタイムステップで画像内のポイントがどのように動くかを予測する。
学習したトラック予測を残留ポリシーと組み合わせることで,多種多様な汎用ロボット操作が可能となることを示す。
論文 参考訳（メタデータ） (2024-05-02T17:56:55Z) - Robot Learning with Sensorimotor Pre-training [98.7755895548928]
ロボット工学のための自己教師型感覚運動器事前学習手法を提案する。
我々のモデルはRTTと呼ばれ、センサモレータトークンのシーケンスで動作するトランスフォーマーである。
感覚運動の事前学習は、ゼロからトレーニングを一貫して上回り、優れたスケーリング特性を持ち、さまざまなタスク、環境、ロボット間での移動を可能にしている。
論文 参考訳（メタデータ） (2023-06-16T17:58:10Z) - Next-generation Surgical Navigation: Marker-less Multi-view 6DoF Pose
Estimation of Surgical Instruments [66.74633676595889]
静止カメラとヘッドマウントカメラを組み合わせたマルチカメラ・キャプチャー・セットアップを提案する。
第2に,手術用ウェットラボと実際の手術用劇場で撮影された元脊椎手術のマルチビューRGB-Dビデオデータセットを公表した。
第3に,手術器具の6DoFポーズ推定の課題に対して,最先端のシングルビューとマルチビューの3つの手法を評価した。
論文 参考訳（メタデータ） (2023-05-05T13:42:19Z) - Deep Selection: A Fully Supervised Camera Selection Network for Surgery
Recordings [9.242157746114113]
手術用ランプに複数のカメラを埋め込んだ記録システムを用いる。
組込みカメラは複数のビデオシーケンスを取得できるため,手術の最良の視点でカメラを選択する作業に対処する。
手術現場の面積の大きさに基づいてカメラを選択する従来の方法とは異なり、複数のビデオシーケンスからカメラ選択確率を予測するディープニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2023-03-28T13:00:08Z) - Lasers to Events: Automatic Extrinsic Calibration of Lidars and Event
Cameras [67.84498757689776]
本稿では,イベントカメラとライダーの直接校正法について述べる。
フレームベースのカメラインターミディエートおよび/または高精度の手測定への依存を除去する。
論文 参考訳（メタデータ） (2022-07-03T11:05:45Z) - Deep Homography Estimation in Dynamic Surgical Scenes for Laparoscopic
Camera Motion Extraction [6.56651216023737]
腹腔鏡下手術の映像から腹腔鏡ホルダーの動作を抽出する手法を提案する。
我々は、新たに取得したカメラモーションフリーda Vinci画像シーケンスのデータセットに、カメラモーションを合成的に付加する。
提案手法は,我々のカメラモーションフリーda Vinci手術データセットから腹腔鏡下手術の映像へ移行し,古典的ホモグラフィー推定手法の双方,精度41%,CPU上でのランタイムを43%上回る結果を得た。
論文 参考訳（メタデータ） (2021-09-30T13:05:37Z) - Future Frame Prediction for Robot-assisted Surgery [57.18185972461453]
本稿では,ロボット手術用ビデオシーケンスにおけるフレーム予測のためのtpg-vaeモデルを提案する。
コンテンツ配信に加えて、私たちのモデルは、手術ツールの小さな動きを処理するために斬新な運動分布を学習します。
論文 参考訳（メタデータ） (2021-03-18T15:12:06Z) - Mapping Surgeon's Hand/Finger Motion During Conventional Microsurgery to
Enhance Intuitive Surgical Robot Teleoperation [0.5635300481123077]
現在の人間とロボットのインターフェイスは直感的な遠隔操作がなく、外科医の手や指の動きを模倣することはできない。
本研究は, 心臓微小外科手術における外科医の総手の動きと微細なシナジー運動を直感的に記録し, マッピングする方法を示すパイロット研究である。
論文 参考訳（メタデータ） (2021-02-21T11:21:30Z) - Using Conditional Generative Adversarial Networks to Reduce the Effects
of Latency in Robotic Telesurgery [0.0]
手術では、どんなマイクロ遅延でも重傷を負い、場合によっては致命傷を負うことがある。
現在の外科用ロボットは、腕や道具の位置を測定するために校正されたセンサーを使用している。
本研究は、患者の組織に関するツール位置を測定するための、純粋に光学的なアプローチを提案する。
論文 参考訳（メタデータ） (2020-10-07T13:40:44Z) - Recurrent and Spiking Modeling of Sparse Surgical Kinematics [0.8458020117487898]
ますます多くの研究が、手術ロボットが捉えたビデオやキネマティックなデータを機械学習で分析している。
本研究では,同様のスキルレベルの外科医を予測するために,キネマティックデータのみを用いることの可能性を検討する。
本報告では, 運動特性のみに基づいて, シミュレーションエクササイズにおいて, ほぼ完全スコアの手術者を特定することが可能である。
論文 参考訳（メタデータ） (2020-05-12T15:41:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。