論文の概要: Toward Force Estimation in Robot-Assisted Surgery using Deep Learning
with Vision and Robot State
- arxiv url: http://arxiv.org/abs/2011.02112v4
- Date: Wed, 6 Jul 2022 20:27:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2022-09-29 23:08:12.660352
- Title: Toward Force Estimation in Robot-Assisted Surgery using Deep Learning
with Vision and Robot State
- Title（参考訳）: 深層学習とロボット状態を用いたロボット支援手術における力推定に向けて
- Authors: Zonghe Chua, Anthony M. Jarc, Allison M. Okamura
- Abstract要約: 畳み込みニューラルネットワークを用いた視覚ベースのディープラーニングは、有用な力推定を提供するための有望なアプローチである。
本稿では,RGB画像とロボット状態を入力として使用する力推定ニューラルネットワークを提案する。
精度は同等だが、ベースラインのリカレントニューラルネットワークよりも高速な計算時間を示しており、リアルタイムアプリケーションに適している。
- 参考スコア（独自算出の注目度）: 25.121899443298567
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge of interaction forces during teleoperated robot-assisted surgery
could be used to enable force feedback to human operators and evaluate tissue
handling skill. However, direct force sensing at the end-effector is
challenging because it requires biocompatible, sterilizable, and cost-effective
sensors. Vision-based deep learning using convolutional neural networks is a
promising approach for providing useful force estimates, though questions
remain about generalization to new scenarios and real-time inference. We
present a force estimation neural network that uses RGB images and robot state
as inputs. Using a self-collected dataset, we compared the network to variants
that included only a single input type, and evaluated how they generalized to
new viewpoints, workspace positions, materials, and tools. We found that
vision-based networks were sensitive to shifts in viewpoints, while state-only
networks were robust to changes in workspace. The network with both state and
vision inputs had the highest accuracy for an unseen tool, and was moderately
robust to changes in viewpoints. Through feature removal studies, we found that
using only position features produced better accuracy than using only force
features as input. The network with both state and vision inputs outperformed a
physics-based baseline model in accuracy. It showed comparable accuracy but
faster computation times than a baseline recurrent neural network, making it
better suited for real-time applications.
- Abstract（参考訳）: 遠隔操作型ロボット支援手術における相互作用力の知識は、人間の操作者への力フィードバックを可能にし、組織ハンドリングスキルを評価するために使用できる。
しかし、生体適合性、殺菌性、コスト効率のよいセンサーを必要とするため、エンドエフェクターでの直接力センシングは困難である。
畳み込みニューラルネットワークを用いた視覚ベースのディープラーニングは、新しいシナリオへの一般化とリアルタイム推論に関して疑問が残るが、有用な力推定を提供するための有望なアプローチである。
本稿では,RGB画像とロボット状態を入力として使用する力推定ニューラルネットワークを提案する。
自己収集したデータセットを用いて、ネットワークを単一の入力タイプのみを含む変種と比較し、新たな視点、ワークスペースの位置、材料、ツールへの一般化方法を評価した。
視覚ベースのネットワークは視点の変化に敏感であり、一方、状態のみのネットワークは作業空間の変化に頑健であった。
状態と視覚の両方の入力を持つネットワークは、見えないツールにとって最も精度が高く、視点の変化に対して適度に堅牢であった。
特徴除去実験により, 位置特徴のみを用いることで, 力特徴のみを入力として使用するよりも精度が高いことがわかった。
状態入力と視覚入力の両方のネットワークは、物理ベースのベースラインモデルよりも精度が高い。
これは、ベースラインリカレントニューラルネットワークよりも精度は高いが計算時間が速いため、リアルタイムアプリケーションに適している。
関連論文リスト
- Verified Neural Compressed Sensing [58.98637799432153]
精度の高い計算タスクのために、初めて(私たちの知識を最大限に活用するために)証明可能なニューラルネットワークを開発します。
極小問題次元(最大50)では、線形および双項線形測定からスパースベクトルを確実に回復するニューラルネットワークを訓練できることを示す。
ネットワークの複雑さは問題の難易度に適応できることを示し、従来の圧縮センシング手法が証明不可能な問題を解く。
論文 参考訳（メタデータ） (2024-05-07T12:20:12Z) - Efficient Gesture Recognition on Spiking Convolutional Networks Through
Sensor Fusion of Event-Based and Depth Data [1.474723404975345]
本研究は,ジェスチャー認識のためのイベントおよび深度データを処理するスパイキング畳み込みニューラルネットワークを提案する。
このネットワークは、オープンソースのニューロモルフィックコンピューティングフレームワークLAVAを用いて、組込みシステム上でのオフライントレーニングと評価をシミュレートする。
論文 参考訳（メタデータ） (2024-01-30T14:42:35Z) - LPAC: Learnable Perception-Action-Communication Loops with Applications
to Coverage Control [80.86089324742024]
本稿では,その問題に対する学習可能なパーセプション・アクション・コミュニケーション(LPAC)アーキテクチャを提案する。
CNNは局所認識を処理する。グラフニューラルネットワーク(GNN)はロボットのコミュニケーションを促進する。
評価の結果,LPACモデルは標準分散型および集中型カバレッジ制御アルゴリズムよりも優れていた。
論文 参考訳（メタデータ） (2024-01-10T00:08:00Z) - Neural feels with neural fields: Visuo-tactile perception for in-hand
manipulation [57.60490773016364]
マルチフィンガーハンドの視覚と触覚を組み合わせることで,手動操作時の物体の姿勢と形状を推定する。
提案手法であるNeuralFeelsは,ニューラルネットワークをオンラインで学習することでオブジェクトの形状を符号化し,ポーズグラフ問題を最適化して共同で追跡する。
私たちの結果は、タッチが少なくとも、洗練され、そして最も最良のものは、手動操作中に視覚的推定を曖昧にすることを示しています。
論文 参考訳（メタデータ） (2023-12-20T22:36:37Z) - What Makes Pre-Trained Visual Representations Successful for Robust
Manipulation? [57.92924256181857]
照明やシーンテクスチャの微妙な変化の下では,操作や制御作業のために設計された視覚表現が必ずしも一般化されないことがわかった。
創発的セグメンテーション能力は,ViTモデルにおける分布外一般化の強い予測因子であることがわかった。
論文 参考訳（メタデータ） (2023-11-03T18:09:08Z) - Backdoor Attack Detection in Computer Vision by Applying Matrix
Factorization on the Weights of Deep Networks [6.44397009982949]
本稿では,事前訓練したDNNの重みから特徴を抽出するバックドア検出手法を提案する。
他の検出技術と比較して、これはトレーニングデータを必要としないなど、多くのメリットがある。
提案手法は, 競合するアルゴリズムよりも効率性が高く, より正確であり, 深層学習とAIの安全な適用を確実にするのに役立つ。
論文 参考訳（メタデータ） (2022-12-15T20:20:18Z) - SpikiLi: A Spiking Simulation of LiDAR based Real-time Object Detection
for Autonomous Driving [0.0]
Spiking Neural Networksは、電力効率、計算効率、処理遅延を大幅に改善する新しいニューラルネットワーク設計アプローチである。
まず,複雑なディープラーニングタスク,すなわちLidarベースの3Dオブジェクト検出による自動運転への適用性について説明する。
論文 参考訳（メタデータ） (2022-06-06T20:05:17Z) - Are Convolutional Neural Networks or Transformers more like human
vision? [9.83454308668432]
視覚タスクにおけるCNNよりも注意に基づくネットワークの方が精度が高いことを示す。
これらの結果は、人間の視覚モデルの構築だけでなく、人間の視覚的物体認識の理解にも影響を及ぼす。
論文 参考訳（メタデータ） (2021-05-15T10:33:35Z) - Where is my hand? Deep hand segmentation for visual self-recognition in
humanoid robots [129.46920552019247]
本稿では、画像からロボットの手を切り離すための畳み込みニューラルネットワーク(CNN)を提案する。
ヒューマノイドロボットVizzyの手のセグメンテーションのために,Mask-RCNNネットワークを微調整した。
論文 参考訳（メタデータ） (2021-02-09T10:34:32Z) - Firearm Detection and Segmentation Using an Ensemble of Semantic Neural
Networks [62.997667081978825]
本稿では,意味的畳み込みニューラルネットワークのアンサンブルに基づく兵器検出システムを提案する。
特定のタスクに特化した単純なニューラルネットワークのセットは、計算リソースを少なくし、並列にトレーニングすることができる。
個々のネットワークの出力の集約によって与えられるシステムの全体的な出力は、ユーザが偽陽性と偽陰性とをトレードオフするように調整することができる。
論文 参考訳（メタデータ） (2020-02-11T13:58:16Z) - A Markerless Deep Learning-based 6 Degrees of Freedom PoseEstimation for
with Mobile Robots using RGB Data [3.4806267677524896]
本稿では,拡張現実デバイス上でリアルタイムな3Dオブジェクトローカライゼーションを実現するために,アートニューラルネットワークの状態をデプロイする手法を提案する。
本研究では,2次元入力のみを用いて物体の3次元ポーズを高速かつ正確に抽出する高速な2次元検出手法に着目する。
2D画像の6Dアノテーションとして,私たちの知る限り,最初のオープンソースツールであるアノテーションツールを開発した。
論文 参考訳（メタデータ） (2020-01-16T09:13:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。