論文の概要: Automatic Gesture Recognition in Robot-assisted Surgery with Reinforcement Learning and Tree Search

• arxiv url: http://arxiv.org/abs/2002.08718v1
• Date: Thu, 20 Feb 2020 13:12:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-30 07:18:07.299350
• Title: Automatic Gesture Recognition in Robot-assisted Surgery with Reinforcement Learning and Tree Search
• Title（参考訳）: 強化学習と木探索を用いたロボット支援手術における自動ジェスチャー認識
• Authors: Xiaojie Gao, Yueming Jin, Qi Dou, and Pheng-Ann Heng
• Abstract要約: 共同手術におけるジェスチャー分割と分類のための強化学習と木探索に基づく枠組みを提案する。 我々のフレームワークは,JIGSAWSデータセットのサチューリングタスクにおいて,精度,編集スコア,F1スコアの点で,既存の手法よりも一貫して優れています。
• 参考スコア（独自算出の注目度）: 63.07088785532908
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic surgical gesture recognition is fundamental for improving intelligence in robot-assisted surgery, such as conducting complicated tasks of surgery surveillance and skill evaluation. However, current methods treat each frame individually and produce the outcomes without effective consideration on future information. In this paper, we propose a framework based on reinforcement learning and tree search for joint surgical gesture segmentation and classification. An agent is trained to segment and classify the surgical video in a human-like manner whose direct decisions are re-considered by tree search appropriately. Our proposed tree search algorithm unites the outputs from two designed neural networks, i.e., policy and value network. With the integration of complementary information from distinct models, our framework is able to achieve the better performance than baseline methods using either of the neural networks. For an overall evaluation, our developed approach consistently outperforms the existing methods on the suturing task of JIGSAWS dataset in terms of accuracy, edit score and F1 score. Our study highlights the utilization of tree search to refine actions in reinforcement learning framework for surgical robotic applications.
• Abstract（参考訳）: 自動ジェスチャー認識は、手術監視や技能評価の複雑なタスクを行うなど、ロボット支援手術における知性向上に不可欠である。 しかし、現在の手法では、各フレームを個別に扱い、将来の情報を効果的に考慮せずに結果を生成する。 本稿では,強化学習と木探索に基づく,関節外科的ジェスチャーセグメンテーションと分類のための枠組みを提案する。 エージェントは、ツリーサーチによって直接決定が適切に再考される人のような方法で、手術ビデオの分類と分類を訓練される。 提案する木探索アルゴリズムは,2つのニューラルネットワーク,すなわちポリシとバリューネットワークの出力を結合する。 異なるモデルから補完的な情報を統合することにより、ニューラルネットワークのどちらかを使用したベースライン手法よりも優れたパフォーマンスを実現することができる。 総合評価では,JIGSAWSデータセットの縫合タスクにおいて,精度,編集スコア,F1スコアの点で,既存の手法を一貫して上回っている。 本研究は,手術ロボット用強化学習フレームワークの動作改善のための木探索の活用を強調する。

関連論文リスト

• SAR-RARP50: Segmentation of surgical instrumentation and Action Recognition on Robot-Assisted Radical Prostatectomy Challenge [72.97934765570069]
  外科的動作認識と意味計測のセグメンテーションのための,最初のマルチモーダルなインビボデータセットを公開し,ロボット補助根治術(RARP)の50の縫合ビデオセグメントを収録した。 この課題の目的は、提供されたデータセットのスケールを活用し、外科領域における堅牢で高精度なシングルタスクアクション認識とツールセグメンテーションアプローチを開発することである。 合計12チームがこのチャレンジに参加し、7つのアクション認識方法、9つの計器のセグメンテーション手法、そしてアクション認識と計器のセグメンテーションを統合した4つのマルチタスクアプローチをコントリビュートした。
  論文  参考訳（メタデータ） (2023-12-31T13:32:18Z)
• Hierarchical Semi-Supervised Learning Framework for Surgical Gesture Segmentation and Recognition Based on Multi-Modality Data [2.8770761243361593]
  多モードデータを用いた外科的ジェスチャー分割のための階層型半教師付き学習フレームワークを開発した。 トレーニング済みのResNet-18'バックボーンを備えたTransformerベースのネットワークを使用して,手術ビデオから視覚的特徴を抽出する。 提案手法は、Suturing, Needle Passing, Knot Tyingタスクを含む、公開されているJIGSデータベースのデータを用いて評価されている。
  論文  参考訳（メタデータ） (2023-07-31T21:17:59Z)
• Video-based Contrastive Learning on Decision Trees: from Action Recognition to Autism Diagnosis [17.866016075963437]
  決定木に基づく行動分類のための新しいコントラスト学習ベースのフレームワークを提案する。 鍵となる考え方は、もともとのマルチクラスアクション認識を、事前構築された決定ツリー上の一連のバイナリ分類タスクに変換することである。 我々は,CalTechインタビュービデオデータベース上で,ビデオベース自閉症スペクトラム障害診断の有望な性能を実証した。
  論文  参考訳（メタデータ） (2023-04-20T04:02:04Z)
• CorpusBrain: Pre-train a Generative Retrieval Model for Knowledge-Intensive Language Tasks [62.22920673080208]
  単一ステップ生成モデルは、検索プロセスを劇的に単純化し、エンドツーエンドで最適化することができる。 我々は、事前学習された生成検索モデルをCorpsBrainと名付け、コーパスに関する全ての情報が、追加のインデックスを構築することなく、そのパラメータにエンコードされる。
  論文  参考訳（メタデータ） (2022-08-16T10:22:49Z)
• ALBench: A Framework for Evaluating Active Learning in Object Detection [102.81795062493536]
  本稿では、オブジェクト検出におけるアクティブラーニングを評価するために、ALBenchという名前のアクティブラーニングベンチマークフレームワークをコントリビュートする。 自動深層モデルトレーニングシステム上で開発されたこのALBenchフレームワークは、使いやすく、さまざまなアクティブな学習アルゴリズムと互換性があり、同じトレーニングおよびテストプロトコルを保証する。
  論文  参考訳（メタデータ） (2022-07-27T07:46:23Z)
• Video-based assessment of intraoperative surgical skill [7.79874072121082]
  本稿では,RGBビデオを用いて直接スキル評価を行う2つのディープラーニング手法を提案し,検証する。 第1の方法は,楽器の先端をキーポイントとして予測し,時間的畳み込みニューラルネットワークを用いて外科的スキルを学ぶことである。 第2の方法では,フレームワイド・エンコーダ(2次元畳み込みニューラルネットワーク)と時間モデル(リカレントニューラルネットワーク)を含む外科的スキル評価のための新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-05-13T01:45:22Z)
• Surgical Gesture Recognition Based on Bidirectional Multi-Layer Independently RNN with Explainable Spatial Feature Extraction [10.469989981471254]
  本研究では, 説明可能な特徴抽出プロセスを用いて, 効果的な外科的ジェスチャー認識手法の開発を目指す。 本稿では,双方向マルチ層独立RNN(BML-indRNN)モデルを提案する。 dcnnのブラックボックス効果を解消するために、勾配重み付けクラスアクティベーションマッピング(grad-cam)を用いる。 その結果,提案手法に基づく縫合作業の精度は87.13%であり,最先端のアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2021-05-02T12:47:19Z)
• Joint Learning of Neural Transfer and Architecture Adaptation for Image Recognition [77.95361323613147]
  現在の最先端の視覚認識システムは、大規模データセット上でニューラルネットワークを事前トレーニングし、より小さなデータセットでネットワーク重みを微調整することに依存している。 本稿では,各ドメインタスクに適応したネットワークアーキテクチャの動的適応と,効率と効率の両面で重みの微調整の利点を実証する。 本手法は,ソースドメインタスクでスーパーネットトレーニングを自己教師付き学習に置き換え,下流タスクで線形評価を行うことにより,教師なしパラダイムに容易に一般化することができる。
  論文  参考訳（メタデータ） (2021-03-31T08:15:17Z)
• Relational Graph Learning on Visual and Kinematics Embeddings for Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
  本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。 本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
  論文  参考訳（メタデータ） (2020-11-03T11:00:10Z)
• Multi-Task Recurrent Neural Network for Surgical Gesture Recognition and Progress Prediction [17.63619129438996]
  本稿では,手術動作の同時認識のためのマルチタスクリカレントニューラルネットワークを提案する。 マルチタスクフレームワークでは,手作業によるラベリングやトレーニングを伴わずに,進捗推定による認識性能が向上することが実証された。
  論文  参考訳（メタデータ） (2020-03-10T14:28:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。