論文の概要: Rethinking Low-quality Optical Flow in Unsupervised Surgical Instrument Segmentation
- arxiv url: http://arxiv.org/abs/2403.10039v1
- Date: Fri, 15 Mar 2024 06:19:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-18 18:29:12.352248
- Title: Rethinking Low-quality Optical Flow in Unsupervised Surgical Instrument Segmentation
- Title(参考訳): 教師なし手術機器セグメンテーションにおける低品質光フローの再考
- Authors: Peiran Wu, Yang Liu, Jiayu Huo, Gongyu Zhang, Christos Bergeles, Rachel Sparks, Prokar Dasgupta, Alejandro Granados, Sebastien Ourselin,
- Abstract要約: ロボット補助手術において,ビデオベースの手術器具セグメンテーションが重要な役割を担っている。
教師なしのセグメンテーションは、光学フローの典型的に低い品質のために区別が難しいモーションキューに大きく依存している。
本研究は,低品質光流の固有の限界にもかかわらず,モデル性能の向上という課題に対処する。
- 参考スコア(独自算出の注目度): 42.471249616792214
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video-based surgical instrument segmentation plays an important role in robot-assisted surgeries. Unlike supervised settings, unsupervised segmentation relies heavily on motion cues, which are challenging to discern due to the typically lower quality of optical flow in surgical footage compared to natural scenes. This presents a considerable burden for the advancement of unsupervised segmentation techniques. In our work, we address the challenge of enhancing model performance despite the inherent limitations of low-quality optical flow. Our methodology employs a three-pronged approach: extracting boundaries directly from the optical flow, selectively discarding frames with inferior flow quality, and employing a fine-tuning process with variable frame rates. We thoroughly evaluate our strategy on the EndoVis2017 VOS dataset and Endovis2017 Challenge dataset, where our model demonstrates promising results, achieving a mean Intersection-over-Union (mIoU) of 0.75 and 0.72, respectively. Our findings suggest that our approach can greatly decrease the need for manual annotations in clinical environments and may facilitate the annotation process for new datasets. The code is available at https://github.com/wpr1018001/Rethinking-Low-quality-Optical-Flow.git
- Abstract(参考訳): ロボット補助手術において,ビデオベースの手術器具セグメンテーションが重要な役割を担っている。
教師なしセグメンテーションは、教師なしセグメンテーションとは違い、自然のシーンに比べて手術映像の光学的流れの質が低いため、区別が難しいモーションキューに大きく依存している。
これにより、教師なしセグメンテーション技術の進歩にかなりの負担がかかる。
本研究は,低品質光流の固有の限界にもかかわらず,モデル性能の向上という課題に対処する。
提案手法では,光学フローから直接境界線を抽出し,フロー品質が劣るフレームを選択的に破棄し,フレームレートが可変な微調整プロセスを用いる。
我々は、EndoVis2017 VOSデータセットとEndovis2017 Challengeデータセットに対して、我々の戦略を徹底的に評価し、我々のモデルは有望な結果を示し、それぞれ0.75と0.72のインターセクション・オーバー・ユニオン(mIoU)を達成する。
以上の結果から,本手法は臨床環境における手動アノテーションの必要性を大幅に低減し,新たなデータセットのアノテーションプロセスを容易にする可能性が示唆された。
コードはhttps://github.com/wpr1018001/Rethinking-Low-quality-Optical-Flow.gitで公開されている。
関連論文リスト
- OCAI: Improving Optical Flow Estimation by Occlusion and Consistency Aware Interpolation [55.676358801492114]
本稿では,中間映像フレームと光フローを同時に生成することで,フレームのあいまいさを頑健に支援するOCAIを提案する。
我々は,Sintel や KITTI などの既存のベンチマークにおいて,優れた品質と光フロー精度を実証した。
論文 参考訳(メタデータ) (2024-03-26T20:23:48Z) - CathFlow: Self-Supervised Segmentation of Catheters in Interventional Ultrasound Using Optical Flow and Transformers [66.15847237150909]
縦型超音波画像におけるカテーテルのセグメンテーションのための自己教師型ディープラーニングアーキテクチャを提案する。
ネットワークアーキテクチャは、Attention in Attentionメカニズムで構築されたセグメンテーショントランスフォーマであるAiAReSeg上に構築されている。
我々は,シリコンオルタファントムから収集した合成データと画像からなる実験データセット上で,我々のモデルを検証した。
論文 参考訳(メタデータ) (2024-03-21T15:13:36Z) - Self-Supervised Motion Magnification by Backpropagating Through Optical
Flow [16.80592879244362]
本稿では,映像中の微妙な動きを拡大する自己教師型手法を提案する。
我々は、その新しい光学フローが所望の量でスケールするようにビデオを操作する。
本稿では、生成した映像の光学的流れを推定し、与えられた拡大係数から逸脱した場合の距離をペナルティ化する損失関数を提案する。
論文 参考訳(メタデータ) (2023-11-28T18:59:51Z) - A Good Feature Extractor Is All You Need for Weakly Supervised Pathology
Slide Classification [8.705573955403585]
染色正規化と画像強調は下流のスライドレベルの分類性能を損なうことはない。
我々は、最も公開性の高い抽出器を特定し、それらの潜伏空間は、回転のような染色や強化のバリエーションに対して著しく堅牢であることを示す。
本研究は,前処理の必要性を最小化し,特徴抽出器の選択を通知することで,デジタル病理の合理化を図っている。
論文 参考訳(メタデータ) (2023-11-20T13:58:26Z) - Semi-Supervised Learning of Optical Flow by Flow Supervisor [16.406213579356795]
そこで本研究では,事前学習したモデルに対して,地中真実の流れを伴わずに,目標データセットに適応するファインチューニング手法を提案する。
この設計は、従来の自己超越法よりも安定した収束と精度の向上を目的としている。
我々は,Sintel および KITTI ベンチマークにおける最先端光学フローモデルに対する有意義な改善を実現する。
論文 参考訳(メタデータ) (2022-07-21T06:11:52Z) - Pseudo-label Guided Cross-video Pixel Contrast for Robotic Surgical
Scene Segmentation with Limited Annotations [72.15956198507281]
シーンセグメンテーションを促進するために,新しい擬似ラベル付きクロスビデオコントラスト学習法であるPGV-CLを提案する。
本研究では,ロボット外科手術データセットEndoVis18と白内障手術データセットCaDISについて検討した。
論文 参考訳(メタデータ) (2022-07-20T05:42:19Z) - EM-driven unsupervised learning for efficient motion segmentation [3.5232234532568376]
本稿では,光学的流れからの動作分割のためのCNNに基づく完全教師なし手法を提案する。
本研究では,移動分割ニューラルネットワークの損失関数とトレーニング手順を活用するために,期待最大化(EM)フレームワークを利用する。
提案手法は, 教師なし手法よりも優れ, 効率的である。
論文 参考訳(メタデータ) (2022-01-06T14:35:45Z) - Learning Motion Flows for Semi-supervised Instrument Segmentation from
Robotic Surgical Video [64.44583693846751]
本研究は,スパースアノテーションを用いたロボット手術ビデオから半教師楽器のセグメンテーションについて検討する。
生成されたデータペアを利用することで、我々のフレームワークはトレーニングシーケンスの時間的一貫性を回復し、強化することができます。
その結果,本手法は最先端の半教師あり手法よりも大きなマージンで優れていることがわかった。
論文 参考訳(メタデータ) (2020-07-06T02:39:32Z) - What Matters in Unsupervised Optical Flow [51.45112526506455]
教師なし光流における鍵成分の集合を比較し解析する。
教師なしフローモデルに対する新しい改良点を多数構築する。
本稿では,従来の最先端技術よりもはるかに優れた非教師なしフロー技術を提案する。
論文 参考訳(メタデータ) (2020-06-08T19:36:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。