論文の概要: Trackerless freehand ultrasound with sequence modelling and auxiliary
transformation over past and future frames
- arxiv url: http://arxiv.org/abs/2211.04867v1
- Date: Wed, 9 Nov 2022 13:18:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-10 17:42:06.833039
- Title: Trackerless freehand ultrasound with sequence modelling and auxiliary
transformation over past and future frames
- Title（参考訳）: 時系列モデリングによるトラッキングレスフリーハンド超音波の過去・未来への変換
- Authors: Qi Li, Ziyi Shen, Qian Li, Dean C Barratt, Thomas Dowrick, Matthew J
Clarkson, Tom Vercauteren, Yipeng Hu
- Abstract要約: トラッカーのない3次元フリーハンド超音波(US)再建は、多くの臨床応用において、その2次元または追跡された超音波よりも有利である。
本稿では、フィードフォワードとリカレントニューラルネットワーク(RNN)を用いて、過去と将来の2次元画像から米国フレーム間の3次元空間変換を推定する。
時間的に利用可能なフレームでは、さらに多タスク学習アルゴリズムが提案され、それらの間に多数の補助的な変換予測タスクが利用できる。
- 参考スコア（独自算出の注目度）: 15.815449197145382
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Three-dimensional (3D) freehand ultrasound (US) reconstruction without a
tracker can be advantageous over its two-dimensional or tracked counterparts in
many clinical applications. In this paper, we propose to estimate 3D spatial
transformation between US frames from both past and future 2D images, using
feed-forward and recurrent neural networks (RNNs). With the temporally
available frames, a further multi-task learning algorithm is proposed to
utilise a large number of auxiliary transformation-predicting tasks between
them. Using more than 40,000 US frames acquired from 228 scans on 38 forearms
of 19 volunteers in a volunteer study, the hold-out test performance is
quantified by frame prediction accuracy, volume reconstruction overlap,
accumulated tracking error and final drift, based on ground-truth from an
optical tracker. The results show the importance of modelling the
temporal-spatially correlated input frames as well as output transformations,
with further improvement owing to additional past and/or future frames. The
best performing model was associated with predicting transformation between
moderately-spaced frames, with an interval of less than ten frames at 20 frames
per second (fps). Little benefit was observed by adding frames more than one
second away from the predicted transformation, with or without LSTM-based RNNs.
Interestingly, with the proposed approach, explicit within-sequence loss that
encourages consistency in composing transformations or minimises accumulated
error may no longer be required. The implementation code and volunteer data
will be made publicly available ensuring reproducibility and further research.
- Abstract（参考訳）: トラッカーのない3次元フリーハンド超音波(US)再建は、多くの臨床応用において、その2次元または追跡された超音波よりも有利である。
本稿では,フィードフォワードおよびリカレントニューラルネットワーク(rnns)を用いて,過去および将来の2次元画像からusフレーム間の3次元空間変換を推定する。
時間的に利用可能なフレームでは、さらに多タスク学習アルゴリズムが提案され、それらの間に多数の補助的な変換予測タスクが利用できる。
ボランティア実験では,19名のボランティアの38名の前腕で228個のスキャンから得られた4万フレーム以上を用いて,フレーム予測精度,ボリューム再構成重ね合わせ,累積追跡誤差,最終ドリフトによりホールドアウトテスト性能を定量化した。
以上の結果から, 時間分布に関連付けられた入力フレームと出力変換のモデル化の重要性が示され, 過去および/または将来のフレームの追加によるさらなる改善が示唆された。
最良性能モデルは,20フレーム/秒 (fps) で10フレーム未満の間隔で,適度な間隔のフレーム間の変換を予測することに関連していた。
LSTMベースのRNNの有無にかかわらず、予測された変換から1秒以上離れたフレームを追加することで、ほとんど利益が得られなかった。
興味深いことに、提案手法では、変換や蓄積エラーの最小化において整合性を促進する明示的なシーケンス内損失はもはや不要である。
実施コードとボランティアデータを公開し、再現性を確保し、さらなる研究を行う。
関連論文リスト
- Nonrigid Reconstruction of Freehand Ultrasound without a Tracker [17.089080913112586]
トラッカーを使わずに2Dフリーハンド超音波(US)フレームを3次元空間に再構成する手法は,近年,ディープラーニングの進歩を目にしている。
本研究では, 3次元USの再構成における非剛性変換の予測手法とその利点について検討した。
そこで本稿では, トラッカーからの接地構造によって制御されたUSフレーム間の剛性変換を同時に推定する, 正規化された登録ネットワークによって最適化された非剛性変形を同時に最適化するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-07-08T09:19:40Z) - InstantSplat: Sparse-view SfM-free Gaussian Splatting in Seconds [91.77050739918037]
InstantSplatは、2〜3枚の画像から正確な3D表現を構築する、新規で高速なニューラルリコンストラクションシステムである。
InstantSplatは、フレーム間の密集したステレオ先行とコビジュアライザの関係を統合して、シーンを徐々に拡張することでピクセルアライメントを初期化する。
SSIMは3D-GSでCOLMAPよりも0.3755から0.7624に向上し、複数の3D表現と互換性がある。
論文 参考訳（メタデータ） (2024-03-29T17:29:58Z) - Gamba: Marry Gaussian Splatting with Mamba for single view 3D reconstruction [153.52406455209538]
Gambaは、単一のビューイメージからエンドツーエンドの3D再構成モデルである。
1つのNVIDIA A100 GPUで0.05秒以内に再構築が完了する。
論文 参考訳（メタデータ） (2024-03-27T17:40:14Z) - S^2Former-OR: Single-Stage Bi-Modal Transformer for Scene Graph Generation in OR [50.435592120607815]
外科手術のシーングラフ生成(SGG)は、手術室(OR)におけるホモロジー認知知能の増強に不可欠である
これまでの研究は主に多段階学習に依存しており、生成したセマンティックシーングラフはポーズ推定とオブジェクト検出を伴う中間プロセスに依存している。
本研究では,S2Former-OR(S2Former-OR)と呼ばれるORにおけるSGGのための新しいシングルステージバイモーダルトランスフォーマフレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-22T11:40:49Z) - Long-term Dependency for 3D Reconstruction of Freehand Ultrasound
Without External Tracker [17.593802922448017]
外部トラッカーを使わずに3Dでフリーハンド超音波を再構成することは,長年にわたり超音波治療の課題となっている。
我々は、長期依存をパラメータ化するための新しい方法を定義し、性能を評価することを目的とする。
論文 参考訳（メタデータ） (2023-10-16T10:18:49Z) - Dynamic Frame Interpolation in Wavelet Domain [57.25341639095404]
ビデオフレームは、より流動的な視覚体験のためにフレームレートを上げることができる、重要な低レベルな計算ビジョンタスクである。
既存の手法は、高度なモーションモデルと合成ネットワークを利用することで大きな成功を収めた。
WaveletVFIは、同様の精度を維持しながら最大40%の計算を削減できるため、他の最先端技術に対してより効率的に処理できる。
論文 参考訳（メタデータ） (2023-09-07T06:41:15Z) - Modeling Continuous Motion for 3D Point Cloud Object Tracking [54.48716096286417]
本稿では,各トラックレットを連続ストリームとみなす新しいアプローチを提案する。
各タイムスタンプでは、現在のフレームだけがネットワークに送られ、メモリバンクに格納された複数フレームの履歴機能と相互作用する。
頑健な追跡のためのマルチフレーム機能の利用性を高めるために,コントラッシブシーケンス強化戦略を提案する。
論文 参考訳（メタデータ） (2023-03-14T02:58:27Z) - Temporal-Viewpoint Transportation Plan for Skeletal Few-shot Action
Recognition [38.27785891922479]
Joint tEmporalとcAmera viewpoiNt alIgnmEntによる3Dスケルトンに基づく動作認識のためのFew-shot Learning Pipeline
論文 参考訳（メタデータ） (2022-10-30T11:46:38Z) - Gait Recognition in the Wild with Multi-hop Temporal Switch [81.35245014397759]
野生での歩行認識は、より実践的な問題であり、マルチメディアとコンピュータビジョンのコミュニティの注目を集めています。
本稿では,現実のシーンにおける歩行パターンの効果的な時間的モデリングを実現するために,新しいマルチホップ時間スイッチ方式を提案する。
論文 参考訳（メタデータ） (2022-09-01T10:46:09Z) - 3D Skeleton-based Few-shot Action Recognition with JEANIE is not so
Na\"ive [28.720272938306692]
We propose a Few-shot Learning pipeline for 3D skeleton-based action recognition by Joint tEmporal and cAmera viewpoiNt alIgnmEnt。
論文 参考訳（メタデータ） (2021-12-23T16:09:23Z) - End-to-end Ultrasound Frame to Volume Registration [9.738024231762465]
2次元および3次元の登録のためのエンドツーエンドのフレーム・ツー・ボリューム登録ネットワーク(FVR-Net)を提案する。
提案モデルでは, リアルタイム介入指導において, 高い競争力のある登録精度で優れた効率性を示す。
論文 参考訳（メタデータ） (2021-07-14T01:59:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。