論文の概要: TransForSeg: A Multitask Stereo ViT for Joint Stereo Segmentation and 3D Force Estimation in Catheterization
- arxiv url: http://arxiv.org/abs/2509.01605v1
- Date: Mon, 01 Sep 2025 16:36:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-04 15:17:03.779716
- Title: TransForSeg: A Multitask Stereo ViT for Joint Stereo Segmentation and 3D Force Estimation in Catheterization
- Title（参考訳）: TransForSeg: カテーテル化における関節立体分割と3次元力推定のためのマルチタスクステレオVT
- Authors: Pedram Fekri, Mehrdad Zadeh, Javad Dargahi,
- Abstract要約: 本稿では、2つの入力されたX線画像を個別のシーケンスとして処理するエンコーダ・デコーダ・ビジョン変換器モデルを提案する。
提案モデルは,2つの角度から同時にカテーテルを分割し,その先端で発生する力を3Dで推定するステレオビジョン変換器である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, the emergence of multitask deep learning models has enhanced catheterization procedures by providing tactile and visual perception data through an end-to-end architec- ture. This information is derived from a segmentation and force estimation head, which localizes the catheter in X-ray images and estimates the applied pressure based on its deflection within the image. These stereo vision architectures incorporate a CNN- based encoder-decoder that captures the dependencies between X-ray images from two viewpoints, enabling simultaneous 3D force estimation and stereo segmentation of the catheter. With these tasks in mind, this work approaches the problem from a new perspective. We propose a novel encoder-decoder Vision Transformer model that processes two input X-ray images as separate sequences. Given sequences of X-ray patches from two perspectives, the transformer captures long-range dependencies without the need to gradually expand the receptive field for either image. The embeddings generated by both the encoder and decoder are fed into two shared segmentation heads, while a regression head employs the fused information from the decoder for 3D force estimation. The proposed model is a stereo Vision Transformer capable of simultaneously segmenting the catheter from two angles while estimating the generated forces at its tip in 3D. This model has undergone extensive experiments on synthetic X-ray images with various noise levels and has been compared against state-of-the-art pure segmentation models, vision-based catheter force estimation methods, and a multitask catheter segmentation and force estimation approach. It outperforms existing models, setting a new state-of-the-art in both catheter segmentation and force estimation.
- Abstract（参考訳）: 近年,マルチタスク深層学習モデルの出現により,触覚と視覚の知覚データの提供により,カテーテル化の手順が強化されている。
この情報は、X線画像中のカテーテルを局所化し、画像内の偏向に基づいて印加圧力を推定するセグメンテーションと力推定ヘッドから導かれる。
これらのステレオビジョンアーキテクチャには、CNNベースのエンコーダデコーダが組み込まれており、2つの視点からX線画像間の依存関係をキャプチャし、カテーテルの3次元力推定とステレオセグメンテーションを可能にする。
これらのタスクを念頭に置いて、この作業は新しい視点から問題にアプローチする。
本稿では、2つの入力されたX線画像を個別のシーケンスとして処理するエンコーダ・デコーダ・ビジョン変換器モデルを提案する。
2つの視点からX線パッチのシーケンスが与えられた場合、トランスフォーマーは、どちらの画像に対しても徐々に受容野を広げることなく、長距離依存をキャプチャする。
エンコーダとデコーダの両方が生成した埋め込みを2つの共有セグメンテーションヘッドに供給し、レグレッションヘッドはデコーダからの融合情報を用いて3次元力推定を行う。
提案モデルは,2つの角度から同時にカテーテルを分割し,その先端で発生する力を3Dで推定するステレオビジョン変換器である。
このモデルは様々なノイズレベルを持つ合成X線画像の広範な実験を行っており、最先端の純粋セグメンテーションモデル、視覚に基づくカテーテル力推定法、マルチタスクカテーテルセグメンテーションと力推定手法と比較されている。
既存のモデルよりも優れており、カテーテルセグメンテーションと力推定の両方で新しい最先端のモデルが設定されている。
関連論文リスト
- DVG-Diffusion: Dual-View Guided Diffusion Model for CT Reconstruction from X-Rays [32.55527512602604]
新しいビュー合成を取り入れた複雑な2次元X線画像から3次元CTマッピングを容易にし、ビュー誘導機能アライメントによる学習難度を低減する。
具体的には,DVG拡散モデル (DVG-Diffusion) を提案する。
論文 参考訳（メタデータ） (2025-03-22T16:03:18Z) - CeViT: Copula-Enhanced Vision Transformer in multi-task learning and bi-group image covariates with an application to myopia screening [9.928208927136874]
本稿では,ビジョントランスフォーマーをベースとしたバイチャネルアーキテクチャCeViTを提案し,その共通特徴を共有トランスフォーマーエンコーダを用いて抽出する。
我々は,CeViTが両眼で高視力の分類とALの予測の精度でベースラインモデルを強化することを実証した。
論文 参考訳（メタデータ） (2025-01-11T13:23:56Z) - Swin-X2S: Reconstructing 3D Shape from 2D Biplanar X-ray with Swin Transformers [8.357602965532923]
Swin-X2Sは2次元X線画像から3次元のセグメンテーションとラベリングを再構築するエンド・ツー・エンドのディープラーニング手法である。
エンコーダとデコーダをブリッジするために次元拡張モジュールを導入し、2Dピクセルから3Dボクセルへのスムーズな変換を保証する。
論文 参考訳（メタデータ） (2025-01-10T13:41:10Z) - H-Net: A Multitask Architecture for Simultaneous 3D Force Estimation and Stereo Semantic Segmentation in Intracardiac Catheters [0.0]
視覚ベースのディープラーニングモデルは、触覚と視覚の両方をセンサレスで提供することができる。
カテーテルを2つの異なる角度から同時にセグメント化できる包括的アーキテクチャが欠如している。
本研究は,軽量なマルチインプット・マルチアウトプット・エンコーダ・デコーダアーキテクチャを提案する。
論文 参考訳（メタデータ） (2024-12-31T15:55:13Z) - Intraoperative Registration by Cross-Modal Inverse Neural Rendering [61.687068931599846]
クロスモーダル逆ニューラルレンダリングによる神経外科手術における術中3D/2Dレジストレーションのための新しいアプローチを提案する。
本手法では,暗黙の神経表現を2つの構成要素に分離し,術前および術中における解剖学的構造について検討した。
臨床症例の振り返りデータを用いて本法の有効性を検証し,現在の登録基準を満たした状態での最先端の検査成績を示した。
論文 参考訳（メタデータ） (2024-09-18T13:40:59Z) - Geometry-Aware Attenuation Learning for Sparse-View CBCT Reconstruction [53.93674177236367]
Cone Beam Computed Tomography (CBCT) は臨床画像撮影において重要な役割を担っている。
従来の方法では、高品質な3D CBCT画像の再構成には数百の2次元X線投影が必要である。
これにより、放射線線量を減らすため、スパースビューCBCT再構成への関心が高まっている。
本稿では,この問題を解決するために,新しい幾何対応エンコーダデコーダフレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-26T14:38:42Z) - Self-Supervised Generative-Contrastive Learning of Multi-Modal Euclidean Input for 3D Shape Latent Representations: A Dynamic Switching Approach [53.376029341079054]
本稿では,3次元形状の潜在表現を学習するための,生成型とコントラスト型を組み合わせたニューラルアーキテクチャを提案する。
このアーキテクチャでは、2つのエンコーダブランチをボクセルグリッドと、同じ形状のマルチビューイメージに使用している。
論文 参考訳（メタデータ） (2023-01-11T18:14:24Z) - View-Disentangled Transformer for Brain Lesion Detection [50.4918615815066]
より正確な腫瘍検出のためのMRI特徴抽出のための新しいビューディペンタングル変換器を提案する。
まず, 3次元脳スキャンにおいて, 異なる位置の長距離相関を求める。
第二に、トランスフォーマーはスライス機能のスタックを複数の2Dビューとしてモデル化し、これらの機能をビュー・バイ・ビューとして拡張する。
第三に、提案したトランスモジュールをトランスのバックボーンに展開し、脳病変を取り巻く2D領域を効果的に検出する。
論文 参考訳（メタデータ） (2022-09-20T11:58:23Z) - Focused Decoding Enables 3D Anatomical Detection by Transformers [64.36530874341666]
集束デコーダと呼ばれる3次元解剖学的構造検出のための新しい検出変換器を提案する。
Focused Decoderは、解剖学的領域のアトラスからの情報を活用して、クエリアンカーを同時にデプロイし、クロスアテンションの視野を制限する。
提案手法を利用可能な2つのCTデータセットに対して評価し、フォーカスドデコーダが強力な検出結果を提供するだけでなく、大量の注釈付きデータの必要性を軽減し、注意重みによる結果の例外的で直感的な説明性を示すことを示した。
論文 参考訳（メタデータ） (2022-07-21T22:17:21Z) - CyTran: A Cycle-Consistent Transformer with Multi-Level Consistency for
Non-Contrast to Contrast CT Translation [56.622832383316215]
コントラストCTを非コントラストCTに変換する手法を提案する。
提案手法は、CyTranを略して、サイクル一貫性のある生成逆転変換器に基づいている。
実験の結果、CyTranは競合するすべての手法より優れています。
論文 参考訳（メタデータ） (2021-10-12T23:25:03Z) - The entire network structure of Crossmodal Transformer [4.605531191013731]
提案手法はまず2次元X線と3次元CT画像から骨格の特徴を深く学習する。
その結果、よく訓練されたネットワークは任意の2D X線と3D CT間の空間的対応を直接予測することができる。
論文 参考訳（メタデータ） (2021-04-29T11:47:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。