論文の概要: Adaptive Interactive Segmentation for Multimodal Medical Imaging via Selection Engine
- arxiv url: http://arxiv.org/abs/2411.19447v1
- Date: Fri, 29 Nov 2024 03:08:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-02 15:22:57.089323
- Title: Adaptive Interactive Segmentation for Multimodal Medical Imaging via Selection Engine
- Title(参考訳): 選択エンジンを用いたマルチモーダル医用イメージングのための適応型インタラクティブセグメンテーション
- Authors: Zhi Li, Kai Zhao, Yaqi Wang, Shuai Wang,
- Abstract要約: 本稿では,様々な医用画像モダリティのセグメンテーション性能を向上させる戦略駆動型インタラクティブモデル(SISeg)を提案する。
本研究では,医療知識を必要とせずに最適なプロンプトフレームを動的に選択する適応フレーム選択エンジン(AFSE)を開発した。
我々は, SISegモデルの頑健な適応性とマルチモーダルタスクの一般化を実証し, 7つの医用画像モダリティをカバーする10のデータセットについて広範な実験を行った。
- 参考スコア(独自算出の注目度): 12.594586161567259
- License:
- Abstract: In medical image analysis, achieving fast, efficient, and accurate segmentation is essential for automated diagnosis and treatment. Although recent advancements in deep learning have significantly improved segmentation accuracy, current models often face challenges in adaptability and generalization, particularly when processing multi-modal medical imaging data. These limitations stem from the substantial variations between imaging modalities and the inherent complexity of medical data. To address these challenges, we propose the Strategy-driven Interactive Segmentation Model (SISeg), built on SAM2, which enhances segmentation performance across various medical imaging modalities by integrating a selection engine. To mitigate memory bottlenecks and optimize prompt frame selection during the inference of 2D image sequences, we developed an automated system, the Adaptive Frame Selection Engine (AFSE). This system dynamically selects the optimal prompt frames without requiring extensive prior medical knowledge and enhances the interpretability of the model's inference process through an interactive feedback mechanism. We conducted extensive experiments on 10 datasets covering 7 representative medical imaging modalities, demonstrating the SISeg model's robust adaptability and generalization in multi-modal tasks. The project page and code will be available at: [URL].
- Abstract(参考訳): 医用画像解析では, 迅速, 効率的, 正確なセグメンテーションが, 自動診断と治療に不可欠である。
近年のディープラーニングの進歩はセグメンテーションの精度を大幅に向上させたが、現在のモデルは適応性と一般化の課題に直面することが多く、特にマルチモーダルな医療画像データを処理する場合である。
これらの制限は、画像のモダリティと、医療データの本質的な複雑さの間の大きな違いに起因している。
これらの課題に対処するために、SAM2上に構築された戦略駆動型インタラクティブセグメンテーションモデル(SISeg)を提案する。
メモリボトルネックの軽減と2次元画像列の推論におけるフレーム選択の高速化を目的として,適応フレーム選択エンジン (AFSE) という自動システムを開発した。
本システムは,広範囲の事前知識を必要とせずに最適なプロンプトフレームを動的に選択し,対話的なフィードバック機構を通じてモデル推論プロセスの解釈可能性を高める。
7つの代表的な医用画像モダリティをカバーする10のデータセットについて広範な実験を行い、SISegモデルの頑健な適応性とマルチモーダルタスクの一般化を実証した。
プロジェクトページとコードは以下の通りである。
関連論文リスト
- A Unified Model for Compressed Sensing MRI Across Undersampling Patterns [69.19631302047569]
ディープニューラルネットワークは、アンダーサンプル計測から高忠実度画像を再構成する大きな可能性を示している。
我々のモデルは、離散化に依存しないアーキテクチャであるニューラル演算子に基づいている。
我々の推論速度は拡散法よりも1,400倍速い。
論文 参考訳(メタデータ) (2024-10-05T20:03:57Z) - Med-TTT: Vision Test-Time Training model for Medical Image Segmentation [5.318153305245246]
We propose Med-TTT, a visual backbone network with Test-Time Training layer。
このモデルは精度、感度、Dice係数の点で先行的な性能を達成する。
論文 参考訳(メタデータ) (2024-10-03T14:29:46Z) - Language Augmentation in CLIP for Improved Anatomy Detection on Multi-modal Medical Images [1.4680035572775536]
ヴィジュアル言語モデルは、医療領域におけるマルチモーダル分類問題に挑戦するための強力なツールとして登場した。
既存の研究は、特定のモダリティや身体領域の臨床的記述に焦点を当てており、全身のマルチモーダル記述を提供するモデルにギャップを残している。
本稿では,マルチモーダルMRIおよびCT画像において,全身の標準化された体局と臓器のリストの自動生成により,このギャップに対処する。
論文 参考訳(メタデータ) (2024-05-31T09:59:11Z) - QUBIQ: Uncertainty Quantification for Biomedical Image Segmentation Challenge [93.61262892578067]
医用画像分割作業の不確実性、特にラター間変動性は重要な課題である。
この可変性は、自動セグメンテーションアルゴリズムの開発と評価に直接影響を及ぼす。
バイオメディカル画像量化チャレンジ(QUBIQ)における不確実性の定量化のベンチマーク結果を報告する。
論文 参考訳(メタデータ) (2024-03-19T17:57:24Z) - VISION-MAE: A Foundation Model for Medical Image Segmentation and
Classification [36.8105960525233]
医用画像に特化して設計された新しい基礎モデルVISION-MAEを提案する。
VISION-MAEは、様々なモダリティから250万枚の未ラベル画像のデータセットでトレーニングされている。
その後、明示的なラベルを使って分類とセグメンテーションのタスクに適応する。
論文 参考訳(メタデータ) (2024-02-01T21:45:12Z) - Dual-scale Enhanced and Cross-generative Consistency Learning for Semi-supervised Medical Image Segmentation [49.57907601086494]
医用画像のセグメンテーションはコンピュータ支援診断において重要な役割を担っている。
半教師型医用画像(DEC-Seg)のための新しいDual-scale Enhanced and Cross-generative consistency learning frameworkを提案する。
論文 参考訳(メタデータ) (2023-12-26T12:56:31Z) - End-to-end autoencoding architecture for the simultaneous generation of
medical images and corresponding segmentation masks [3.1133049660590615]
ハミルトン変分オートエンコーダ(HVAE)に基づくエンドツーエンドアーキテクチャを提案する。
従来の変分オートエンコーダ(VAE)と比較して後部分布近似が向上する。
本手法は, 生成的逆境条件より優れ, 画像品質の向上を示す。
論文 参考訳(メタデータ) (2023-11-17T11:56:53Z) - SeUNet-Trans: A Simple yet Effective UNet-Transformer Model for Medical
Image Segmentation [0.0]
医用画像セグメンテーションのためのシンプルなUNet-Transformer(seUNet-Trans)モデルを提案する。
提案手法では,UNetモデルを特徴抽出器として設計し,入力画像から複数の特徴マップを生成する。
UNetアーキテクチャと自己認識機構を活用することで、我々のモデルはローカルとグローバルの両方のコンテキスト情報を保存するだけでなく、入力要素間の長距離依存関係をキャプチャできる。
論文 参考訳(メタデータ) (2023-10-16T01:13:38Z) - Modality Completion via Gaussian Process Prior Variational Autoencoders
for Multi-Modal Glioma Segmentation [75.58395328700821]
本稿では,患者スキャンに欠落するサブモダリティを1つ以上のインプットするために,MGP-VAE(Multi-modal Gaussian Process Prior Variational Autoencoder)を提案する。
MGP-VAEは、変分オートエンコーダ(VAE)に先立ってガウス過程(GP)を利用して、被験者/患者およびサブモダリティ相関を利用することができる。
4つのサブモダリティのうち2つ、または3つが欠落している脳腫瘍に対するMGP-VAEの適用性を示す。
論文 参考訳(メタデータ) (2021-07-07T19:06:34Z) - Medical Transformer: Gated Axial-Attention for Medical Image
Segmentation [73.98974074534497]
医用画像分割タスクにおけるトランスフォーマティブネットワークアーキテクチャの利用可能性について検討する。
セルフアテンションモジュールに追加の制御機構を導入することで,既存のアーキテクチャを拡張するGated Axial-Attentionモデルを提案する。
医療画像上で効果的にモデルを訓練するために,さらにパフォーマンスを向上させる局所的グローバルトレーニング戦略 (logo) を提案する。
論文 参考訳(メタデータ) (2021-02-21T18:35:14Z) - Learning Deformable Image Registration from Optimization: Perspective,
Modules, Bilevel Training and Beyond [62.730497582218284]
マルチスケールの伝搬により微分同相モデルを最適化する,新しいディープラーニングベースのフレームワークを開発した。
我々は,脳MRIデータにおける画像-アトラス登録,肝CTデータにおける画像-画像登録を含む,3次元ボリュームデータセットにおける画像登録実験の2つのグループを実行する。
論文 参考訳(メタデータ) (2020-04-30T03:23:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。