論文の概要: Prompting with the human-touch: evaluating model-sensitivity of foundation models for musculoskeletal CT segmentation
- arxiv url: http://arxiv.org/abs/2603.10541v1
- Date: Wed, 11 Mar 2026 08:45:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-12 16:22:32.855452
- Title: Prompting with the human-touch: evaluating model-sensitivity of foundation models for musculoskeletal CT segmentation
- Title（参考訳）: 人体タッチによるプロンプト:筋骨格CTセグメント化の基礎モデルのモデル感度の評価
- Authors: Caroline Magg, Maaike A. ter Wee, Johannes G. G. Dobbe, Geert J. Streekstra, Leendert Blankevoort, Clara I. Sánchez, Hoel Kervadec,
- Abstract要約: 人力環境での最も最適なFMの選択はいまだに難しい。
高い性能のFMでさえ、人間の入力プロンプトのバリエーションに敏感である。
- 参考スコア（独自算出の注目度）: 0.858656554664746
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Promptable Foundation Models (FMs), initially introduced for natural image segmentation, have also revolutionized medical image segmentation. The increasing number of models, along with evaluations varying in datasets, metrics, and compared models, makes direct performance comparison between models difficult and complicates the selection of the most suitable model for specific clinical tasks. In our study, 11 promptable FMs are tested using non-iterative 2D and 3D prompting strategies on a private and public dataset focusing on bone and implant segmentation in four anatomical regions (wrist, shoulder, hip and lower leg). The Pareto-optimal models are identified and further analyzed using human prompts collected through a dedicated observer study. Our findings are: 1) The segmentation performance varies a lot between FMs and prompting strategies; 2) The Pareto-optimal models in 2D are SAM and SAM2.1, in 3D nnInteractive and Med-SAM2; 3) Localization accuracy and rater consistency vary with anatomical structures, with higher consistency for simple structures (wrist bones) and lower consistency for complex structures (pelvis, tibia, implants); 4) The segmentation performance drops using human prompts, suggesting that performance reported on "ideal" prompts extracted from reference labels might overestimate the performance in a human-driven setting; 5) All models were sensitive to prompt variations. While two models demonstrated intra-rater robustness, it did not scale to inter-rater settings. We conclude that the selection of the most optimal FM for a human-driven setting remains challenging, with even high-performing FMs being sensitive to variations in human input prompts. Our code base for prompt extraction and model inference is available: https://github.com/CarolineMagg/segmentation-FM-benchmark/
- Abstract（参考訳）: Promptable Foundation Models (FM) は、当初、自然画像セグメンテーションのために導入されたが、医療画像セグメンテーションにも革命をもたらした。
モデル数の増加と、データセット、メトリクス、比較モデルの評価は、モデル間の直接のパフォーマンス比較を困難にし、特定の臨床タスクに最も適したモデルの選択を複雑にする。
本研究は,非定位2Dと3Dを用いて,解剖学的4領域(腕,肩,腰,下肢)の骨・インプラントのセグメンテーションに着目した非定位2Dと3Dのプロンプト戦略を用いて,11個のプロンプト可能なFMを試験した。
パレート最適モデルを特定し、専用の観察者研究を通じて収集されたヒトのプロンプトを用いて分析する。
私たちの発見は以下のとおりです。
1)セグメンテーション性能はFMとプロンプト戦略の間に大きく異なります。
2) 2Dにおけるパレート最適モデルはSAMとSAM2.1で、3D nnInteractiveとMed-SAM2である。
3) 局所化精度とレーダの整合性は解剖学的構造によって異なり, 単純な構造では高い整合性, 複雑な構造では低い整合性(骨盤, 骨盤, インプラント)である。
4) 人間の指示によるセグメンテーション性能低下は、基準ラベルから抽出した「理想的」プロンプトに報告された性能が、人間主導の環境での性能を過大評価する可能性があることを示唆している。
5)全てのモデルが変化の速さに敏感であった。
2つのモデルがラター内ロバスト性を示したが、ラター間設定にはスケールしなかった。
我々は、人間の入力プロンプトの変動に敏感なハイパフォーマンスなFMでさえも、人間駆動環境における最適なFMの選択は依然として難しいと結論付けている。
プロンプト抽出とモデル推論のためのコードベースは、https://github.com/CarolineMagg/segmentation-FM-benchmark/
関連論文リスト
- SAM 3D Body: Robust Full-Body Human Mesh Recovery [65.0108906331903]
シングルイメージフルボディ3Dヒューマンメッシュリカバリ(HMR)のためのアクセラブルモデルSAM 3D Body (3DB)を紹介する。
3DBは、身体、足、手の人間のポーズを推定します。
骨格構造と表面形状を分離する新しいパラメトリックメッシュ表現であるMomentum Human Rig(MHR)を使用した最初のモデルである。
論文 参考訳（メタデータ） (2026-02-17T20:26:37Z) - Zero-shot capability of SAM-family models for bone segmentation in CT scans [1.6018376109260821]
骨CTセグメント化のためのSAM- Family モデルのゼロショット機能をテストするために,非刺激的,最適' なプロンプト戦略を用いている。
結果から,最適設定はモデルの種類やサイズ,データセットの特徴,最適化対象などに依存することがわかった。
論文 参考訳（メタデータ） (2024-11-13T14:16:22Z) - Enhanced segmentation of femoral bone metastasis in CT scans of patients using synthetic data generation with 3D diffusion models [0.06700983301090582]
本稿では,3次元拡散確率モデル(DDPM)を用いた自動データパイプラインを提案する。
5675巻を新たに作成し,実データと合成データに基づいて3次元U-Netセグメンテーションモデルを訓練し,セグメンテーション性能を比較した。
論文 参考訳（メタデータ） (2024-09-17T09:21:19Z) - PAM: A Propagation-Based Model for Segmenting Any 3D Objects across Multi-Modal Medical Images [11.373941923130305]
PAM(Propagating Anything Model)は、境界ボックスやスケッチのような2Dプロンプトを使用して、医療画像ボリュームの完全な3Dセグメンテーションを作成するセグメンテーションアプローチである。
MedSAMやSegVolのような既存のモデルでは、44の医療データセットと様々な種類のオブジェクトに対して平均18.1%以上のダイス類似度係数(DSC)が向上した。
論文 参考訳（メタデータ） (2024-08-25T13:42:47Z) - The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease
detection [51.697248252191265]
この研究は、データハンドリング、実験設計、モデル評価に関するベストプラクティスを要約し、厳密に観察する。
我々は、アルツハイマー病(AD)の検出に焦点を当て、医療における課題のパラダイム的な例として機能する。
このフレームワークでは,3つの異なるデータ拡張戦略と5つの異なる3D CNNアーキテクチャを考慮し,予測15モデルを訓練する。
論文 参考訳（メタデータ） (2023-09-13T10:40:41Z) - 3DSAM-adapter: Holistic adaptation of SAM from 2D to 3D for promptable tumor segmentation [52.699139151447945]
医用画像の領域分割を行うために, SAMを2次元から3次元に変換する新しい適応法を提案する。
本モデルでは, 腎腫瘍, 膵腫瘍, 大腸癌の3つのタスクのうち8.25%, 29.87%, 10.11%の3つのタスクにおいて, ドメイン・オブ・ザ・アーティヴ・メディカル・イメージ・セグメンテーション・モデルより優れ, 肝腫瘍セグメンテーションでも同様の性能が得られる。
論文 参考訳（メタデータ） (2023-06-23T12:09:52Z) - Robustness Analysis on Foundational Segmentation Models [28.01242494123917]
本研究では,セグメンテーションタスクのためのVisual Foundation Models (VFM) のロバストネス解析を行う。
2つの異なるデータセットを使用して、7つの最先端セグメンテーションアーキテクチャをベンチマークする。
VFMは、強靭性において不定形モデルをすべて上回るものではないにもかかわらず、圧縮誘起汚損に対する脆弱性を示し、マルチモーダルモデルはゼロショットシナリオにおける競争力を示し、VFMは特定の対象カテゴリに対して強靭性を示す。
論文 参考訳（メタデータ） (2023-06-15T16:59:42Z) - Mine yOur owN Anatomy: Revisiting Medical Image Segmentation with Extremely Limited Labels [54.58539616385138]
我々は、Mine yOur owN Anatomy (MONA) と呼ばれる、新しい半教師付き2次元医用画像セグメンテーションフレームワークを紹介する。
まず、先行研究では、すべてのピクセルがモデルトレーニングに等しく重要であると論じており、我々はこの1つだけで意味のある解剖学的特徴を定義できないことを経験的に観察している。
第2に,医療画像を解剖学的特徴の集合に分解できるモデルを構築する。
論文 参考訳（メタデータ） (2022-09-27T15:50:31Z) - Modelling the Distribution of 3D Brain MRI using a 2D Slice VAE [66.63629641650572]
本研究では,2次元スライスVAEとガウスモデルを組み合わせた3次元MR脳の体積分布をモデル化する手法を提案する。
また,本研究では,脳解剖学に適合するセグメンテーションの精度を定量的に評価する新たなボリューム評価手法を提案する。
論文 参考訳（メタデータ） (2020-07-09T13:23:15Z) - Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。
グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。
まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
論文 参考訳（メタデータ） (2020-06-11T17:29:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。