論文の概要: Stitching, Fine-tuning, Re-training: A SAM-enabled Framework for Semi-supervised 3D Medical Image Segmentation

• arxiv url: http://arxiv.org/abs/2403.11229v2
• Date: Sat, 18 Jan 2025 03:01:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:16:45.893285
• Title: Stitching, Fine-tuning, Re-training: A SAM-enabled Framework for Semi-supervised 3D Medical Image Segmentation
• Title（参考訳）: ストレッチ, 微調整, 再訓練: 半教師付き3次元医用画像分割のためのSAM対応フレームワーク
• Authors: Shumeng Li, Lei Qi, Qian Yu, Jing Huo, Yinghuan Shi, Yang Gao,
• Abstract要約: SAMファインチューニングは, 医用画像のセグメンテーションにおいて, 完全に教師された方法で顕著な性能を示した。 SFR(Stitching, Fine-tuning, Re-training)という3段階のフレームワークを提案する。 我々のSFRフレームワークはプラグイン・アンド・プレイであり、様々な人気のある半教師付き手法と容易に互換性がある。
• 参考スコア（独自算出の注目度）: 40.79197318484472
• License:
• Abstract: Segment Anything Model (SAM) fine-tuning has shown remarkable performance in medical image segmentation in a fully supervised manner, but requires precise annotations. To reduce the annotation cost and maintain satisfactory performance, in this work, we leverage the capabilities of SAM for establishing semi-supervised medical image segmentation models. Rethinking the requirements of effectiveness, efficiency, and compatibility, we propose a three-stage framework, i.e., Stitching, Fine-tuning, and Re-training (SFR). The current fine-tuning approaches mostly involve 2D slice-wise fine-tuning that disregards the contextual information between adjacent slices. Our stitching strategy mitigates the mismatch between natural and 3D medical images. The stitched images are then used for fine-tuning SAM, providing robust initialization of pseudo-labels. Afterwards, we train a 3D semi-supervised segmentation model while maintaining the same parameter size as the conventional segmenter such as V-Net. Our SFR framework is plug-and-play, and easily compatible with various popular semi-supervised methods. We also develop an extended framework SFR$^+$ with selective fine-tuning and re-training through confidence estimation. Extensive experiments validate that our SFR and SFR$^+$ achieve significant improvements in both moderate annotation and scarce annotation across five datasets. In particular, SFR framework improves the Dice score of Mean Teacher from 29.68% to 74.40% with only one labeled data of LA dataset.
• Abstract（参考訳）: Segment Anything Model (SAM)ファインチューニングは、完全に教師された方法で医用画像のセグメンテーションにおいて顕著なパフォーマンスを示しているが、正確なアノテーションが必要である。 本研究では、アノテーションのコストを低減し、良好な性能を維持するため、SAMの能力を生かし、半教師付き医用画像分割モデルを構築する。 有効性,効率,互換性の要件を再考し,スタイッチ,ファインチューニング,リトレーニング(SFR)という3段階の枠組みを提案する。 現在の微調整アプローチは、隣接するスライス間のコンテキスト情報を無視する2Dスライスワイス微調整がほとんどである。 縫合術は自然画像と3次元画像のミスマッチを緩和する。 縫製された画像はSAMの微調整に使用され、擬似ラベルの堅牢な初期化を提供する。 その後、V-Netのような従来のセグメンタと同じパラメータサイズを維持しながら、3次元半教師付きセグメンテーションモデルを訓練する。 我々のSFRフレームワークはプラグイン・アンド・プレイであり、様々な人気のある半教師付き手法と容易に互換性がある。 また,信頼度推定による微調整と再学習が可能な拡張フレームワークSFR$^+$を開発した。 我々のSFRとSFR$^+$は5つのデータセットにまたがる中程度のアノテーションと希少なアノテーションの両方において大幅な改善が達成されていることを実証した。 特に、SFRフレームワークでは、平均教師のDiceスコアを29.68%から74.40%に改善している。

関連論文リスト

• Annotation-Efficient Task Guidance for Medical Segment Anything [0.31077024712075796]
  医用画像のセグメンテーションは画像ワークフローにおける重要なタスクであり、多くの画像ベースの決定に影響を与える。 従来の完全教師付きセグメンテーションモデルは、大量のラベル付きトレーニングデータに依存しており、これは高価で時間を要する、エラーを起こしやすいプロセスである。 医療画像セグメンテーションのための新しいマルチタスク学習フレームワークSAM-Mixを提案する。
  論文  参考訳（メタデータ） (2024-12-11T17:47:00Z)
• Novel adaptation of video segmentation to 3D MRI: efficient zero-shot knee segmentation with SAM2 [1.6237741047782823]
  Segment Anything Model 2 を応用した3次元膝関節MRIのゼロショット単発セグメンテーション法を提案する。 3次元医用ボリュームのスライスを個々のビデオフレームとして扱うことで、SAM2の高度な能力を利用して、モーションおよび空間認識の予測を生成する。 SAM2は、訓練や微調整を伴わずに、ゼロショット方式でセグメント化タスクを効率的に実行できることを実証する。
  論文  参考訳（メタデータ） (2024-08-08T21:39:15Z)
• A Federated Learning-Friendly Approach for Parameter-Efficient Fine-Tuning of SAM in 3D Segmentation [5.011091042850546]
  医用画像解析に基礎モデルを適用するには、かなりの量のデータでそれらを微調整する必要がある。 このような微調整のためのタスク固有の医療データを中央で収集することは、多くのプライバシー上の懸念を引き起こす。 フェデレーテッド・ラーニング(FL)は、プライベートな分散データをトレーニングするための効果的な手段を提供するが、大規模な基盤モデルをフェデレーテッドする際の通信コストは、すぐに重大なボトルネックとなる可能性がある。
  論文  参考訳（メタデータ） (2024-07-31T16:48:06Z)
• SAM Fewshot Finetuning for Anatomical Segmentation in Medical Images [3.2099042811875833]
  医用画像の解剖学的セグメンテーションタスクにSAM(Seegment Anything)を適用するための戦略を提案する。 画像埋め込みで取得した解剖学的クエリーオブジェクトのプロンプトとして,ラベル付き画像の限られたセットから得られる少数ショット埋め込みを利用する。 本手法は,キャッシング機構を用いてマスクデコーダのみをトレーニングすることにより,微調整プロセスの効率化を優先する。
  論文  参考訳（メタデータ） (2024-07-05T17:07:25Z)
• MA-SAM: Modality-agnostic SAM Adaptation for 3D Medical Image Segmentation [58.53672866662472]
  我々はMA-SAMと命名されたモダリティに依存しないSAM適応フレームワークを提案する。 本手法は,重量増加のごく一部だけを更新するためのパラメータ効率の高い微調整戦略に根ざしている。 画像エンコーダのトランスバータブロックに一連の3Dアダプタを注入することにより,事前学習した2Dバックボーンが入力データから3次元情報を抽出することができる。
  論文  参考訳（メタデータ） (2023-09-16T02:41:53Z)
• Towards Label-free Scene Understanding by Vision Foundation Models [87.13117617056004]
  ネットワークがラベル付きデータなしで2Dおよび3D世界を理解できるようにするためのビジョン基盤モデルの可能性について検討する。 本稿では,CLIPとSAMの強度を利用して2次元ネットワークと3次元ネットワークを同時に監視するクロスモダリティ・ノイズ・スーパービジョン(CNS)手法を提案する。 我々の2Dネットワークと3Dネットワークは、ScanNet上で28.4%と33.5%のmIoUでラベルなしセマンティックセグメンテーションを実現し、それぞれ4.7%と7.9%を改善した。
  論文  参考訳（メタデータ） (2023-06-06T17:57:49Z)
• Rethinking Semi-Supervised Medical Image Segmentation: A Variance-Reduction Perspective [51.70661197256033]
  医用画像セグメンテーションのための階層化グループ理論を用いた半教師付きコントラスト学習フレームワークARCOを提案する。 まず、分散還元推定の概念を用いてARCOを構築することを提案し、特定の分散還元技術が画素/ボクセルレベルのセグメンテーションタスクにおいて特に有用であることを示す。 5つの2D/3D医療データセットと3つのセマンティックセグメンテーションデータセットのラベル設定が異なる8つのベンチマークで、我々のアプローチを実験的に検証する。
  論文  参考訳（メタデータ） (2023-02-03T13:50:25Z)
• Prompt Tuning for Parameter-efficient Medical Image Segmentation [79.09285179181225]
  2つの医用画像データセットのセマンティックセグメンテーションにパラメータ効率が良いが効果的な適応を実現するために,いくつかのコントリビューションを提案し,検討する。 我々はこのアーキテクチャを、オンライン生成プロトタイプへの割り当てに基づく専用密集型セルフスーパービジョンスキームで事前訓練する。 得られたニューラルネットワークモデルにより、完全に微調整されたモデルとパラメータに適応したモデルとのギャップを緩和できることを実証する。
  論文  参考訳（メタデータ） (2022-11-16T21:55:05Z)
• Image Understands Point Cloud: Weakly Supervised 3D Semantic Segmentation via Association Learning [59.64695628433855]
  ラベルのない画像から補完的な情報を取り入れた3次元セグメンテーションのための新しいクロスモダリティ弱教師付き手法を提案する。 基本的に、ラベルの小さな部分のパワーを最大化するために、アクティブなラベリング戦略を備えたデュアルブランチネットワークを設計する。 提案手法は,1%未満のアクティブなアノテーションで,最先端の完全教師付き競合よりも優れていた。
  論文  参考訳（メタデータ） (2022-09-16T07:59:04Z)
• PA-Seg: Learning from Point Annotations for 3D Medical Image Segmentation using Contextual Regularization and Cross Knowledge Distillation [14.412073730567137]
  本稿では,3次元医用画像の7点のみのセグメンテーションターゲットに注釈を付け,弱教師付き学習フレームワークPA-Segを設計する。 第1段階では、より監督的な信号を提供するために、シードポイントを拡張するために測地距離変換を用いる。 第2段階では、第1段階で事前学習されたモデルから得られた予測を擬似ラベルとして使用する。
  論文  参考訳（メタデータ） (2022-08-11T07:00:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。