論文の概要: When Adaptation Hurts: Connecting Representational Drift to OOD Failures in MedSAM Fine-Tuning

• arxiv url: http://arxiv.org/abs/2608.21300v1
• Date: Fri, 21 Aug 2026 17:01:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:32.643584
• Title: When Adaptation Hurts: Connecting Representational Drift to OOD Failures in MedSAM Fine-Tuning
• Title（参考訳）: 適応ハルト:MedSAMファインチューニングにおける表象ドリフトとOOD障害の接続
• Abstract要約: MedSAMは様々な医用画像のベンチマークでどのように一般化されているかを示す。 我々は、フルモデルとエンコーダのみのLoRA、浅と深の視覚的プロンプトチューニング(VPT)、デコーダのみのフル微調整の6つの適応戦略を使用する。 我々は、ロバストなMedSAM適応には、迅速なノイズ露光、ドメインシフト、表現保存の併用が必要であると結論付けている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Foundation models for medical image segmentation, like prompt-based MedSAM, generalize well across domains and modalities, often in zero or few-shot setups. However, their performance depends on the quality of prompts and the adaptation of the models to custom datasets. This work systematically examines how MedSAM generalizes across diverse medical imaging benchmarks, with six adaptation strategies: full-model and encoder-only LoRA, shallow and deep visual prompt tuning (VPT), and decoder-only and full fine-tuning. Models are trained on the International Skin Imaging Collaboration Challenge (ISIC 2018) dataset and evaluated under clean and increasingly noisy prompts on IN and Out-of-Distribution (OOD) datasets: close-OOD PH2 (dermoscopy), far-OOD BUSI (Breast Ultrasound Images Dataset) and CBIS-DDSM (Curated Breast Imaging Subset of the Digital Database for Screening Mammography). We show that adaptation improves performance on IN and close-OOD data but often reduces performance on far-OOD data. Full fine-tuning provides the best tradeoff, while encoder-only LoRA is the strongest parameter-efficient alternative, outperforming standard LoRA and VPT under far-OOD shifts. Using Centered Kernel Alignment (CKA), we show that far-OOD degradation is strongly associated with drift in decoder representations, whereas encoder similarity alone does not explain robustness. This suggests encoder-only LoRA provides stronger robustness than standard LoRA by adapting the encoder to distribution shift in visual features, while preserving the decoder pathway. We further show that random 0-100 pixel jitter on prompts produces more robust and better performing models. We thus conclude that robust MedSAM adaptation requires the combined consideration of prompt noise exposure, domain shift, and representation preservation. We release our code: https://github.com/ImSounic/medsam-vpt
• Abstract（参考訳）: プロンプトベースのMedSAMのような医療画像セグメンテーションの基盤モデルは、ドメインやモダリティにわたって、多くの場合ゼロまたは数ショットのセットアップでうまく一般化する。 しかし、それらのパフォーマンスはプロンプトの品質とカスタムデータセットへのモデルの適応に依存する。 この研究は、MedSAMが様々な医用画像のベンチマークでどのように一般化するかを体系的に検証し、フルモデルとエンコーダのみのLoRA、浅と深の視覚的プロンプトチューニング(VPT)、デコーダのみのフル微調整の6つの適応戦略を示す。 モデルはInternational Skin Imaging Collaboration Challenge (ISIC 2018)データセットでトレーニングされ、INとOut-of-Distribution (OOD)データセット(Dermoscopy)、Fast-OOD BUSI (Breast Ultrasound Images Dataset)、CBIS-DDSM (Curated Breast Imaging Subset of the Digital Database for Screening Mammography)のクリーンでノイズの多いプロンプトで評価される。 この結果から,INデータや近距離OODデータの性能は向上するが,遠距離OODデータの性能は低下することがわかった。 完全な微調整は最良のトレードオフを提供するが、エンコーダのみのLoRAはパラメータ効率の優れた代替品であり、遠OODシフト下では標準のLoRAとVPTを上回っている。 Centered Kernel Alignment (CKA)を用いて、デコーダ表現のドリフトと遠OOD劣化が強く関連していることを示し、エンコーダの類似性だけではロバスト性は説明できない。 これは、エンコーダのみのLoRAが、デコーダ経路を維持しながら、視覚的特徴の分散シフトにエンコーダを適用することによって、標準のLoRAよりも強力な堅牢性を提供することを示唆している。 さらに、プロンプト上の0-100ピクセルのランダムなジッタにより、より堅牢で優れた性能のモデルが得られることを示す。 したがって、ロバストなMedSAM適応には、迅速なノイズ露光、ドメインシフト、表現保存の併用が必要であると結論付けている。 https://github.com/ImSounic/medsam-vpt

関連論文リスト

• RobustMedSAM: Degradation-Resilient Medical Image Segmentation via Robust Foundation Model Adaptation [1.5033787705636696]
  医用画像セグメンテーションモデルは、ノイズ、ぼかし、モーションアーティファクト、モダリティ固有の歪みなどの現実的な画像劣化の下で劣化することが多い。 既存のアプローチは医療領域の適応や腐敗に対処するが、どちらも共同ではない。 画像エンコーダをMedSAMから初期化し,マスクデコーダを共有ViT-BアーキテクチャでロバストSAMから初期化する。
  論文  参考訳（メタデータ） (2026-04-10T18:45:20Z)
• Q-Save: Towards Scoring and Attribution for Generated Video Evaluation [65.83319736145869]
  本稿では,AIGV品質の総合評価のためのベンチマークデータセットとモデルであるQ-Saveを紹介する。 データセットには10000近いビデオが含まれており、それぞれにスカラー平均評価スコア(MOS)と微粒な属性ラベルが付与されている。 品質評価と属性に基づく説明を共同で行う統一評価モデルを提案する。
  論文  参考訳（メタデータ） (2025-11-24T07:00:21Z)
• VesSAM: Efficient Multi-Prompting for Segmenting Complex Vessel [68.24765319399286]
  本稿では,2次元血管セグメンテーションに適した,強力で効率的なフレームワークであるVesSAMを提案する。 VesSAMは、(1)局所的なテクスチャ機能を強化する畳み込みアダプタ、(2)解剖学的プロンプトを融合するマルチプロンプトエンコーダ、(3)ジャグアーティファクトを減らす軽量マスクデコーダを統合する。 VesSAMは、最先端のPEFTベースのSAMを10%以上のDiceと13%のIoUで一貫して上回っている。
  論文  参考訳（メタデータ） (2025-11-02T15:47:05Z)
• CNS-Bench: Benchmarking Image Classifier Robustness Under Continuous Nuisance Shifts [78.79936076607373]
  我々は,連続ニュアンスシフトベンチマークであるCNS-Benchを導入し,連続かつ現実的なニュアンスシフトのための画像分類器の堅牢性を定量化する。 本稿では,従来の手法よりも優れたフィルタリング機構を提案し,生成モデルによる信頼性の高いベンチマークを可能にする。
  論文  参考訳（メタデータ） (2025-07-23T16:15:48Z)
• Robust Few-Shot Vision-Language Model Adaptation [8.828443368038911]
  我々は,IDとOODの精度の向上を目的とした,頑健な数発のVLM適応について検討した。 このジレンマにはSRAPF(Stage-wise Retrieval Augmentation-based Adrial partial Finetuning)を応用した。 SRAPF は,(1) ID と検索データの両方を用いて視覚エンコーダを部分的に微調整する。
  論文  参考訳（メタデータ） (2025-06-05T07:37:15Z)
• MedBLIP: Fine-tuning BLIP for Medical Image Captioning [0.0]
  ROCOデータセットにおけるBLIPモデルの微調整の有効性について検討した。 以上の結果から,BLIPのドメイン固有微調整により,定量評価と定性評価の両指標における性能が著しく向上することが示唆された。 本研究は,医療応用へのターゲット適応の重要性を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-05-20T00:49:08Z)
• RWKV-UNet: Improving UNet with Long-Range Cooperation for Effective Medical Image Segmentation [70.79072961974141]
  本稿では,RWKV構造をU-Netアーキテクチャに統合する新しいモデルであるRWKV-UNetを提案する。 この統合により、長い範囲の依存関係をキャプチャし、コンテキスト理解を改善するモデルの能力が向上する。 11のベンチマークデータセットの実験により、RWKV-UNetは様々なタイプの医用画像セグメンテーションタスクで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2025-01-14T22:03:00Z)
• Improved Baselines with Synchronized Encoding for Universal Medical Image Segmentation [34.08601740109437]
  SyncSAMは、医用画像符号化を強化するために、畳み込みとトランスフォーマー機能を統合した同期デュアルブランチエンコーダを使用する。 SyncSAMはテストセットで最先端のパフォーマンスを実現し、目に見えないデータセットで強力なゼロショット機能を示す。
  論文  参考訳（メタデータ） (2024-08-19T11:01:00Z)
• Mamba or RWKV: Exploring High-Quality and High-Efficiency Segment Anything Model [138.20621211946985]
  変換器を用いた分割法は高解像度画像を扱う際の効率的な推論の課題に直面している。 本研究では,異なるアーキテクチャを探索し,効率的なセグメント・アズ・ア・モデルの設計に焦点をあてる。 RWKV-SAM は SAM-like モデルのための単純で効果的で高速なベースラインである。
  論文  参考訳（メタデータ） (2024-06-27T17:49:25Z)
• Perceptual Video Coding for Machines via Satisfied Machine Ratio Modeling [66.56355316611598]
  Satisfied Machine Ratio (SMR) は、圧縮された画像やビデオの知覚的品質を評価するメトリクスである。 SMRは機械の知覚的コーディングを可能にし、機械のためのビデオ符号化を特異性から一般性まで推進する。
  論文  参考訳（メタデータ） (2022-11-13T03:16:36Z)
• CVAD: A generic medical anomaly detector based on Cascade VAE [2.647674705784439]
  我々は、医用画像におけるOOD検出の一般化性に着目し、自己教師付きカスケード変量自動エンコーダに基づく異常検出器(CVAD)を提案する。 我々は,複数のスケールで潜在表現を結合した変分オートエンコーダのカスケードアーキテクチャを用いて,OODデータを分布内(ID)データと区別するために識別器に供給する。 我々は、最先端のディープラーニングモデルと比較し、クラス内およびクラス間OODのための様々なオープンアクセス医療画像データセットにおいて、我々のモデルの有効性を実証する。
  論文  参考訳（メタデータ） (2021-10-29T14:20:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。