論文の概要: On the Out of Distribution Robustness of Foundation Models in Medical Image Segmentation

• arxiv url: http://arxiv.org/abs/2311.11096v1
• Date: Sat, 18 Nov 2023 14:52:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-22 12:14:29.906191
• Title: On the Out of Distribution Robustness of Foundation Models in Medical Image Segmentation
• Title（参考訳）: 医用画像分割における基礎モデルの分布ロバスト性について
• Authors: Duy Minh Ho Nguyen, Tan Ngoc Pham, Nghiem Tuong Diep, Nghi Quoc Phan, Quang Pham, Vinh Tong, Binh T. Nguyen, Ngan Hoang Le, Nhat Ho, Pengtao Xie, Daniel Sonntag, Mathias Niepert
• Abstract要約: 視覚と言語の基礎は、様々な自然画像とテキストデータに基づいて事前訓練されており、有望なアプローチとして現れている。 一般化性能を,同じ分布データセット上で微調整した後,事前学習した各種モデルの未確認領域と比較した。 さらに,凍結モデルに対する新しいベイズ不確実性推定法を開発し,分布外データに基づくモデルの性能評価指標として利用した。
• 参考スコア（独自算出の注目度）: 47.95611203419802
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Constructing a robust model that can effectively generalize to test samples under distribution shifts remains a significant challenge in the field of medical imaging. The foundational models for vision and language, pre-trained on extensive sets of natural image and text data, have emerged as a promising approach. It showcases impressive learning abilities across different tasks with the need for only a limited amount of annotated samples. While numerous techniques have focused on developing better fine-tuning strategies to adapt these models for specific domains, we instead examine their robustness to domain shifts in the medical image segmentation task. To this end, we compare the generalization performance to unseen domains of various pre-trained models after being fine-tuned on the same in-distribution dataset and show that foundation-based models enjoy better robustness than other architectures. From here, we further developed a new Bayesian uncertainty estimation for frozen models and used them as an indicator to characterize the model's performance on out-of-distribution (OOD) data, proving particularly beneficial for real-world applications. Our experiments not only reveal the limitations of current indicators like accuracy on the line or agreement on the line commonly used in natural image applications but also emphasize the promise of the introduced Bayesian uncertainty. Specifically, lower uncertainty predictions usually tend to higher out-of-distribution (OOD) performance.
• Abstract（参考訳）: 分布シフト下のサンプルを効果的に一般化するロバストモデルの構築は,医用画像の分野において重要な課題である。 自然画像とテキストデータの広範囲なセットで事前学習された視覚と言語の基礎モデルが、有望なアプローチとして登場した。 注釈付きサンプルを限られた量だけ必要とせず、さまざまなタスクにまたがる素晴らしい学習能力を示す。 多くの技術が特定の領域にこれらのモデルを適用するためのより良い微調整戦略の開発に重点を置いている一方で、医用画像分割タスクにおけるドメインシフトに対する堅牢性について検討している。 この目的のために,同一の分散データセット上で微調整された後,様々な事前学習モデルの未学習領域と比較し,基盤ベースモデルが他のアーキテクチャよりもロバスト性が高いことを示す。 そこで我々は,凍結モデルに対する新たなベイズ不確実性推定法を開発し,モデルの性能をood(out-of-distribution)データで特徴付ける指標として用いた。 実験では, 直線上の精度や, 自然画像で一般的に使用される線上の合意など, 現在の指標の限界を明らかにするだけでなく, 導入されるベイズの不確かさの期待を強調する。 特に、より低い不確実性予測は、通常、より高いout-of-distribution (ood)パフォーマンスを示す。

関連論文リスト

• Unsupervised Model Diagnosis [49.36194740479798]
  本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:03Z)
• Enhancing Robustness of Foundation Model Representations under Provenance-related Distribution Shifts [8.298173603769063]
  分布シフト下における基礎モデルに基づくモデルの安定性について検討する。 我々は,多施設データセットの文脈に現れる分布シフトの形式である,証明によるコンバウンディングに焦点をあてる。 その結果, 基礎モデルでは, コンバウンド・バイ・プロビデンス関係の分布シフトに対して, ある程度の頑健性を示すが, 調整により改善できることがわかった。
  論文  参考訳（メタデータ） (2023-12-09T02:02:45Z)
• Robust Fine-Tuning of Vision-Language Models for Domain Generalization [6.7181844004432385]
  ファンデーションモデルは、分散シフトの下で、印象的なゼロショット推論能力とロバスト性を持っている。 一般的な視覚言語基盤モデルCLIPの微調整のための新しいレシピを提案する。 私たちの実験では、ゼロショットCLIPは、より複雑なベンチマークでトレーニング済みのビジョンモデルのパフォーマンスと一致しないが、少数ショットCLIPの微調整は、ビジョンのみのパフォーマンスよりも優れていることを示した。
  論文  参考訳（メタデータ） (2023-11-03T20:50:40Z)
• Certification of Deep Learning Models for Medical Image Segmentation [44.177565298565966]
  ランダムな平滑化と拡散モデルに基づく医用画像のための認定セグメンテーションベースラインを初めて提示する。 この結果から,拡散確率モデルをデノナイズするパワーを活用することで,ランダムな平滑化の限界を克服できることが示唆された。
  論文  参考訳（メタデータ） (2023-10-05T16:40:33Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• Realistic Data Enrichment for Robust Image Segmentation in Histopathology [2.248423960136122]
  拡散モデルに基づく新しい手法を提案し、不均衡なデータセットを、表現不足なグループから有意な例で拡張する。 本手法は,限定的な臨床データセットを拡張して,機械学習パイプラインのトレーニングに適したものにする。
  論文  参考訳（メタデータ） (2023-04-19T09:52:50Z)
• Ambiguous Medical Image Segmentation using Diffusion Models [60.378180265885945]
  我々は,グループ洞察の分布を学習することで,複数の可算出力を生成する単一拡散モデルに基づくアプローチを提案する。 提案モデルでは,拡散の固有のサンプリングプロセスを利用してセグメンテーションマスクの分布を生成する。 その結果,提案手法は既存の最先端曖昧なセグメンテーションネットワークよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-04-10T17:58:22Z)
• Adapting Pretrained Vision-Language Foundational Models to Medical Imaging Domains [3.8137985834223502]
  臨床の文脈を忠実に描写する医療画像の生成モデルを構築することは、医療データセットの不明瞭さを軽減するのに役立つ。 安定拡散パイプラインのサブコンポーネントを探索し、モデルを微調整して医用画像を生成する。 我々の最良の性能モデルは、安定な拡散ベースラインを改善し、合成ラジオグラフィ画像に現実的な異常を挿入するように条件付けすることができる。
  論文  参考訳（メタデータ） (2022-10-09T01:43:08Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• MEMO: Test Time Robustness via Adaptation and Augmentation [131.28104376280197]
  テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。 最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。 モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
  論文  参考訳（メタデータ） (2021-10-18T17:55:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。