論文の概要: Are Vision Foundation Models Foundational for Electron Microscopy Image Segmentation?
- arxiv url: http://arxiv.org/abs/2602.08505v1
- Date: Mon, 09 Feb 2026 10:55:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-10 20:26:25.181629
- Title: Are Vision Foundation Models Foundational for Electron Microscopy Image Segmentation?
- Title(参考訳): ビジョンファウンデーションモデルは電子顕微鏡画像分割の基礎となるか?
- Authors: Caterina Fuster-Barceló, Virginie Uhlmann,
- Abstract要約: 2つのパブリックデータセット(Lucchi++とOpenCLIP)を用いたミトコンドリア電子顕微鏡(EM)画像の問題点について検討する。
我々は、1つのEMデータセット上でのトレーニングが良いセグメンテーション性能をもたらすことを観察する(前景のインターセクションオーバ・ユニオンとして定量化される)。
複数のEMデータセットをトレーニングすると、考慮されたすべてのモデルのパフォーマンスが大幅に低下する。
- 参考スコア(独自算出の注目度): 0.6302369456012739
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Although vision foundation models (VFMs) are increasingly reused for biomedical image analysis, it remains unclear whether the latent representations they provide are general enough to support effective transfer and reuse across heterogeneous microscopy image datasets. Here, we study this question for the problem of mitochondria segmentation in electron microscopy (EM) images, using two popular public EM datasets (Lucchi++ and VNC) and three recent representative VFMs (DINOv2, DINOv3, and OpenCLIP). We evaluate two practical model adaptation regimes: a frozen-backbone setting in which only a lightweight segmentation head is trained on top of the VFM, and parameter-efficient fine-tuning (PEFT) via Low-Rank Adaptation (LoRA) in which the VFM is fine-tuned in a targeted manner to a specific dataset. Across all backbones, we observe that training on a single EM dataset yields good segmentation performance (quantified as foreground Intersection-over-Union), and that LoRA consistently improves in-domain performance. In contrast, training on multiple EM datasets leads to severe performance degradation for all models considered, with only marginal gains from PEFT. Exploration of the latent representation space through various techniques (PCA, Fréchet Dinov2 distance, and linear probes) reveals a pronounced and persistent domain mismatch between the two considered EM datasets in spite of their visual similarity, which is consistent with the observed failure of paired training. These results suggest that, while VFMs can deliver competitive results for EM segmentation within a single domain under lightweight adaptation, current PEFT strategies are insufficient to obtain a single robust model across heterogeneous EM datasets without additional domain-alignment mechanisms.
- Abstract(参考訳): 視覚基礎モデル(VFM)はバイオメディカル画像解析のためにますます再利用されているが、それらが提供する潜在表現が、ヘテロジニアス顕微鏡画像データセット間の効果的な転送と再利用を支援するのに十分であるかどうかは不明である。
本稿では,電子顕微鏡(EM)画像におけるミトコンドリアセグメンテーションの問題点について,2つの一般的な公開EMデータセット(Lucchi++,VNC)と最近の代表VFM(DINOv2,DINOv3,OpenCLIP)を用いて検討する。
我々は,VFM上に軽量セグメンテーションヘッドのみをトレーニングするフリーズバックボーン設定と,VFMを目標とするターゲットデータセットに微調整するローランク適応(LoRA)を用いたパラメータ効率細調整(PEFT)の2つの実用的モデル適応方式を評価する。
すべてのバックボーンにまたがって、1つのEMデータセットのトレーニングが優れたセグメンテーション性能(フォアグラウンドのインターセクション・オーバー・ユニオンとして定式化)をもたらし、LoRAはドメイン内のパフォーマンスを継続的に改善する。
対照的に、複数のEMデータセットのトレーニングは、PEFTの限界ゲインしか持たず、考慮されたすべてのモデルに対して深刻なパフォーマンス劣化をもたらす。
様々な手法 (PCA, Fréchet Dinov2 距離, 線形プローブ) による潜伏表現空間の探索により, 視覚的類似性にもかかわらず, 2つのEMデータセット間の顕著かつ永続的なドメインミスマッチが明らかとなった。
これらの結果から,VFMは単一領域内でのEMセグメンテーションの競合的な結果をもたらすことができるが,現在のPEFT戦略では,追加のドメインアライメント機構を使わずに異種EMデータセットをまたいだ単一ロバストモデルを得るには不十分であることが示唆された。
関連論文リスト
- AnomalyVFM -- Transforming Vision Foundation Models into Zero-Shot Anomaly Detectors [6.6016630449883955]
Anomaly VFMは、任意の事前訓練されたVFMを強力なゼロショット・アノマリー検出器に変えるフレームワークである。
提案手法は,頑健な3段階合成データセット生成手法とパラメータ効率適応機構を組み合わせたものである。
9つの異なるデータセットの平均画像レベルAUROCは94.1%であり、以前の手法を3.3%上回っている。
論文 参考訳(メタデータ) (2026-01-28T12:02:58Z) - Data Efficiency and Transfer Robustness in Biomedical Image Segmentation: A Study of Redundancy and Forgetting with Cellpose [2.37771211295026]
Cellposeのような一般的なバイオメディカルイメージセグメンテーションモデルは、様々な画像モダリティや細胞タイプにまたがって適用されてきている。
本研究では,Cellposeをケーススタディとして,課題の体系的実証分析を行う。
データ冗長性を評価するため、コンパクトで多様なトレーニングサブセットを構築するための単純なデータセット量子化(DQ)戦略を提案する。
破滅的な忘れ物を調べるため、クロスドメイン微調整実験を行い、ソースドメインの性能の著しい劣化を観察する。
論文 参考訳(メタデータ) (2025-11-06T20:45:56Z) - Can Diffusion Models Bridge the Domain Gap in Cardiac MR Imaging? [2.0202525145391093]
そこで本研究では,所定の基準に類似した人工心臓MR画像を生成するソースドメイン上で訓練された拡散モデルを提案する。
合成データは、空間的および構造的忠実性を維持し、ソースドメインと類似性を確保し、セグメンテーションマスクとの互換性を確保する。
ドメイン一般化、ドメイン不変セグメンテーションモデルは、合成ソースドメインデータに基づいて訓練され、ドメイン適応では、DMを用いてターゲットドメインデータをソースドメインへシフトする。
論文 参考訳(メタデータ) (2025-08-08T13:57:48Z) - Re-Visible Dual-Domain Self-Supervised Deep Unfolding Network for MRI Reconstruction [48.30341580103962]
本稿では、これらの問題に対処するために、新しい再視覚的二重ドメイン自己教師型深層展開ネットワークを提案する。
エンド・ツー・エンドの再構築を実現するために,シャンブルとポック・プロキシ・ポイント・アルゴリズム(DUN-CP-PPA)に基づく深層展開ネットワークを設計する。
高速MRIおよびIXIデータセットを用いて行った実験により,本手法は再建性能において最先端の手法よりも有意に優れていることが示された。
論文 参考訳(メタデータ) (2025-01-07T12:29:32Z) - SAMDA: Leveraging SAM on Few-Shot Domain Adaptation for Electronic
Microscopy Segmentation [3.7562258027956186]
本稿では,新しいドメイン適応フレームワークSAMDAを紹介する。
これは、Segment Anything Model(SAM)と埋め込み空間のnnUNetを組み合わせることで、高い転送性と精度を実現する。
論文 参考訳(メタデータ) (2024-03-12T02:28:29Z) - Transferring Ultrahigh-Field Representations for Intensity-Guided Brain
Segmentation of Low-Field Magnetic Resonance Imaging [51.92395928517429]
7T MRIの使用は、低磁場MRIと比較して高コストでアクセシビリティが低いため制限されている。
本研究では,入力されたLF磁気共鳴特徴表現と,脳画像分割タスクのための7T様特徴表現とを融合したディープラーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-13T12:21:06Z) - Learning Multiscale Consistency for Self-supervised Electron Microscopy
Instance Segmentation [48.267001230607306]
本稿では,EMボリュームのマルチスケール一貫性を高める事前学習フレームワークを提案する。
当社のアプローチでは,強力なデータ拡張と弱いデータ拡張を統合することで,Siameseネットワークアーキテクチャを活用している。
効果的にボクセルと機能の一貫性をキャプチャし、EM分析のための転送可能な表現を学習する。
論文 参考訳(メタデータ) (2023-08-19T05:49:13Z) - Convolutional Monge Mapping Normalization for learning on sleep data [63.22081662149488]
我々は、CMMN(Convolutional Monge Mapping Normalization)と呼ばれる新しい手法を提案する。
CMMNは、そのパワースペクトル密度(PSD)をトレーニングデータに基づいて推定されるワッサーシュタインバリセンタに適応させるために、信号をフィルタリングする。
睡眠脳波データに関する数値実験により、CMMNはニューラルネットワークアーキテクチャから独立して、顕著で一貫したパフォーマンス向上をもたらすことが示された。
論文 参考訳(メタデータ) (2023-05-30T08:24:01Z) - Cross-Modality Brain Tumor Segmentation via Bidirectional
Global-to-Local Unsupervised Domain Adaptation [61.01704175938995]
本論文では,UDAスキームに基づくBiGL(Bidirectional Global-to-Local)適応フレームワークを提案する。
具体的には、脳腫瘍をセグメント化するために、双方向画像合成およびセグメンテーションモジュールを提案する。
提案手法は, 最先端の非教師なし領域適応法を大きなマージンで上回っている。
論文 参考訳(メタデータ) (2021-05-17T10:11:45Z) - Cross-Domain Segmentation with Adversarial Loss and Covariate Shift for
Biomedical Imaging [2.1204495827342438]
本論文は,異なるモダリティから異なるパターンと共有パターンをカプセル化することにより,ドメイン間データから堅牢な表現を学習できる新しいモデルの実現を目的とする。
正常な臨床試験で得られたCTおよびMRI肝データに対する試験は、提案したモデルが他のすべてのベースラインを大きなマージンで上回っていることを示している。
論文 参考訳(メタデータ) (2020-06-08T07:35:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。