論文の概要: Evaluating Vision Foundation Models for Pixel and Object Classification in Microscopy

• arxiv url: http://arxiv.org/abs/2603.19802v1
• Date: Fri, 20 Mar 2026 09:40:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 19:48:39.089921
• Title: Evaluating Vision Foundation Models for Pixel and Object Classification in Microscopy
• Title（参考訳）: 顕微鏡による画像と物体の分類のためのビジョン基礎モデルの評価
• Authors: Carolin Teuber, Anwai Archit, Tobias Boothe, Peter Ditte, Jochen Rink, Constantin Pape,
• Abstract要約: 視覚基礎モデル(VFM)は,現在のアプローチと比較して画素やオブジェクトの分類を改善することができるかを検討する。 その結果,手作り機能よりも一貫した改善が見られた。 本研究は、顕微鏡におけるVFMのベンチマークを確立し、今後の開発状況について報告する。
• 参考スコア（独自算出の注目度）: 1.0848249195108657
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning underlies most modern approaches and tools in computer vision, including biomedical imaging. However, for interactive semantic segmentation (often called pixel classification in this context) and interactive object-level classification (object classification), feature-based shallow learning remains widely used. This is due to the diversity of data in this domain, the lack of large pretraining datasets, and the need for computational and label efficiency. In contrast, state-of-the-art tools for many other vision tasks in microscopy - most notably cellular instance segmentation - already rely on deep learning and have recently benefited substantially from vision foundation models (VFMs), particularly SAM. Here, we investigate whether VFMs can also improve pixel and object classification compared to current approaches. To this end, we evaluate several VFMs, including general-purpose models (SAM, SAM2, DINOv3) and domain-specific ones ($μ$SAM, PathoSAM), in combination with shallow learning and attentive probing on five diverse and challenging datasets. Our results demonstrate consistent improvements over hand-crafted features and provide a clear pathway toward practical improvements. Furthermore, our study establishes a benchmark for VFMs in microscopy and informs future developments in this area.
• Abstract（参考訳）: ディープラーニングは、バイオメディカルイメージングを含む、コンピュータビジョンにおける最新のアプローチとツールの基盤となっている。 しかし、インタラクティブなセマンティックセグメンテーション(この文脈ではピクセル分類と呼ばれる)やインタラクティブなオブジェクトレベルの分類(オブジェクト分類)では、特徴に基づく浅層学習が広く使われている。 これは、この領域におけるデータの多様性、大規模な事前トレーニングデータセットの欠如、計算とラベルの効率性の必要性による。 対照的に、顕微鏡における他の多くのビジョンタスクのための最先端のツール(特にセルラーインスタンスセグメンテーション)は、すでにディープラーニングに依存しており、最近ではビジョン基盤モデル(VFM)、特にSAMから大きく恩恵を受けている。 本稿では,VFMが現在のアプローチと比較して画素やオブジェクトの分類を改善できるかどうかを検討する。 この目的のために,汎用モデル (SAM, SAM2, DINOv3) やドメイン固有モデル (μ$SAM, PathoSAM) などいくつかの VFM の評価を行った。 本結果は手作り機能よりも一貫した改善を示し,実践的改善に向けた明確な道筋を提供する。 さらに,本研究では,顕微鏡におけるVFMのベンチマークを確立し,今後の開発状況について報告する。

関連論文リスト

• Seeing Further on the Shoulders of Giants: Knowledge Inheritance for Vision Foundation Models [54.517276878748305]
  ビジョンファウンデーションモデル(VFM)は、主にデータ中心の手法を用いて開発されている。 多くのオープンソースビジョンモデルは、ドメイン固有のデータに基づいて事前訓練されている。 本稿では,共同知識の伝達と保存を通じてVFMを訓練するためのモデル駆動型アプローチを提案する。
  論文  参考訳（メタデータ） (2025-08-20T13:30:23Z)
• Benchmarking histopathology foundation models in a multi-center dataset for skin cancer subtyping [1.927195358774599]
  大規模なドメイン内データセットの事前トレーニングは、履歴病理基盤モデル(FM)にタスクに依存しないデータ表現を学習する能力を与える。 計算病理学では、スライド全体の自動解析には、スライドのギガピクセルスケールのため、複数のインスタンス学習(MIL)フレームワークが必要である。 本研究は,MIL分類フレームワーク内のパッチレベルの特徴抽出器として,病理組織学的FMを評価するための新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-06-23T14:12:16Z)
• Masked Autoencoders for Microscopy are Scalable Learners of Cellular Biology [2.7280901660033643]
  本研究は、弱教師付き分類器と自己教師付きマスク付きオートエンコーダ(MAE)のスケーリング特性について検討する。 以上の結果から,ViTをベースとしたMAEは,様々なタスクにおいて弱い教師付き分類器よりも優れており,公的なデータベースから得られた既知の生物学的関係を思い出すと,11.5%の相対的な改善が達成されることがわかった。 我々は、異なる数のチャネルと順序の画像を推論時に入力できる新しいチャネルに依存しないMAEアーキテクチャ(CA-MAE)を開発した。
  論文  参考訳（メタデータ） (2024-04-16T02:42:06Z)
• A Novel Benchmark for Few-Shot Semantic Segmentation in the Era of Foundation Models [7.428199805959228]
  Few-shot semantic segmentation (FSS) はコンピュータビジョンにおいて重要な課題である。 一般化的特徴抽出器としての視覚基盤モデル(VFM)の出現に伴い,これらのモデルをFSSに適用することを模索する。 本稿では,このタスクに適した単純で簡単な適応プロセスを備えた,新しい現実的なベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-01-20T19:50:51Z)
• RefSAM: Efficiently Adapting Segmenting Anything Model for Referring Video Object Segmentation [53.4319652364256]
  本稿では,ビデオオブジェクトのセグメンテーションを参照するためのSAMの可能性を探るRefSAMモデルを提案する。 提案手法は,Cross-RValModalを用いることで,モダリティ学習を向上させるためにオリジナルのSAMモデルに適応する。 我々は、言語と視覚の特徴を効果的に調整し、融合させるために、パラメータ効率のチューニング戦略を採用している。
  論文  参考訳（メタデータ） (2023-07-03T13:21:58Z)
• Domain Generalization for Mammographic Image Analysis with Contrastive Learning [62.25104935889111]
  効果的なディープラーニングモデルのトレーニングには、さまざまなスタイルと品質を備えた大規模なデータが必要である。 より優れたスタイルの一般化能力を備えた深層学習モデルを実現するために,新しいコントラスト学習法が開発された。 提案手法は,様々なベンダスタイルドメインのマンモグラムや,いくつかのパブリックデータセットを用いて,広範囲かつ厳密に評価されている。
  論文  参考訳（メタデータ） (2023-04-20T11:40:21Z)
• Understanding the Tricks of Deep Learning in Medical Image Segmentation: Challenges and Future Directions [66.40971096248946]
  本稿では,モデル実装の異なるフェーズに対して,MedISegの一連のトリックを収集する。 本稿では,これらの手法の有効性を一貫したベースライン上で実験的に検討する。 私たちはまた、それぞれのコンポーネントがプラグインとプレイの利点を持つ強力なMedISegリポジトリをオープンソースにしました。
  論文  参考訳（メタデータ） (2022-09-21T12:30:05Z)
• Segmentation in large-scale cellular electron microscopy with deep learning: A literature survey [6.144134660210243]
  ディープラーニングアルゴリズムは、ピクセルレベルのラベル付けと、同じクラスの別々のインスタンスのラベル付けの両方において、印象的な結果を得た。 本稿では,これらのアルゴリズムが,EM画像中の細胞構造とサブセル構造を分割する作業にどのように適応したかを検討する。
  論文  参考訳（メタデータ） (2022-06-14T20:57:49Z)
• Digital Fingerprinting of Microstructures [44.139970905896504]
  微細な情報をフィンガープリントする効率的な方法を見つけることは、データ中心の機械学習アプローチを活用するための重要なステップである。 本稿では,マイクロ構造を分類し,その特徴を機械学習タスクに応用する。 特に、ImageNetデータセットで事前訓練された畳み込みニューラルネットワーク(CNN)によるトランスファーラーニングを利用するメソッドは、他の方法よりも優れていることが一般的に示されている。
  論文  参考訳（メタデータ） (2022-03-25T15:40:44Z)
• Factors of Influence for Transfer Learning across Diverse Appearance Domains and Task Types [50.1843146606122]
  現在の最新のコンピュータビジョンモデルでは、簡単な転送学習が一般的です。 転校学習に関するこれまでの体系的な研究は限られており、作業が期待される状況は十分に理解されていない。 本論文では,非常に異なる画像領域にまたがる転送学習の広範な実験的研究を行う。
  論文  参考訳（メタデータ） (2021-03-24T16:24:20Z)
• Multimodal Transfer Learning-based Approaches for Retinal Vascular Segmentation [2.672151045393935]
  網膜微小循環の研究は、高血圧や糖尿病などの多くの眼疾患および全身疾患の分析において重要な問題です。 FCNはイメージセグメンテーションにおける最も成功したアプローチである。 本研究では,網膜血管セグメンテーションに対するマルチモーダルトランスファー学習に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2020-12-18T10:38:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。