論文の概要: A Multimodal 3D Foundation Model for Light Sheet Fluorescence Microscopy Enables Few-Shot Segmentation, Classification, and Deblurring

• arxiv url: http://arxiv.org/abs/2605.26026v1
• Date: Mon, 25 May 2026 16:50:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:20.52746
• Title: A Multimodal 3D Foundation Model for Light Sheet Fluorescence Microscopy Enables Few-Shot Segmentation, Classification, and Deblurring
• Title（参考訳）: 薄板蛍光顕微鏡のための多モード3次元基礎モデル
• Authors: Adina Scheinfeld, Haotan Zhang, Shang Mu, Rudolf L. M. van Herten, Lucas Stoffl, Ali Erturk, Zhuhao Wu, Johannes C. Paetzold,
• Abstract要約: 本研究では,LSMデータに対する3次元基礎モデルを提案する。 我々は、マスク付き再構成と画像テキストアライメントを共同で最適化することで、転送可能なボリューム表現を学習する。
• 参考スコア（独自算出の注目度）: 4.068715668083084
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Light sheet fluorescence microscopy (LSM) enables high-resolution, three-dimensional (3D) imaging of biological specimens, providing rich volumetric data for studying cellular organization, pathology, and vascular networks. However, the size, dimensionality, and annotation burden of LSM data make supervised deep learning approaches costly and difficult to scale. Additionally, despite the abundance of unannotated LSM volumes, foundation models for this modality remain underexplored due to computational challenges and the complexity of volumetric representation learning. In this work, we introduce a 3D foundation model for LSM data, pretrained on a large curated collection of 3D images spanning multiple organisms, stains, and imaging protocols. We learn transferable volumetric representations by jointly optimizing for masked reconstruction and image-text alignment. The pretrained backbone drastically reduces the annotation burden, enabling efficient, few-shot adaptation for varied downstream tasks. We evaluate this approach on downstream segmentation, classification, and deblurring. Our results demonstrate consistent improvements over baselines, (1) when measured using standard evaluation metrics and (2) when rigorously assessed by domain experts. This highlights the potential of foundation model pretraining to reduce annotation requirements while improving performance across diverse LSM analysis tasks. Pretrained model weights and code for pretraining and finetuning are publicly available: https://github.com/AdinaScheinfeld/lsm_fm_public_repo.git.
• Abstract（参考訳）: 光シート蛍光顕微鏡(LSM)は、生物学的標本の高解像度3次元イメージングを可能にし、細胞組織、病理、血管網を研究するための豊富な体積データを提供する。 しかし, LSMデータのサイズ, 寸法, アノテーションの負担により, 教師付き深層学習アプローチはコストがかかり, スケールが困難になる。 さらに、注釈のないLSMボリュームが豊富にあるにもかかわらず、このモダリティの基礎モデルは、計算上の問題と体積表現学習の複雑さのために、まだ未解明のままである。 本研究では, 複数生物, 染色, イメージングプロトコルにまたがる大規模3次元画像の収集を前提とした, LSMデータのための3次元基礎モデルを提案する。 我々は、マスク付き再構成と画像テキストアライメントを共同で最適化することで、転送可能なボリューム表現を学習する。 事前訓練されたバックボーンは、アノテーションの負担を大幅に減らし、下流の様々なタスクに対して効率よく、数発の適応を可能にする。 本手法は,下流のセグメンテーション,分類,デブロワーリングについて評価する。 その結果,(1)標準評価指標を用いて測定した場合,(2)ドメインの専門家による厳密な評価では,基準値よりも一貫した改善が見られた。 このことは、様々なLSM分析タスクのパフォーマンスを改善しながら、アノテーション要求を減らすための基礎モデル事前トレーニングの可能性を強調している。 Pretrained model weights and code for Pretraining and finetuning https://github.com/AdinaScheinfeld/lsm_fm_public_repo.git

関連論文リスト

• Optimizing 3D Diffusion Models for Medical Imaging via Multi-Scale Reward Learning [7.493047521402676]
  本稿では,RL(Reinforcement Learning)を用いた3次元拡散モデルの改良手法を提案する。 2次元スライス・アセスメントと3次元解析を統合した新たな報酬システムによって導かれるPPO(Proximal Policy Optimization)を用いてモデルを微調整する。 以上の結果から,RLフィードバックを組み込むことで,より高品質な分散を実現することが可能であることが示唆された。
  論文  参考訳（メタデータ） (2026-03-06T11:30:55Z)
• UGoDIT: Unsupervised Group Deep Image Prior Via Transferable Weights [10.447347462729462]
  UGoDITは、訓練中にごく少数のサブサンプル測定ベクトルMしか利用できない低データ方式のために設計されている。 本手法は,共有エンコーダとMアンタングルデコーダを最適化することにより,転送可能な重みの集合を学習する。 医療用(マルチコイルMRI)と自然用(超分解能・非線形劣化)の画像回復タスクの両面でUGoDITを評価した。
  論文  参考訳（メタデータ） (2025-05-16T22:05:28Z)
• MiM: Mask in Mask Self-Supervised Pre-Training for 3D Medical Image Analysis [9.472502717128556]
  Masked AutoEncoder (MAE) for feature pre-trainingは、様々な医療ビジョンタスクにViTの可能性を解き放つことができる。 本研究では,3次元医用画像の事前学習フレームワークであるMask in Mask(MiM)を提案する。
  論文  参考訳（メタデータ） (2024-04-24T01:14:33Z)
• Disruptive Autoencoders: Leveraging Low-level features for 3D Medical Image Pre-training [51.16994853817024]
  本研究は、3Dラジオグラフィ画像のための効果的な事前学習フレームワークの設計に焦点をあてる。 ローカルマスキングと低レベルの摂動の組み合わせによって生成された破壊から、オリジナルのイメージを再構築しようとする事前トレーニングフレームワークであるDisruptive Autoencodersを紹介する。 提案する事前トレーニングフレームワークは、複数のダウンストリームタスクでテストされ、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-07-31T17:59:42Z)
• Interpretable 2D Vision Models for 3D Medical Images [47.75089895500738]
  本研究では,3次元画像処理における中間特徴表現を用いた2次元ネットワークの適応手法を提案する。 我々は、ベンチマークとして3D MedMNISTデータセットと、既存の手法に匹敵する数百の高分解能CTまたはMRIスキャンからなる2つの実世界のデータセットを示す。
  論文  参考訳（メタデータ） (2023-07-13T08:27:09Z)
• MIS-FM: 3D Medical Image Segmentation using Foundation Models Pretrained on a Large-Scale Unannotated Dataset [14.823114726604853]
  本稿では,3次元セグメンテーションモデルを事前学習するための,VF(Volume Fusion)と呼ばれる新たな自己教師型学習戦略を提案する。 VFは、手動のアノテーションなしで自己教師付きセグメンテーションタスクとして定式化される各ボクセルの融合係数を予測するようモデルを強制する。 頭部, 頸部臓器, 胸部, 腹部臓器など, 下流領域の異なる部位を対象とする実験により, 我々の事前訓練モデルがスクラッチからトレーニングに優れていたことが判明した。
  論文  参考訳（メタデータ） (2023-06-29T13:22:13Z)
• LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching [59.01894976615714]
  LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。 55の公開データセットから約13万の医療画像を収集しました。 LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
  論文  参考訳（メタデータ） (2023-06-20T22:21:34Z)
• Stacking Ensemble Learning in Deep Domain Adaptation for Ophthalmic Image Classification [61.656149405657246]
  ドメイン適応は、十分なラベルデータを取得することが困難な画像分類タスクに有効である。 本稿では,3つのドメイン適応手法を拡張することで,アンサンブル学習を積み重ねるための新しい手法SELDAを提案する。 Age-Related Eye Disease Study (AREDS)ベンチマーク眼科データセットを用いた実験結果から,提案モデルの有効性が示された。
  論文  参考訳（メタデータ） (2022-09-27T14:19:00Z)
• PGL: Prior-Guided Local Self-supervised Learning for 3D Medical Image Segmentation [87.50205728818601]
  本稿では,潜在特徴空間における局所的一貫性を学習するPGL(PresideedGuided Local)自己教師モデルを提案する。 我々のPGLモデルは、局所領域の特異な表現を学習し、したがって構造情報を保持できる。
  論文  参考訳（メタデータ） (2020-11-25T11:03:11Z)
• Modelling the Distribution of 3D Brain MRI using a 2D Slice VAE [66.63629641650572]
  本研究では,2次元スライスVAEとガウスモデルを組み合わせた3次元MR脳の体積分布をモデル化する手法を提案する。 また,本研究では,脳解剖学に適合するセグメンテーションの精度を定量的に評価する新たなボリューム評価手法を提案する。
  論文  参考訳（メタデータ） (2020-07-09T13:23:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。