論文の概要: MicroCLIP: Connecting Text and Microscopy Images via Contrastive Language--Image Pretraining

• arxiv url: http://arxiv.org/abs/2610.17866v1
• Date: Tue, 13 Oct 2026 07:26:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 08:29:29.62076
• Title: MicroCLIP: Connecting Text and Microscopy Images via Contrastive Language--Image Pretraining
• Title（参考訳）: MicroCLIP:コントラスト言語によるテキストと顕微鏡画像の接続--画像事前学習
• Abstract要約: 視覚言語モデルであるMicroCLIPを導入し、自然言語の監視から一般化可能な細胞および細胞内表現を学習する。 実験により,顕微鏡画像におけるゼロショット分類とテキスト画像検索において,MicroCLIPが先行的な性能を発揮することが示された。
• 参考スコア（独自算出の注目度）: 19.020298318217215
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding fluorescence microscopy images is fundamental to automating biological research. However, existing methods typically learn predefined concepts from closed-set data, limiting transfer across tasks and biological contexts. In this work, we introduce MicroCLIP, a vision-language model that learns generalizable cellular and subcellular representations from natural language supervision for open-set image classification and retrieval. To pretrain MicroCLIP, we construct MicroPool-2M, a dataset of approximately 2.5 million fluorescence microscopy image-text pairs spanning diverse cellular structures, cell lines, and imaging conditions. Aligning microscopy images with biological concepts in natural language is challenging because most images lack descriptive captions and biological knowledge annotations. We therefore progressively establish image-text associations at three levels to provide MicroCLIP with richer semantic supervision: (1) category-level alignment links images to standardized labels defined by subcellular structure-cell-line combinations; (2) knowledge-level alignment incorporates biological priors derived from these labels to capture relationships across species and cell types; and (3) detail-level alignment uses a multimodal large language model to recaption and verify image-text pairs at scale, emphasizing fine-grained visual characteristics. Extensive experiments demonstrate that MicroCLIP achieves leading performance in zero-shot classification and text-image retrieval on microscopy images. It retrieves images with specific cellular characteristics from thousands of candidates and generalizes to unseen biological concepts without additional supervision. These results highlight MicroCLIP's potential as a foundation model for fluorescence microscopy.
• Abstract（参考訳）: 蛍光顕微鏡画像の理解は生物学的研究の自動化に不可欠である。 しかし、既存の手法は一般にクローズドセットデータから事前定義された概念を学習し、タスクや生物学的コンテキスト間の移動を制限する。 本研究では、オープンセット画像分類と検索のための自然言語監督から、一般化可能な細胞および細胞内表現を学習する視覚言語モデルであるMicroCLIPを紹介する。 MicroCLIPを事前訓練するために, 細胞構造, 細胞線, 画像条件にまたがる約2.5万個の蛍光顕微鏡画像-テキストペアのデータセットであるMicroPool-2Mを構築した。 多くの画像には記述的なキャプションや生物学的知識アノテーションが欠けているため、自然言語で生物学的概念を付加した顕微鏡画像の調整は困難である。 そこで我々は,(1) カテゴリレベルのアライメントは,(1) サブセル構造とセルラインの組み合わせによって定義された標準化されたラベルに画像をリンクする; (2) 知識レベルのアライメントは,これらのラベルから派生した生物学的な先入観を組み込んで,種とセルタイプ間の関係を捉える; (3) 詳細レベルのアライメントは,マルチモーダルな言語モデルを用いて,大規模に画像テキストペアを再キャプチャし,検証し,きめ細かい視覚的特徴を強調する。 顕微鏡画像におけるゼロショット分類とテキスト画像検索において,MicroCLIPが先行する性能を実証した。 数千の候補から特定の細胞特性の画像を検索し、追加の監督なしに生物学的概念の見当たらないものに一般化する。 これらの結果は、蛍光顕微鏡の基礎モデルとしてのMicroCLIPの可能性を示している。

関連論文リスト

• scMIR: a vision-language foundation model for single-cell light microscopy image representation [9.935076530517575]
  単一セル光顕微鏡画像表現のための視覚言語基盤モデル scMIR を提案する。 scMIRは、自己教師付き画像再構成とテキスト誘導のクロスモーダルアライメントを組み合わせる。 scMIRはタスク固有の微調整を必要とせず、様々なタスクにまたがる強力な一般化能力を示す。
  論文  参考訳（メタデータ） (2026-07-21T01:59:07Z)
• Benchmarking Vision-Language Models for Microscopic Plant Image Understanding [34.461133608619015]
  植物画像の視覚言語モデル(VLM)を評価するためのベンチマークであるPlantMicroを提案する。 我々は、顕微鏡画像理解の異なる側面を捉える一連の補完的なタスクを設計する。 実験により、現在のVLMは微粒な認識と生物学的根拠の推論に苦しむことが示された。
  論文  参考訳（メタデータ） (2026-06-21T13:39:23Z)
• MMBU: A Massive Multi-modal Biomedical Understanding Benchmark to Probe the Perception Capabilities of Vision-Language Models [83.50100003741628]
  ビジョンと言語モデル(VLM)は、バイオメディカルイメージングを変革する大きな可能性を秘めている。 本稿では,MMBU(Massive Multimodal Biomedical Understanding)ベンチマークを紹介する。 今までで最大のビジョンと言語ベンチマークで、35のサブモダリティと豊富な構造化メタデータをカバーしている。
  論文  参考訳（メタデータ） (2026-06-04T20:24:47Z)
• Multi-View Synergistic Learning with Vision-Language Adaption for Low-Resource Biomedical Image Classification [59.24009931000134]
  MVSL(Multi-View Synergistic Learning)は、適応パラダイム、表現の粒度、疾患の意味的関係に対処する統合フレームワークである。 MVSLは、視覚的およびテキスト的エンコーダの適応を分離し、それぞれの表現特性を尊重する。 さらに、グローバルなイメージセマンティクスと局所的な病変レベルの証拠の両方を明示的にモデル化するために、多粒性コントラスト学習を導入する。 MVSLは、いくつかのショットとゼロショットの分類設定において、最先端のメソッドを一貫して上回る。
  論文  参考訳（メタデータ） (2026-04-27T02:41:27Z)
• MAD: Microenvironment-Aware Distillation -- A Pretraining Strategy for Virtual Spatial Omics from Microscopy [6.991792373060689]
  細胞中心の埋め込みを学習する事前学習戦略であるMAD(microenvironment-aware distillation)を導入する。 MADは、セルサブタイプ、転写予測、バイオインフォマティック推論を含む下流タスクで最先端の予測性能を達成する。
  論文  参考訳（メタデータ） (2026-03-11T22:06:20Z)
• Biology-Instructions: A Dataset and Benchmark for Multi-Omics Sequence Understanding Capability of Large Language Models [55.74944165932666]
  本稿では,生物配列の大規模学習データセットであるBiology-Instructionsを紹介する。 このデータセットは、大きな言語モデル(LLM)と複雑な生物学的シーケンス関連タスクをブリッジし、その汎用性と推論を強化する。 また,マルチオミクスタスクにおける現状のLLMの,専門訓練なしでの大幅な制限を強調した。
  論文  参考訳（メタデータ） (2024-12-26T12:12:23Z)
• Hierarchical Text-to-Vision Self Supervised Alignment for Improved Histopathology Representation Learning [64.1316997189396]
  病理組織像のための新しい言語型自己教師学習フレームワーク,階層型言語型自己監督(HLSS)を提案する。 その結果,OpenSRH と TCGA の2つの医用画像ベンチマークにおいて,最先端の性能が得られた。
  論文  参考訳（メタデータ） (2024-03-21T17:58:56Z)
• Learning to Exploit Temporal Structure for Biomedical Vision-Language Processing [53.89917396428747]
  視覚言語処理における自己教師あり学習は、画像とテキストのモダリティのセマンティックアライメントを利用する。 トレーニングと微調整の両方で利用できる場合、事前のイメージとレポートを明示的に説明します。 我々のアプローチはBioViL-Tと呼ばれ、テキストモデルと共同で訓練されたCNN-Transformerハイブリッドマルチイメージエンコーダを使用する。
  論文  参考訳（メタデータ） (2023-01-11T16:35:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。