論文の概要: CellCLIP -- Learning Perturbation Effects in Cell Painting via Text-Guided Contrastive Learning
- arxiv url: http://arxiv.org/abs/2506.06290v2
- Date: Tue, 17 Jun 2025 04:58:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-18 15:22:20.922793
- Title: CellCLIP -- Learning Perturbation Effects in Cell Painting via Text-Guided Contrastive Learning
- Title(参考訳): CellCLIP -- テキストガイドによるコントラスト学習によるセルペイントの摂動効果の学習
- Authors: Mingyu Lu, Ethan Weinberger, Chanwoo Kim, Su-In Lee,
- Abstract要約: 本稿では,HCSデータのためのクロスモーダルコントラスト学習フレームワークであるCellCLIPを紹介する。
我々のフレームワークは、現在のオープンソースモデルよりも優れており、クロスモーダル検索と生物学的に意味のある下流タスクの両方において、最高のパフォーマンスを示している。
- 参考スコア(独自算出の注目度): 13.948734618526151
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: High-content screening (HCS) assays based on high-throughput microscopy techniques such as Cell Painting have enabled the interrogation of cells' morphological responses to perturbations at an unprecedented scale. The collection of such data promises to facilitate a better understanding of the relationships between different perturbations and their effects on cellular state. Towards achieving this goal, recent advances in cross-modal contrastive learning could, in theory, be leveraged to learn a unified latent space that aligns perturbations with their corresponding morphological effects. However, the application of such methods to HCS data is not straightforward due to substantial differences in the semantics of Cell Painting images compared to natural images, and the difficulty of representing different classes of perturbations (e.g., small molecule vs CRISPR gene knockout) in a single latent space. In response to these challenges, here we introduce CellCLIP, a cross-modal contrastive learning framework for HCS data. CellCLIP leverages pre-trained image encoders coupled with a novel channel encoding scheme to better capture relationships between different microscopy channels in image embeddings, along with natural language encoders for representing perturbations. Our framework outperforms current open-source models, demonstrating the best performance in both cross-modal retrieval and biologically meaningful downstream tasks while also achieving significant reductions in computation time.
- Abstract(参考訳): 細胞絵画のような高出力顕微鏡技術に基づく高濃度スクリーニング(HCS)アッセイは、前例のない規模の摂動に対する細胞の形態的応答の尋問を可能にした。
このようなデータの収集は、異なる摂動間の関係と、それらの細胞状態への影響をよりよく理解することを約束する。
この目標を達成するために、近年のクロスモーダル・コントラスト学習の進歩は、理論上、摂動とそれに対応する形態的効果を整合させる統一潜在空間を学習するために活用することができる。
しかし,HCSデータへのそのような手法の適用は,自然画像と比較してセルペイント画像のセマンティクスが著しく異なることや,単一潜伏空間における摂動(小分子対CRISPR遺伝子ノックアウト)の表現が困難であることから,容易ではない。
これらの課題に応えて,HCSデータのためのクロスモーダルコントラスト学習フレームワークであるCellCLIPを紹介する。
CellCLIPは、トレーニング済みの画像エンコーダと新しいチャネルエンコーダを組み合わせることで、画像埋め込みにおける様々な顕微鏡チャネル間の関係をよりよく捉え、摂動を表現する自然言語エンコーダを利用する。
我々のフレームワークは、現在のオープンソースモデルよりも優れており、クロスモーダル検索と生物学的に意味のある下流タスクの両方において最高の性能を示しながら、計算時間の大幅な削減を実現している。
関連論文リスト
- PixCell: A generative foundation model for digital histopathology images [49.00921097924924]
PixCellは,病理組織学における最初の拡散ベース生成基盤モデルである。
われわれはPanCan-30MでPixCellをトレーニングした。
論文 参考訳(メタデータ) (2025-06-05T15:14:32Z) - Interpretable deep learning illuminates multiple structures fluorescence imaging: a path toward trustworthy artificial intelligence in microscopy [10.395551533758358]
本稿では,単一画像から2つの細胞構造を同時予測可能なディープラーニングフレームワークであるAdaptive Explainable Multi-Structure Network (AEMS-Net)を提案する。
AEMS-Netはミトコンドリアと微小管の相互作用をリアルタイムに記録することができ、従来のシーケンシャルチャネルイメージングの手順の半分しか必要としないことを示した。
論文 参考訳(メタデータ) (2025-01-09T07:36:28Z) - Mitigating Hallucination for Large Vision Language Model by Inter-Modality Correlation Calibration Decoding [66.06337890279839]
大規模視覚言語モデル(LVLM)は、下流のマルチモーダルタスクに対する視覚言語理解において顕著な能力を示している。
LVLMは、複雑な生成タスクにおいて幻覚を生じさせ、視覚入力と生成されたコンテンツの間に矛盾が生じている。
本研究では,LVLMにおける幻覚を無訓練で緩和するIMCCD法を提案する。
論文 参考訳(メタデータ) (2025-01-03T17:56:28Z) - Weakly Supervised Set-Consistency Learning Improves Morphological Profiling of Single-Cell Images [0.6491172192043603]
単一セル画像における摂動効果の学習表現を改善するために,設定レベルの整合性学習アルゴリズムset-DINOを提案する。
5000以上の遺伝的摂動を伴う大規模光ポーリングスクリーニングデータセットの実験を行った。
論文 参考訳(メタデータ) (2024-06-08T00:53:30Z) - Practical Guidelines for Cell Segmentation Models Under Optical Aberrations in Microscopy [14.042884268397058]
本研究は,光収差下でのセル画像のセグメンテーションモデルについて,蛍光顕微鏡と光電場顕微鏡を用いて評価する。
ネットワークヘッドの異なるOstoしきい値法やMask R-CNNなどのセグメンテーションモデルをトレーニングし,テストする。
対照的に、Cellpose 2.0は同様の条件下で複雑な細胞画像に有効であることが証明されている。
論文 参考訳(メタデータ) (2024-04-12T15:45:26Z) - Optimizations of Autoencoders for Analysis and Classification of
Microscopic In Situ Hybridization Images [68.8204255655161]
同様のレベルの遺伝子発現を持つ顕微鏡画像の領域を検出・分類するためのディープラーニングフレームワークを提案する。
分析するデータには教師なし学習モデルが必要です。
論文 参考訳(メタデータ) (2023-04-19T13:45:28Z) - OADAT: Experimental and Synthetic Clinical Optoacoustic Data for
Standardized Image Processing [62.993663757843464]
オプトアコースティック(OA)イメージングは、ナノ秒レーザーパルスによる生体組織の励起と、光吸収による熱弾性膨張によって発生する超音波の検出に基づいている。
OAイメージングは、深部組織における豊富な光学コントラストと高分解能の強力な組み合わせを特徴としている。
臨床環境でのOAの幅広い応用を促進するために、異なるタイプの実験的なセットアップと関連する処理手法で生成される標準化データセットは存在しない。
論文 参考訳(メタデータ) (2022-06-17T08:11:26Z) - CLAWS: Contrastive Learning with hard Attention and Weak Supervision [1.1619569706231647]
本稿では,大規模農業データセットを手動でラベル付けする問題に対処する,アノテーション効率のよい学習フレームワークであるCLAWSを提案する。
CLAWSは、SimCLRにインスパイアされたネットワークバックボーンを使用して、クラスクラスタ内のコントラスト学習の影響を調べる。
本研究は,11種類の作物群からなる227,060検体を用いて,教師付きSimCLRとCLAWSの比較を行った。
論文 参考訳(メタデータ) (2021-12-01T21:45:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。