論文の概要: ViTally Consistent: Scaling Biological Representation Learning for Cell Microscopy

• arxiv url: http://arxiv.org/abs/2411.02572v1
• Date: Mon, 04 Nov 2024 20:09:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-06 15:01:59.189492
• Title: ViTally Consistent: Scaling Biological Representation Learning for Cell Microscopy
• Title（参考訳）: ViTally Consistent:Scaling Biological Representation Learning for Cell Microscopy
• Authors: Kian Kenyon-Dean, Zitong Jerry Wang, John Urbanik, Konstantin Donhauser, Jason Hartford, Saber Saberian, Nil Sahin, Ihab Bendidi, Safiye Celik, Marta Fay, Juan Sebastian Rodriguez Vera, Imran S Haque, Oren Kraus,
• Abstract要約: 細胞顕微鏡データの基盤モデルとしては,これまでで最大である。 従来のViT-L/8 MAEと比較して, 遺伝的摂動の線形分離性は60%向上した。
• 参考スコア（独自算出の注目度）: 3.432992120614117
• License:
• Abstract: Large-scale cell microscopy screens are used in drug discovery and molecular biology research to study the effects of millions of chemical and genetic perturbations on cells. To use these images in downstream analysis, we need models that can map each image into a feature space that represents diverse biological phenotypes consistently, in the sense that perturbations with similar biological effects have similar representations. In this work, we present the largest foundation model for cell microscopy data to date, a new 1.9 billion-parameter ViT-G/8 MAE trained on over 8 billion microscopy image crops. Compared to a previous published ViT-L/8 MAE, our new model achieves a 60% improvement in linear separability of genetic perturbations and obtains the best overall performance on whole-genome biological relationship recall and replicate consistency benchmarks. Beyond scaling, we developed two key methods that improve performance: (1) training on a curated and diverse dataset; and, (2) using biologically motivated linear probing tasks to search across each transformer block for the best candidate representation of whole-genome screens. We find that many self-supervised vision transformers, pretrained on either natural or microscopy images, yield significantly more biologically meaningful representations of microscopy images in their intermediate blocks than in their typically used final blocks. More broadly, our approach and results provide insights toward a general strategy for successfully building foundation models for large-scale biological data.
• Abstract（参考訳）: 大規模な細胞顕微鏡スクリーンは、数百万の化学的および遺伝的摂動が細胞に与える影響を研究するために、薬物発見と分子生物学の研究に使用されている。 下流解析でこれらの画像を使用するには、同様の生物学的効果を持つ摂動が類似した表現を持つという意味で、各画像を多様な表現型を一貫して表す特徴空間にマッピングできるモデルが必要である。 そこで本研究では,これまでで最大の細胞顕微鏡データ基盤モデルであるVT-G/8 MAEについて述べる。 従来のViT-L/8 MAEと比較して, 遺伝的摂動の線形分離性は60%向上し, 全ゲノム生物関係のリコールおよび複製一貫性ベンチマークにおいて, 全体的な性能が向上した。 スケーリング以外にも,(1)キュレートされた多種多様なデータセットのトレーニング,(2)生物学的に動機づけられた線形探索タスクを用いて,各トランスフォーマーブロックを横断して全ゲノムスクリーンの最適な候補表現を行う,という2つの重要な手法を開発した。 多くの自己監督型視覚変換器は、通常用いられる最終ブロックよりも、顕微鏡画像の生体的意義がかなり高いことが判明した。 より広範に、我々のアプローチと結果は、大規模生物学的データの基礎モデルの構築に成功するための一般的な戦略に対する洞察を提供する。

関連論文リスト

• μ-Bench: A Vision-Language Benchmark for Microscopy Understanding [43.27182445778988]
  視覚言語モデル(VLM)は、大規模生物学的画像解析に有望なソリューションを提供する。 VLMを評価するための、標準化された、多様な、そして大規模なビジョンベンチマークが欠如している。 mu-Benchは22のバイオメディカルタスクを含む専門家によるベンチマークである。
  論文  参考訳（メタデータ） (2024-07-01T20:30:26Z)
• Masked Autoencoders for Microscopy are Scalable Learners of Cellular Biology [2.7280901660033643]
  本研究は、弱教師付き分類器と自己教師付きマスク付きオートエンコーダ(MAE)のスケーリング特性について検討する。 以上の結果から,ViTをベースとしたMAEは,様々なタスクにおいて弱い教師付き分類器よりも優れており,公的なデータベースから得られた既知の生物学的関係を思い出すと,11.5%の相対的な改善が達成されることがわかった。 我々は、異なる数のチャネルと順序の画像を推論時に入力できる新しいチャネルに依存しないMAEアーキテクチャ(CA-MAE)を開発した。
  論文  参考訳（メタデータ） (2024-04-16T02:42:06Z)
• Affine-Consistent Transformer for Multi-Class Cell Nuclei Detection [76.11864242047074]
  本稿では, 原子核位置を直接生成する新しいアフィン一貫性変換器 (AC-Former) を提案する。 本稿では,AAT (Adaptive Affine Transformer) モジュールを導入し,ローカルネットワークトレーニングのためのオリジナル画像をワープするための重要な空間変換を自動学習する。 実験結果から,提案手法は様々なベンチマークにおいて既存の最先端アルゴリズムを著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2023-10-22T02:27:02Z)
• Tertiary Lymphoid Structures Generation through Graph-based Diffusion [54.37503714313661]
  本研究では,最先端のグラフベース拡散モデルを用いて生物学的に意味のある細胞グラフを生成する。 本研究では, グラフ拡散モデルを用いて, 3次リンパ構造(TLS)の分布を正確に学習できることを示す。
  論文  参考訳（メタデータ） (2023-10-10T14:37:17Z)
• Masked Autoencoders are Scalable Learners of Cellular Morphology [0.3057210732296065]
  本研究は,大規模な顕微鏡データセット上で大規模モデルをトレーニングする際の,自己教師型ディープラーニングアプローチのスケールアップ方法について検討する。 以上の結果から,CNNとViTをベースとしたマスク付きオートエンコーダはともに,教師付きベースラインよりも有意に優れていた。
  論文  参考訳（メタデータ） (2023-09-27T23:11:35Z)
• Genetic InfoMax: Exploring Mutual Information Maximization in High-Dimensional Imaging Genetics Studies [50.11449968854487]
  遺伝子ワイド・アソシエーション(GWAS)は、遺伝的変異と特定の形質の関係を同定するために用いられる。 画像遺伝学の表現学習は、GWASによって引き起こされる固有の課題により、ほとんど探索されていない。 本稿では,GWAS の具体的な課題に対処するために,トランスモーダル学習フレームワーク Genetic InfoMax (GIM) を提案する。
  論文  参考訳（メタデータ） (2023-09-26T03:59:21Z)
• AMIGO: Sparse Multi-Modal Graph Transformer with Shared-Context Processing for Representation Learning of Giga-pixel Images [53.29794593104923]
  本稿では,スライド病理像全体に対する共有コンテキスト処理の新たな概念を提案する。 AMIGOは、組織内のセルラーグラフを使用して、患者に単一の表現を提供する。 我々のモデルは、データの20%以下で同じ性能を達成できる程度に、欠落した情報に対して強い堅牢性を示す。
  論文  参考訳（メタデータ） (2023-03-01T23:37:45Z)
• Learning multi-scale functional representations of proteins from single-cell microscopy data [77.34726150561087]
  局所化分類に基づいて訓練された単純な畳み込みネットワークは、多様な機能情報をカプセル化したタンパク質表現を学習できることを示す。 また,生物機能の異なるスケールでタンパク質表現の質を評価するためのロバストな評価戦略を提案する。
  論文  参考訳（メタデータ） (2022-05-24T00:00:07Z)
• Self-Supervised Vision Transformers Learn Visual Concepts in Histopathology [5.164102666113966]
  我々は、様々な弱い教師付きおよびパッチレベルのタスクに対する検証を行い、様々な自己教師付きモデルを訓練することにより、病理学における良い表現を探索する。 我々の重要な発見は、DINOベースの知識蒸留を用いたビジョントランスフォーマーが、組織像におけるデータ効率と解釈可能な特徴を学習できることを発見したことである。
  論文  参考訳（メタデータ） (2022-03-01T16:14:41Z)
• From augmented microscopy to the topological transformer: a new approach in cell image analysis for Alzheimer's research [0.0]
  細胞画像解析は、細胞機能を抑制するA$beta$タンパク質の存在を検出するために、アルツハイマーの研究において重要である。 Unetは,マルチクラスセマンティックスセグメンテーションの性能を比較することで,拡張顕微鏡に最も適していることがわかった。 我々は,Unetモデルを用いて,光電場画像中の原子核を捕捉する拡張顕微鏡法を開発し,入力画像を位相情報列に変換する。
  論文  参考訳（メタデータ） (2021-08-03T16:59:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。