Fugu-MT 論文翻訳(概要): BIOSCAN-CLIP: Bridging Vision and Genomics for Biodiversity Monitoring at Scale

論文の概要: BIOSCAN-CLIP: Bridging Vision and Genomics for Biodiversity Monitoring at Scale

arxiv url: http://arxiv.org/abs/2405.17537v1
Date: Mon, 27 May 2024 17:57:48 GMT
ステータス: 処理完了
システム内更新日: 2024-05-29 23:40:54.867191
Title: BIOSCAN-CLIP: Bridging Vision and Genomics for Biodiversity Monitoring at Scale
Title（参考訳）: BIOSCAN-CLIP:大規模生物多様性モニタリングのためのブリッジングビジョンとゲノム工学
Authors: ZeMing Gong, Austin T. Wang, Joakim Bruslund Haurum, Scott C. Lowe, Graham W. Taylor, Angel X. Chang,
Abstract要約: 画像,DNAバーコード,テキストデータを統合埋め込み空間に整列させるために,CLIPスタイルのコントラスト学習を併用したマルチモーダルアプローチを提案する。本手法は,ゼロショット学習タスクにおいて,従来の単一モダリティ手法を11%以上精度で上回る。
参考スコア（独自算出の注目度）: 22.548901362741628
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Measuring biodiversity is crucial for understanding ecosystem health. While prior works have developed machine learning models for the taxonomic classification of photographic images and DNA separately, in this work, we introduce a multimodal approach combining both, using CLIP-style contrastive learning to align images, DNA barcodes, and textual data in a unified embedding space. This allows for accurate classification of both known and unknown insect species without task-specific fine-tuning, leveraging contrastive learning for the first time to fuse DNA and image data. Our method surpasses previous single-modality approaches in accuracy by over 11% on zero-shot learning tasks, showcasing its effectiveness in biodiversity studies.
Abstract（参考訳）: 生物多様性の測定は生態系の健康を理解する上で重要である。従来,写真画像とDNAの分類分類のための機械学習モデルが開発されてきたが,本研究では,CLIPスタイルのコントラスト学習を用いて画像,DNAバーコード,テキストデータを統合埋め込み空間で整列させるマルチモーダルアプローチを導入する。これにより、タスク固有の微調整をすることなく、既知の昆虫と未知の昆虫の両方の正確な分類が可能になり、初めて対照的な学習を活用してDNAと画像データを融合する。本手法は, 生物多様性研究において, ゼロショット学習タスクにおいて, 従来の単一モダリティアプローチを11%以上精度で上回り, その有効性を示す。

関連論文リスト

ViTally Consistent: Scaling Biological Representation Learning for Cell Microscopy [3.432992120614117]
細胞顕微鏡データの基盤モデルとしては,これまでで最大である。従来のViT-L/8 MAEと比較して, 遺伝的摂動の線形分離性は60%向上した。
論文参考訳（メタデータ） (2024-11-04T20:09:51Z)
BiomedJourney: Counterfactual Biomedical Image Generation by Instruction-Learning from Multimodal Patient Journeys [99.7082441544384]
本稿では,インストラクション学習によるバイオメディカル画像生成のための新しい手法であるBiomedJourneyを紹介する。我々は、GPT-4を用いて、対応する画像レポートを処理し、疾患進行の自然言語記述を生成する。得られた三重項は、反現実的なバイオメディカル画像生成のための潜伏拡散モデルを訓練するために使用される。
論文参考訳（メタデータ） (2023-10-16T18:59:31Z)
Gene-induced Multimodal Pre-training for Image-omic Classification [20.465959546613554]
本稿では、ゲノム情報と全スライド画像(WSI)を併用した遺伝子誘導型マルチモーダル事前学習フレームワークを提案する。 TCGAデータセットによる実験結果から,ネットワークアーキテクチャと事前学習フレームワークの優位性が示され,画像-オミクス分類の精度は99.47%に達した。
論文参考訳（メタデータ） (2023-09-06T04:30:15Z)
A Step Towards Worldwide Biodiversity Assessment: The BIOSCAN-1M Insect Dataset [18.211840156134784]
本稿では,画像に基づく分類学的評価が可能なコンピュータビジョンモデルの訓練を目的とした,100万画像データセットを提案する。このデータセットは魅力的な特徴も示しており、その研究はより広範な機械学習コミュニティにとって興味深いものとなるだろう。
論文参考訳（メタデータ） (2023-07-19T20:54:08Z)
Domain Generalization for Mammographic Image Analysis with Contrastive Learning [62.25104935889111]
効果的なディープラーニングモデルのトレーニングには、さまざまなスタイルと品質を備えた大規模なデータが必要である。より優れたスタイルの一般化能力を備えた深層学習モデルを実現するために,新しいコントラスト学習法が開発された。提案手法は,様々なベンダスタイルドメインのマンモグラムや,いくつかのパブリックデータセットを用いて,広範囲かつ厳密に評価されている。
論文参考訳（メタデータ） (2023-04-20T11:40:21Z)
GraVIS: Grouping Augmented Views from Independent Sources for Dermatology Analysis [52.04899592688968]
皮膚科画像から自己教師付き特徴を学習するために特に最適化されたGraVISを提案する。 GraVISは、病変のセグメンテーションと疾患分類のタスクにおいて、転送学習と自己教師型学習を著しく上回っている。
論文参考訳（メタデータ） (2023-01-11T11:38:37Z)
Taxonomy and evolution predicting using deep learning in images [9.98733710208427]
本研究では,キノコ画像認識問題を体系的に研究することで,新しい認識枠組みを創出する。そこで本研究では,DNAにDNAをマッピングする最初の方法として,遺伝子距離にエンコーダマッピング画像を使用し,事前に訓練したデコーダを介してDNAをデコードする手法を提案する。
論文参考訳（メタデータ） (2022-06-28T13:54:14Z)
A Semi-Supervised Classification Method of Apicomplexan Parasites and Host Cell Using Contrastive Learning Strategy [6.677163460963862]
本稿では, 3種類のアピコプレキサン寄生虫と非感染宿主細胞顕微鏡像の半教師付き分類法を提案する。少数のラベル付きデータと多数のラベルなしデータをトレーニングに使用します。顕微鏡画像の1%しかラベル付けされていない場合、提案手法は一般化された試験セットで94.90%の精度に達する。
論文参考訳（メタデータ） (2021-04-14T02:34:50Z)
G-MIND: An End-to-End Multimodal Imaging-Genetics Framework for Biomarker Identification and Disease Classification [49.53651166356737]
診断によって誘導される画像データと遺伝データを統合し、解釈可能なバイオマーカーを提供する新しいディープニューラルネットワークアーキテクチャを提案する。 2つの機能的MRI(fMRI)パラダイムとSingle Nucleotide Polymorphism (SNP)データを含む統合失調症の集団研究で本モデルを評価した。
論文参考訳（メタデータ） (2021-01-27T19:28:04Z)
Deep Low-Shot Learning for Biological Image Classification and Visualization from Limited Training Samples [52.549928980694695]
In situ hybridization (ISH) gene expression pattern image from the same developmental stage。正確な段階のトレーニングデータをラベル付けするのは、生物学者にとっても非常に時間がかかる。限られた訓練画像を用いてISH画像を正確に分類する2段階の低ショット学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-10-20T06:06:06Z)
Automatic image-based identification and biomass estimation of invertebrates [70.08255822611812]
時間を要する分類と分類は、どれだけの昆虫を処理できるかに強い制限を課す。我々は、人間の専門家による分類と識別の標準的な手動アプローチを、自動画像ベース技術に置き換えることを提案する。分類タスクには最先端のResnet-50とInceptionV3 CNNを使用する。
論文参考訳（メタデータ） (2020-02-05T21:38:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。