Fugu-MT 論文翻訳(概要): Multi-modal Transfer Learning between Biological Foundation Models

論文の概要: Multi-modal Transfer Learning between Biological Foundation Models

arxiv url: http://arxiv.org/abs/2406.14150v1
Date: Thu, 20 Jun 2024 09:44:53 GMT
ステータス: 処理完了
システム内更新日: 2024-06-21 14:31:01.256921
Title: Multi-modal Transfer Learning between Biological Foundation Models
Title（参考訳）: バイオファウンデーションモデル間のマルチモーダルトランスファー学習
Authors: Juan Jose Garau-Luis, Patrick Bordes, Liam Gonzalez, Masa Roller, Bernardo P. de Almeida, Lorenz Hexemer, Christopher Blum, Stefan Laurent, Jan Grzegorzewski, Maren Lang, Thomas Pierrot, Guillaume Richard,
Abstract要約: そこで本研究では,DNA,RNA,タンパク質を結合するマルチモーダル特異的モデルを提案する。我々のモデルはIsoFormerと呼ばれ、既存の手法よりも優れた差分転写表現を正確に予測できることを示します。我々は、新しいマルチモーダル遺伝子表現アプローチの道を開くために、我々のモデルをオープンソース化した。
参考スコア（独自算出の注目度）: 2.6545450959042234
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Biological sequences encode fundamental instructions for the building blocks of life, in the form of DNA, RNA, and proteins. Modeling these sequences is key to understand disease mechanisms and is an active research area in computational biology. Recently, Large Language Models have shown great promise in solving certain biological tasks but current approaches are limited to a single sequence modality (DNA, RNA, or protein). Key problems in genomics intrinsically involve multiple modalities, but it remains unclear how to adapt general-purpose sequence models to those cases. In this work we propose a multi-modal model that connects DNA, RNA, and proteins by leveraging information from different pre-trained modality-specific encoders. We demonstrate its capabilities by applying it to the largely unsolved problem of predicting how multiple RNA transcript isoforms originate from the same gene (i.e. same DNA sequence) and map to different transcription expression levels across various human tissues. We show that our model, dubbed IsoFormer, is able to accurately predict differential transcript expression, outperforming existing methods and leveraging the use of multiple modalities. Our framework also achieves efficient transfer knowledge from the encoders pre-training as well as in between modalities. We open-source our model, paving the way for new multi-modal gene expression approaches.
Abstract（参考訳）: 生物学的配列はDNA、RNA、タンパク質の形で生命の構成要素の基本的な指示をコードする。これらの配列をモデル化することは、疾患のメカニズムを理解するための鍵であり、計算生物学において活発な研究領域である。近年、大規模言語モデルは特定の生物学的タスクを解く上で大きな可能性を示してきたが、現在のアプローチは単一の配列のモダリティ(DNA、RNA、タンパク質)に限られている。ゲノミクスにおける主要な問題は、本質的には複数のモダリティを含んでいるが、それらのケースに対して汎用的なシーケンスモデルをどのように適用するかは定かではない。本研究では,DNA,RNA,タンパク質を結合するマルチモーダルモデルを提案する。複数のRNA転写アイソフォームが同じ遺伝子(すなわち、同じDNA配列)に由来するかを予測し、様々なヒト組織で異なる転写発現レベルにマップすることで、その能力をほぼ未解決の課題に適用することで、その能力を実証する。我々は、IsoFormerと呼ばれるモデルを用いて、差分転写表現を正確に予測し、既存手法よりも優れ、多重モーダル性の利用を活用できることを示す。また,本フレームワークは,エンコーダの事前学習やモダリティ間の効率的な伝達知識も実現している。我々は、新しいマルチモーダル遺伝子表現アプローチの道を開くために、我々のモデルをオープンソース化した。

関連論文リスト

Structure Language Models for Protein Conformation Generation [66.42864253026053]
伝統的な物理学に基づくシミュレーション手法は、しばしばサンプリング平衡整合に苦しむ。深い生成モデルは、より効率的な代替としてタンパク質のコンホメーションを生成することを約束している。本稿では,効率的なタンパク質コンホメーション生成のための新しいフレームワークとして構造言語モデリングを紹介する。
論文参考訳（メタデータ） (2024-10-24T03:38:51Z)
DPLM-2: A Multimodal Diffusion Protein Language Model [75.98083311705182]
DPLM-2は, 離散拡散タンパク質言語モデル(DPLM)を拡張し, 配列と構造の両方に適合する多モーダルタンパク質基盤モデルである。 DPLM-2は、配列と構造、およびその限界と条件の結合分布を学習する。実験によりDPLM-2は高度に互換性のあるアミノ酸配列とそれに対応する3D構造を同時に生成できることが示された。
論文参考訳（メタデータ） (2024-10-17T17:20:24Z)
BSM: Small but Powerful Biological Sequence Model for Genes and Proteins [6.6055625629542085]
小型ながら強力な混合モード生物配列基盤モデルであるBSMを導入する。 RefSeq、Gene Related Sequences、およびWebから生物学的シークエンスをインターリーブした3種類のデータに基づいてトレーニングされている。学習効率とクロスモーダル表現を著しく向上させ、非モーダルデータにのみ訓練されたモデルよりも優れています。
論文参考訳（メタデータ） (2024-10-15T11:12:28Z)
A Benchmark Dataset for Multimodal Prediction of Enzymatic Function Coupling DNA Sequences and Natural Language [3.384797724820242]
DNA配列から遺伝子機能を予測することは、生物学における根本的な課題である。深層学習モデルは、DNA配列を埋め込み、その酵素機能を予測するために提案されている。科学界の生物学的機能に関する知識の多くは分類学的なラベルで表されていない。
論文参考訳（メタデータ） (2024-07-21T19:27:43Z)
Generating Multi-Modal and Multi-Attribute Single-Cell Counts with CFGen [76.02070962797794]
マルチモーダル単細胞数に対するフローベース条件生成モデルであるセルフロー・フォー・ジェネレーションを提案する。本研究は, 新規な生成タスクを考慮に入れた上で, 重要な生物学的データ特性の回復性の向上を示唆するものである。
論文参考訳（メタデータ） (2024-07-16T14:05:03Z)
Semantically Rich Local Dataset Generation for Explainable AI in Genomics [0.716879432974126]
ゲノム配列に基づいて訓練されたブラックボックス深層学習モデルは、異なる遺伝子制御機構の結果を予測するのに優れている。本稿では、遺伝的プログラミングを用いて、その意味的多様性に寄与する配列の摂動を進化させることによりデータセットを生成することを提案する。
論文参考訳（メタデータ） (2024-07-03T10:31:30Z)
VQDNA: Unleashing the Power of Vector Quantization for Multi-Species Genomic Sequence Modeling [60.91599380893732]
VQDNAは、ゲノムボキャブラリ学習の観点からゲノムのトークン化を改良する汎用フレームワークである。ベクトル量子化されたコードブックを学習可能な語彙として活用することにより、VQDNAはゲノムをパターン認識の埋め込みに適応的にトークン化することができる。
論文参考訳（メタデータ） (2024-05-13T20:15:03Z)
Reprogramming Pretrained Language Models for Antibody Sequence Infilling [72.13295049594585]
抗体の計算設計には、構造的一貫性を維持しながら、新規で多様な配列を生成することが含まれる。近年のディープラーニングモデルでは優れた結果が得られたが、既知の抗体配列/構造対の数が限られているため、性能が劣化することが多い。これは、ソース言語でトレーニング済みのモデルを再利用して、異なる言語で、データが少ないタスクに適応するものです。
論文参考訳（メタデータ） (2022-10-05T20:44:55Z)
SemanticCAP: Chromatin Accessibility Prediction Enhanced by Features Learning from a Language Model [3.0643865202019698]
本稿では、ゲノムのアクセス可能な領域を特定するためのSemanticCAPという新しいソリューションを提案する。遺伝子配列のコンテキストをモデル化する遺伝子モデルを導入し、遺伝子配列の効果的な表現を提供する。公開ベンチマークによる他のシステムと比較すると,我々のモデルは性能が向上することが判明した。
論文参考訳（メタデータ） (2022-04-05T11:47:58Z)
Epigenomic language models powered by Cerebras [0.0]
エピゲノムBERT(またはEBERT)は、DNA配列とペア化されたエピジェネティック状態の入力の両方に基づいて表現を学習する。細胞型特異的転写因子結合予測タスクにおいて,EBERTの転写学習能力を示す。 ENCODE-DREAMベンチマークから得られた13つの評価データセットのうち4つは、我々の微調整されたモデルであり、挑戦のリーダーボードでは総合3位である。
論文参考訳（メタデータ） (2021-12-14T17:23:42Z)
Multi-modal Self-supervised Pre-training for Regulatory Genome Across Cell Types [75.65676405302105]
我々は、GeneBERTと呼ばれる、多モードかつ自己管理的な方法でゲノムデータを事前学習するための、単純かつ効果的なアプローチを提案する。我々はATAC-seqデータセットで1700万のゲノム配列でモデルを事前訓練する。
論文参考訳（メタデータ） (2021-10-11T12:48:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。