論文の概要: Comprehensive benchmarking of large language models for RNA secondary structure prediction

• arxiv url: http://arxiv.org/abs/2410.16212v1
• Date: Mon, 21 Oct 2024 17:12:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:19:26.535085
• Title: Comprehensive benchmarking of large language models for RNA secondary structure prediction
• Title（参考訳）: RNA二次構造予測のための大規模言語モデルの総合的ベンチマーク
• Authors: L. I. Zablocki, L. A. Bugnon, M. Gerard, L. Di Persia, G. Stegmayer, D. H. Milone,
• Abstract要約: RNA-LLMはRNA配列の大規模なデータセットを使用して、自己教師付き方法で、意味的に豊かな数値ベクトルで各RNA塩基をどう表現するかを学ぶ。 その中で、二次構造を予測することは、RNAの機能的機構を明らかにするための基本的な課題である。 本稿では,いくつかの事前学習されたRNA-LLMの総合的な実験解析を行い,それらを統合されたディープラーニングフレームワークにおけるRNA二次構造予測タスクと比較する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Inspired by the success of large language models (LLM) for DNA and proteins, several LLM for RNA have been developed recently. RNA-LLM uses large datasets of RNA sequences to learn, in a self-supervised way, how to represent each RNA base with a semantically rich numerical vector. This is done under the hypothesis that obtaining high-quality RNA representations can enhance data-costly downstream tasks. Among them, predicting the secondary structure is a fundamental task for uncovering RNA functional mechanisms. In this work we present a comprehensive experimental analysis of several pre-trained RNA-LLM, comparing them for the RNA secondary structure prediction task in an unified deep learning framework. The RNA-LLM were assessed with increasing generalization difficulty on benchmark datasets. Results showed that two LLM clearly outperform the other models, and revealed significant challenges for generalization in low-homology scenarios.
• Abstract（参考訳）: DNAとタンパク質の言語モデル(LLM)の成功に触発されて、RNAのLLMが開発されている。 RNA-LLMはRNA配列の大規模なデータセットを使用して、自己教師付き方法で、意味的に豊かな数値ベクトルで各RNA塩基をどう表現するかを学ぶ。 これは、高品質なRNA表現を得ることで、データコストのかかる下流タスクを向上できるという仮説の下でなされる。 その中で、二次構造を予測することは、RNAの機能的機構を明らかにするための基本的な課題である。 本研究では,いくつかの事前学習されたRNA-LLMの包括的解析を行い,それらを統合されたディープラーニングフレームワークにおけるRNA二次構造予測タスクと比較する。 RNA-LLMは、ベンチマークデータセットの一般化の難しさを増して評価された。 その結果、2つのLLMが他のモデルよりも明らかに優れており、低ホモロジーシナリオにおける一般化の重大な課題が明らかとなった。

関連論文リスト

• RNACG: A Universal RNA Sequence Conditional Generation model based on Flow-Matching [0.0]
  本研究では,フローマッチング,すなわちRNACGに基づく普遍的なRNA配列生成モデルを開発する。 RNACGは様々な条件入力に対応でき、可搬性があり、ユーザーは条件入力のために符号化ネットワークをカスタマイズできる。 RNACGは、シーケンス生成およびプロパティ予測タスクに広範な適用性を示す。
  論文  参考訳（メタデータ） (2024-07-29T09:46:46Z)
• BEACON: Benchmark for Comprehensive RNA Tasks and Language Models [60.02663015002029]
  本稿では、最初の包括的なRNAベンチマークBEACON(textbfBEnchmtextbfArk for textbfCOmprehensive RtextbfNA Task and Language Models)を紹介する。 まずBEACONは、構造解析、機能研究、工学的応用を網羅した、これまでの広範囲にわたる研究から導かれた13のタスクから構成される。 第2に、CNNのような従来のアプローチや、言語モデルに基づく高度なRNA基盤モデルなど、さまざまなモデルについて検討し、これらのモデルのタスク固有のパフォーマンスに関する貴重な洞察を提供する。 第3に、重要なRNA言語モデルコンポーネントについて検討する。
  論文  参考訳（メタデータ） (2024-06-14T19:39:19Z)
• RNAFlow: RNA Structure & Sequence Design via Inverse Folding-Based Flow Matching [7.600990806121113]
  RNAFlowはタンパク質条件のRNA配列構造設計のためのフローマッチングモデルである。 そのデノナイジングネットワークはRNA逆フォールディングモデルと事前訓練されたRosettaFold2NAネットワークを統合し、RNA配列と構造を生成する。
  論文  参考訳（メタデータ） (2024-05-29T05:10:25Z)
• RiNALMo: General-Purpose RNA Language Models Can Generalize Well on Structure Prediction Tasks [1.2466379414976048]
  リボ核酸言語モデル(RiNALMo)を導入し,RNAの隠されたコードを明らかにする。 RiNALMoは、これまでで最大のRNAモデルであり、600万ドルの非コーディングRNA配列で事前訓練された650ドルのパラメータを持つ。
  論文  参考訳（メタデータ） (2024-02-29T14:50:58Z)
• Splicing Up Your Predictions with RNA Contrastive Learning [4.35360799431127]
  我々は、代替スプライシング遺伝子複製によって生成された機能配列間の類似性を利用して、対照的な学習手法をゲノムデータに拡張する。 RNA半減期やリボソーム負荷予測などの下流タスクにおけるそれらの有用性を検証する。 学習された潜在空間の探索は、我々の対照的な目的が意味論的に意味のある表現をもたらすことを示した。
  論文  参考訳（メタデータ） (2023-10-12T21:51:25Z)
• scHyena: Foundation Model for Full-Length Single-Cell RNA-Seq Analysis in Brain [46.39828178736219]
  我々はこれらの課題に対処し、脳内のscRNA-seq解析の精度を高めるために設計された基礎モデルであるscHyenaを紹介する。 scHyenaは、線形適応層、遺伝子埋め込みによる位置エンコーディング、および双方向ハイエナ演算子を備えている。 これにより、生データから情報を失うことなく、全長の scRNA-seq データを処理できる。
  論文  参考訳（メタデータ） (2023-10-04T10:30:08Z)
• RDesign: Hierarchical Data-efficient Representation Learning for Tertiary Structure-based RNA Design [65.41144149958208]
  本研究では,データ駆動型RNA設計パイプラインを体系的に構築することを目的とする。 我々は、ベンチマークデータセットを作成し、複雑なRNA第三次構造を表現するための包括的な構造モデリングアプローチを設計した。 RNA設計プロセスを容易にするために,塩基対を持つ抽出二次構造体を事前知識として組み込んだ。
  論文  参考訳（メタデータ） (2023-01-25T17:19:49Z)
• E2Efold-3D: End-to-End Deep Learning Method for accurate de novo RNA 3D Structure Prediction [46.38735421190187]
  E2Efold-3Dというエンド・ツー・エンドの深層学習手法を開発し,テクスタイド・ノボRNA構造予測を精度良く行う。 完全微分可能なエンドツーエンドパイプライン、二次構造による自己蒸留、パラメータ効率のよいバックボーンの定式化など、データ不足を克服するために、いくつかの新しいコンポーネントが提案されている。
  論文  参考訳（メタデータ） (2022-07-04T17:15:35Z)
• Improving RNA Secondary Structure Design using Deep Reinforcement Learning [69.63971634605797]
  本稿では,RNA配列設計に強化学習を適用した新しいベンチマークを提案する。このベンチマークでは,目的関数を配列の二次構造における自由エネルギーとして定義する。 本稿では,これらのアルゴリズムに対して行うアブレーション解析の結果と,バッチ間でのアルゴリズムの性能を示すグラフを示す。
  論文  参考訳（メタデータ） (2021-11-05T02:54:06Z)
• RNA Secondary Structure Prediction By Learning Unrolled Algorithms [70.09461537906319]
  本稿では,RNA二次構造予測のためのエンド・ツー・エンドのディープラーニングモデルであるE2Efoldを提案する。 E2Efoldの鍵となる考え方は、RNA塩基対行列を直接予測し、制約のないプログラミングを、制約を強制するための深いアーキテクチャのテンプレートとして使うことである。 ベンチマークデータセットに関する包括的な実験により、E2Efoldの優れた性能を実証する。
  論文  参考訳（メタデータ） (2020-02-13T23:21:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。