論文の概要: LoRA-BERT: a Natural Language Processing Model for Robust and Accurate Prediction of long non-coding RNAs
- arxiv url: http://arxiv.org/abs/2411.08073v1
- Date: Mon, 11 Nov 2024 22:17:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-14 16:10:16.936452
- Title: LoRA-BERT: a Natural Language Processing Model for Robust and Accurate Prediction of long non-coding RNAs
- Title（参考訳）: LoRA-BERT:長い非コーディングRNAのロバストと精度予測のための自然言語処理モデル
- Authors: Nicholas Jeon, Xiaoning Qian, Lamin SaidyKhan, Paul de Figueiredo, Byung-Jun Yoon,
- Abstract要約: 長い非コードRNA(lncRNA)は多くの生物学的プロセスにおいて重要な調節因子である。
深層学習に基づくアプローチは、lncRNAを分類するために導入された。
LoRA-BERTは配列分類におけるヌクレオチドレベルの情報の重要性を捉えるように設計されている。
- 参考スコア（独自算出の注目度）: 11.346750562942345
- License:
- Abstract: Long non-coding RNAs (lncRNAs) serve as crucial regulators in numerous biological processes. Although they share sequence similarities with messenger RNAs (mRNAs), lncRNAs perform entirely different roles, providing new avenues for biological research. The emergence of next-generation sequencing technologies has greatly advanced the detection and identification of lncRNA transcripts and deep learning-based approaches have been introduced to classify long non-coding RNAs (lncRNAs). These advanced methods have significantly enhanced the efficiency of identifying lncRNAs. However, many of these methods are devoid of robustness and accuracy due to the extended length of the sequences involved. To tackle this issue, we have introduced a novel pre-trained bidirectional encoder representation called LoRA-BERT. LoRA-BERT is designed to capture the importance of nucleotide-level information during sequence classification, leading to more robust and satisfactory outcomes. In a comprehensive comparison with commonly used sequence prediction tools, we have demonstrated that LoRA-BERT outperforms them in terms of accuracy and efficiency. Our results indicate that, when utilizing the transformer model, LoRA-BERT achieves state-of-the-art performance in predicting both lncRNAs and mRNAs for human and mouse species. Through the utilization of LoRA-BERT, we acquire valuable insights into the traits of lncRNAs and mRNAs, offering the potential to aid in the comprehension and detection of diseases linked to lncRNAs in humans.
- Abstract（参考訳）: 長い非コードRNA(lncRNA)は多くの生物学的プロセスにおいて重要な調節因子である。
彼らはメッセンジャーRNA(mRNA)と塩基配列の類似性を共有するが、lncRNAは全く異なる役割を担い、生物学的研究に新たな道を開く。
次世代シークエンシング技術の出現により、lncRNA転写産物の検出と同定が大幅に進歩し、長い非コードRNA(lncRNA)を分類するためのディープラーニングベースのアプローチが導入された。
これらの手法により、lncRNAの同定効率が大幅に向上した。
しかしながら、これらの手法の多くは、関連するシーケンスの長さが長いため、ロバスト性や精度を欠いている。
この問題に対処するため,我々はLoRA-BERTという,事前学習された双方向エンコーダ表現を導入した。
LoRA-BERTは配列分類におけるヌクレオチドレベルの情報の重要性を捉え、より堅牢で良好な結果をもたらすように設計されている。
一般的に使われているシーケンス予測ツールと比較して、LoRA-BERTは精度と効率の点で優れることを示した。
以上の結果から,LRA-BERTはトランスフォーマーモデルを用いて,ヒトおよびマウスのlncRNAおよびmRNAの予測において,最先端の性能を発揮することが示唆された。
LoRA-BERTの利用により、lncRNAとmRNAの特徴に関する貴重な知見を得て、ヒトのlncRNAに関連する疾患の理解と検出を支援することができる。
関連論文リスト
- Character-level Tokenizations as Powerful Inductive Biases for RNA Foundational Models [0.0]
RNAの挙動を理解し予測することは、RNAの構造と相互作用の複雑さのために困難である。
現在のRNAモデルは、タンパク質ドメインで観測された性能とはまだ一致していない。
ChaRNABERTは、確立されたベンチマークでいくつかのタスクで最先端のパフォーマンスに到達することができる。
論文 参考訳（メタデータ） (2024-11-05T21:56:16Z) - RNA-GPT: Multimodal Generative System for RNA Sequence Understanding [6.611255836269348]
RNAは生命に不可欠な遺伝情報を運ぶ必須分子である。
この重要性にもかかわらず、RNAの研究はしばしば、この話題で利用可能な膨大な文献によって妨げられている。
本稿では,RNA発見の簡易化を目的としたマルチモーダルRNAチャットモデルであるRNA-GPTを紹介する。
論文 参考訳（メタデータ） (2024-10-29T06:19:56Z) - BEACON: Benchmark for Comprehensive RNA Tasks and Language Models [60.02663015002029]
本稿では、最初の包括的なRNAベンチマークBEACON(textbfBEnchmtextbfArk for textbfCOmprehensive RtextbfNA Task and Language Models)を紹介する。
まずBEACONは、構造解析、機能研究、工学的応用を網羅した、これまでの広範囲にわたる研究から導かれた13のタスクから構成される。
第2に、CNNのような従来のアプローチや、言語モデルに基づく高度なRNA基盤モデルなど、さまざまなモデルについて検討し、これらのモデルのタスク固有のパフォーマンスに関する貴重な洞察を提供する。
第3に、重要なRNA言語モデルコンポーネントについて検討する。
論文 参考訳（メタデータ） (2024-06-14T19:39:19Z) - Machine Learning Modeling Of SiRNA Structure-Potency Relationship With
Applications Against Sars-Cov-2 Spike Gene [0.0]
薬の発見プロセスは長くて費用がかかるので、新しい薬を市場に出すのに10年近くかかります。
バイオテクノロジー、計算方法、機械学習アルゴリズムは、薬物発見を革命させ、プロセスをスピードアップし、患者の結果を改善する可能性がある。
新型コロナウイルス(COVID-19)のパンデミックは、これらの技術の可能性の認識をさらに加速し、さらに深めている。
論文 参考訳（メタデータ） (2024-01-18T23:00:34Z) - Description Generation using Variational Auto-Encoders for precursor
microRNA [5.6710852973206105]
本稿では、Vari Auto-Encodersによる生成モデリングを利用して、pre-miRNAの潜伏因子を明らかにする新しいフレームワークを提案する。
フレームワークを分類に適用し、高い再構成と分類性能を得るとともに、正確な記述も開発する。
論文 参考訳（メタデータ） (2023-11-29T15:41:45Z) - scHyena: Foundation Model for Full-Length Single-Cell RNA-Seq Analysis
in Brain [46.39828178736219]
我々はこれらの課題に対処し、脳内のscRNA-seq解析の精度を高めるために設計された基礎モデルであるscHyenaを紹介する。
scHyenaは、線形適応層、遺伝子埋め込みによる位置エンコーディング、および双方向ハイエナ演算子を備えている。
これにより、生データから情報を失うことなく、全長の scRNA-seq データを処理できる。
論文 参考訳（メタデータ） (2023-10-04T10:30:08Z) - Knowledge from Large-Scale Protein Contact Prediction Models Can Be
Transferred to the Data-Scarce RNA Contact Prediction Task [40.051834115537474]
タンパク質共進化トランスフォーマーに基づくディープニューラルネットワークはRNA接触予測タスクに転送可能である。
実験により、転写学習によるRNA接触予測が大幅に改善されることが確認された。
以上の結果から, タンパク質の構造パターンはRNAに転移し, 新たな研究の道を開く可能性が示唆された。
論文 参考訳（メタデータ） (2023-02-13T06:00:56Z) - RDesign: Hierarchical Data-efficient Representation Learning for
Tertiary Structure-based RNA Design [65.41144149958208]
本研究では,データ駆動型RNA設計パイプラインを体系的に構築することを目的とする。
我々は、ベンチマークデータセットを作成し、複雑なRNA第三次構造を表現するための包括的な構造モデリングアプローチを設計した。
RNA設計プロセスを容易にするために,塩基対を持つ抽出二次構造体を事前知識として組み込んだ。
論文 参考訳（メタデータ） (2023-01-25T17:19:49Z) - E2Efold-3D: End-to-End Deep Learning Method for accurate de novo RNA 3D
Structure Prediction [46.38735421190187]
E2Efold-3Dというエンド・ツー・エンドの深層学習手法を開発し,テクスタイド・ノボRNA構造予測を精度良く行う。
完全微分可能なエンドツーエンドパイプライン、二次構造による自己蒸留、パラメータ効率のよいバックボーンの定式化など、データ不足を克服するために、いくつかの新しいコンポーネントが提案されている。
論文 参考訳（メタデータ） (2022-07-04T17:15:35Z) - Improving RNA Secondary Structure Design using Deep Reinforcement
Learning [69.63971634605797]
本稿では,RNA配列設計に強化学習を適用した新しいベンチマークを提案する。このベンチマークでは,目的関数を配列の二次構造における自由エネルギーとして定義する。
本稿では,これらのアルゴリズムに対して行うアブレーション解析の結果と,バッチ間でのアルゴリズムの性能を示すグラフを示す。
論文 参考訳（メタデータ） (2021-11-05T02:54:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。