Fugu-MT 論文翻訳(概要): BEACON: Benchmark for Comprehensive RNA Tasks and Language Models

論文の概要: BEACON: Benchmark for Comprehensive RNA Tasks and Language Models

arxiv url: http://arxiv.org/abs/2406.10391v1
Date: Fri, 14 Jun 2024 19:39:19 GMT
ステータス: 処理完了
システム内更新日: 2024-06-19 00:42:24.890561
Title: BEACON: Benchmark for Comprehensive RNA Tasks and Language Models
Title（参考訳）: BEACON: 包括的なRNAタスクと言語モデルのためのベンチマーク
Authors: Yuchen Ren, Zhiyuan Chen, Lifeng Qiao, Hongtai Jing, Yuchen Cai, Sheng Xu, Peng Ye, Xinzhu Ma, Siqi Sun, Hongliang Yan, Dong Yuan, Wanli Ouyang, Xihui Liu,
Abstract要約: 本稿では、最初の包括的なRNAベンチマークBEACON(textbfBEnchmtextbfArk for textbfCOmprehensive RtextbfNA Task and Language Models)を紹介する。まずBEACONは、構造解析、機能研究、工学的応用を網羅した、これまでの広範囲にわたる研究から導かれた13のタスクから構成される。第2に、CNNのような従来のアプローチや、言語モデルに基づく高度なRNA基盤モデルなど、さまざまなモデルについて検討し、これらのモデルのタスク固有のパフォーマンスに関する貴重な洞察を提供する。第3に、重要なRNA言語モデルコンポーネントについて検討する。
参考スコア（独自算出の注目度）: 60.02663015002029
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: RNA plays a pivotal role in translating genetic instructions into functional outcomes, underscoring its importance in biological processes and disease mechanisms. Despite the emergence of numerous deep learning approaches for RNA, particularly universal RNA language models, there remains a significant lack of standardized benchmarks to assess the effectiveness of these methods. In this study, we introduce the first comprehensive RNA benchmark BEACON (\textbf{BE}nchm\textbf{A}rk for \textbf{CO}mprehensive R\textbf{N}A Task and Language Models). First, BEACON comprises 13 distinct tasks derived from extensive previous work covering structural analysis, functional studies, and engineering applications, enabling a comprehensive assessment of the performance of methods on various RNA understanding tasks. Second, we examine a range of models, including traditional approaches like CNNs, as well as advanced RNA foundation models based on language models, offering valuable insights into the task-specific performances of these models. Third, we investigate the vital RNA language model components from the tokenizer and positional encoding aspects. Notably, our findings emphasize the superiority of single nucleotide tokenization and the effectiveness of Attention with Linear Biases (ALiBi) over traditional positional encoding methods. Based on these insights, a simple yet strong baseline called BEACON-B is proposed, which can achieve outstanding performance with limited data and computational resources. The datasets and source code of our benchmark are available at https://github.com/terry-r123/RNABenchmark.
Abstract（参考訳）: RNAは、生物学的プロセスや疾患のメカニズムにおいて、遺伝子命令を機能的な結果に翻訳する上で重要な役割を担っている。 RNA、特に普遍的なRNA言語モデルに対する多くの深層学習アプローチが出現したが、これらの手法の有効性を評価するための標準ベンチマークが欠如している。本研究では、最初の包括的なRNAベンチマークBEACON (\textbf{BE}nchm\textbf{A}rk for \textbf{CO}mprehensive R\textbf{N}A Task and Language Models)を紹介する。まず、BEACONは構造解析、機能研究、工学的応用を網羅し、様々なRNA理解タスクにおけるメソッドの性能を総合的に評価する13のタスクからなる。第2に、CNNのような従来のアプローチや、言語モデルに基づく高度なRNA基盤モデルなど、さまざまなモデルについて検討し、これらのモデルのタスク固有のパフォーマンスに関する貴重な洞察を提供する。第3に、トークン化剤と位置エンコーディングの側面から、重要なRNA言語モデルコンポーネントについて検討する。特に,従来の位置符号化法よりも単一ヌクレオチドのトークン化が優れていること,および線形ビアーゼ(ALiBi)による注意の有効性が注目された。これらの知見に基づき、限られたデータと計算資源で優れた性能が得られるBEACON-Bと呼ばれる単純なベースラインが提案されている。ベンチマークのデータセットとソースコードはhttps://github.com/terry-r123/RNABenchmarkで公開されている。

関連論文リスト

RiNALMo: General-Purpose RNA Language Models Can Generalize Well on Structure Prediction Tasks [1.2466379414976048]
リボ核酸言語モデル(RiNALMo)を導入し,RNAの隠されたコードを明らかにする。 RiNALMoは、これまでで最大のRNAモデルであり、600万ドルの非コーディングRNA配列で事前訓練された650ドルのパラメータを持つ。
論文参考訳（メタデータ） (2024-02-29T14:50:58Z)
Splicing Up Your Predictions with RNA Contrastive Learning [4.35360799431127]
我々は、代替スプライシング遺伝子複製によって生成された機能配列間の類似性を利用して、対照的な学習手法をゲノムデータに拡張する。 RNA半減期やリボソーム負荷予測などの下流タスクにおけるそれらの有用性を検証する。学習された潜在空間の探索は、我々の対照的な目的が意味論的に意味のある表現をもたらすことを示した。
論文参考訳（メタデータ） (2023-10-12T21:51:25Z)
RDesign: Hierarchical Data-efficient Representation Learning for Tertiary Structure-based RNA Design [65.41144149958208]
本研究では,データ駆動型RNA設計パイプラインを体系的に構築することを目的とする。我々は、ベンチマークデータセットを作成し、複雑なRNA第三次構造を表現するための包括的な構造モデリングアプローチを設計した。 RNA設計プロセスを容易にするために,塩基対を持つ抽出二次構造体を事前知識として組み込んだ。
論文参考訳（メタデータ） (2023-01-25T17:19:49Z)
Neural-Symbolic Recursive Machine for Systematic Generalization [113.22455566135757]
我々は、基底記号システム(GSS)のコアとなるニューラル・シンボリック再帰機械(NSR)を紹介する。 NSRは神経知覚、構文解析、意味推論を統合している。我々はNSRの有効性を,系統的一般化能力の探索を目的とした4つの挑戦的ベンチマークで評価した。
論文参考訳（メタデータ） (2022-10-04T13:27:38Z)
E2Efold-3D: End-to-End Deep Learning Method for accurate de novo RNA 3D Structure Prediction [46.38735421190187]
E2Efold-3Dというエンド・ツー・エンドの深層学習手法を開発し,テクスタイド・ノボRNA構造予測を精度良く行う。完全微分可能なエンドツーエンドパイプライン、二次構造による自己蒸留、パラメータ効率のよいバックボーンの定式化など、データ不足を克服するために、いくつかの新しいコンポーネントが提案されている。
論文参考訳（メタデータ） (2022-07-04T17:15:35Z)
TargetNet: Functional microRNA Target Prediction with Deep Neural Networks [16.94702979550834]
本稿では,関数型ターゲット予測のための新しいディープラーニングベースのアルゴリズムであるTargetNetを紹介する。提案モデルは, コンポーネント-CTSペアデータセットを用いて訓練し, 残基-mRNAペアデータセットを用いて評価した。
論文参考訳（メタデータ） (2021-07-23T07:31:23Z)
Classification of Long Noncoding RNA Elements Using Deep Convolutional Neural Networks and Siamese Networks [17.8181080354116]
この論文は、cRNA配列を分類するために、ディープ畳み込みニューラルネットワーク(CNN)の新たな手法を提案する。その結果、CNNベースの分類モデルにより効率よく解ける画像分類プロブレムに、クラスサイズRNA配列を変換する。
論文参考訳（メタデータ） (2021-02-10T17:26:38Z)
Syntax Role for Neural Semantic Role Labeling [77.5166510071142]
意味的役割ラベリング(SRL)は、文の意味的述語・代名詞構造を認識することを目的としている。従来のモデルでは、構文情報はSRLのパフォーマンスに顕著な貢献をする可能性がある。最近の神経SRL研究は、構文情報は神経意味的役割のラベル付けにおいてはるかに重要でないことを示している。
論文参考訳（メタデータ） (2020-09-12T07:01:12Z)
Classification of Noncoding RNA Elements Using Deep Convolutional Neural Networks [16.650383406063956]
本稿では,非コーディングRNA(ncRNA)配列の分類に深層畳み込みニューラルネットワーク(CNN)を用いることを提案する。まず、RNA配列を塩基対化確率を特徴付ける画像に変換する効率的な手法を提案する。その結果、RNA配列の分類は画像分類問題に変換され、利用可能なCNNベースの分類モデルで効率的に解ける。
論文参考訳（メタデータ） (2020-08-24T17:43:50Z)
RNA Secondary Structure Prediction By Learning Unrolled Algorithms [70.09461537906319]
本稿では,RNA二次構造予測のためのエンド・ツー・エンドのディープラーニングモデルであるE2Efoldを提案する。 E2Efoldの鍵となる考え方は、RNA塩基対行列を直接予測し、制約のないプログラミングを、制約を強制するための深いアーキテクチャのテンプレートとして使うことである。ベンチマークデータセットに関する包括的な実験により、E2Efoldの優れた性能を実証する。
論文参考訳（メタデータ） (2020-02-13T23:21:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。