論文の概要: Scaling RNA Foundation Models through Iterative Refinement

• arxiv url: http://arxiv.org/abs/2610.13106v1
• Date: Fri, 09 Oct 2026 06:59:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.44245
• Title: Scaling RNA Foundation Models through Iterative Refinement
• Title（参考訳）: 反復的リファインメントによるRNA基盤モデルのスケーリング
• Abstract要約: 本稿では,RNA基盤モデルであるEco-RNAについて述べる。 パラメータが500倍も少ないにもかかわらず、現在のSOTA Evo 2 40Bを3つの総合フィットネス指標で上回っている。 また、非コードRNAファミリー分類、RNA二次構造予測、化学探査プロファイル予測において評価されたベースラインよりも優れている。
• 参考スコア（独自算出の注目度）: 19.538749508883143
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Biological function in RNA is encoded across scales, from local sequence motifs to long-range structural dependencies. Conventional RNA foundation models couple parameter capacity and inference depth within a fixed architecture, prescribing a fixed computation graph for each inference. Here we present Eco-RNA, an 80M-parameter RNA foundation model that makes inference depth adjustable through learned iterative refinement. Its shared, input-conditioned Transformer core refines sequence representations through repeated application. The iteration count is selected after training and controls effective depth at fixed model parameters. We train across recurrent depths with masked reconstruction, state regularization, and a one-sided loss that anchors deeper reconstruction to a shallow reference. On the 70-assay RNAGym fitness benchmark, increasing refinement from one to four iterations raises aggregate absolute Spearman correlation from 0.242 to 0.286, with the gain retained through eight iterations. At four iterations, Eco-RNA surpasses the current SOTA Evo 2 40B on all three aggregate fitness metrics despite 500x fewer parameters. Its iteration configurations advance the compute-performance Pareto frontier among the evaluated models. It also outperforms the evaluated baselines in non-coding RNA family classification, RNA secondary-structure prediction, and chemical probing profile prediction. These results establish internal inference computation as an effective scaling dimension for RNA foundation models.
• Abstract（参考訳）: RNAの生物学的機能は、局所的な配列モチーフから長距離構造への依存に至るまで、スケールにわたってコード化されている。 従来のRNA基盤モデルは、固定されたアーキテクチャ内でパラメータ容量と推論深さを結合し、各推論に対して固定された計算グラフを規定する。 ここでは,80MパラメータRNA基盤モデルであるEco-RNAについて述べる。 その共有された入力条件のTransformerコアは、繰り返し適用することでシーケンス表現を洗練する。 イテレーションカウントはトレーニング後に選択され、固定されたモデルパラメータで効果的な深さを制御する。 我々は、マスクによる再建、状態正規化、一方的な損失により、より深い復元を浅い参照に固定する、反復的な深さを訓練する。 70-assay RNAGymの適合度ベンチマークでは、1回から4回に改良が加えられると、総括絶対スピアマン相関は0.242から0.286に上昇し、8回まで上昇した。 4回の反復で、Eco-RNAは500倍のパラメータにもかかわらず、現在のSOTA Evo 2 40Bを3つの総合フィットネス指標全てで上回っている。 その反復構成は、評価されたモデル間の計算性能のParetoフロンティアを前進させる。 また、非コードRNAファミリー分類、RNA二次構造予測、化学探査プロファイル予測において評価されたベースラインよりも優れている。 これらの結果はRNA基盤モデルの効果的なスケーリング次元として内部推論計算を確立する。

関連論文リスト

• RiboSphere: Learning Unified and Efficient Representations of RNA Structures [57.40815107640066]
  RNAのバックボーンは非常に柔軟で、非カノニカル相互作用が一般的であり、実験的に決定された3D構造は比較的少ない。 本稿では,ベクトル量子化とフローマッチングを組み合わせることで,RNAの固有な幾何学的表現を学習するフレームワークであるemphRiboSphereを紹介する。
  論文  参考訳（メタデータ） (2026-03-20T04:36:35Z)
• Deep Learning Framework for RNA Inverse Folding with Geometric Structure Potentials [0.0]
  エンド・ツー・エンドのRNA設計を可能にするために、Geometric Vector PerceptronレイヤとTransformerアーキテクチャを統合したディープラーニングフレームワークを紹介します。 本研究では,BGSU RNAリストから抽出・分解したRNA3D構造からなるデータセットを構築し,配列回復率とTMスコアの両方を用いて性能評価を行った。 私のモデルは最先端のパフォーマンスを達成し、リカバリとTMスコアは0.481と0.332で、RNAファミリーや長さスケールにまたがる既存の手法を上回ります。
  論文  参考訳（メタデータ） (2025-12-31T15:43:12Z)
• Differentiable Folding for Nearest Neighbor Model Optimization [0.6291443816903801]
  Nearest NeighborモデルはRNA二次構造形成の$textitde facto$熱力学モデルである。 ここでは、$textitdifferentiable folding$の最近の進歩を活用して、パラメータ最適化の効率的でスケーラブルで柔軟な手段を考案する。 提案手法では,既存の基準値よりも優れたパラメータセットが得られた。
  論文  参考訳（メタデータ） (2025-03-12T05:36:12Z)
• RNA-FrameFlow: Flow Matching for de novo 3D RNA Backbone Design [41.80588259094431]
  本稿では3次元RNAバックボーン設計のための最初の生成モデルであるRNA-FrameFlowを紹介する。 我々は、剛体フレームと関連する損失関数の集合としてRNA構造を定式化する。 3次元RNAデータセットの多様性の欠如に対処するため、構造的クラスタリングと収穫増強によるトレーニングについて検討する。
  論文  参考訳（メタデータ） (2024-06-19T21:06:44Z)
• BEACON: Benchmark for Comprehensive RNA Tasks and Language Models [60.02663015002029]
  本稿では、最初の包括的なRNAベンチマークBEACON(textbfBEnchmtextbfArk for textbfCOmprehensive RtextbfNA Task and Language Models)を紹介する。 まずBEACONは、構造解析、機能研究、工学的応用を網羅した、これまでの広範囲にわたる研究から導かれた13のタスクから構成される。 第2に、CNNのような従来のアプローチや、言語モデルに基づく高度なRNA基盤モデルなど、さまざまなモデルについて検討し、これらのモデルのタスク固有のパフォーマンスに関する貴重な洞察を提供する。 第3に、重要なRNA言語モデルコンポーネントについて検討する。
  論文  参考訳（メタデータ） (2024-06-14T19:39:19Z)
• gRNAde: Geometric Deep Learning for 3D RNA inverse design [14.729049204432027]
  gRNAdeは3次元RNAバックボーンで動作する幾何学的RNA設計パイプラインである。 構造と力学を明示的に考慮したシーケンスを生成する。
  論文  参考訳（メタデータ） (2023-05-24T05:46:56Z)
• Deciphering RNA Secondary Structure Prediction: A Probabilistic K-Rook Matching Perspective [63.3632827588974]
  RFoldは、与えられたシーケンスから最もよく一致するK-Rook解を予測する方法である。 RFoldは、最先端のアプローチよりも競争性能とおよそ8倍の推論効率を達成する。
  論文  参考訳（メタデータ） (2022-12-02T16:34:56Z)
• Accurate RNA 3D structure prediction using a language model-based deep learning approach [50.193512039121984]
  RhoFold+はRNA言語モデルに基づくディープラーニング手法で、配列から単一鎖RNAの3次元構造を正確に予測する。 RhoFold+はRNA 3D構造予測のための完全に自動化されたエンドツーエンドパイプラインを提供する。
  論文  参考訳（メタデータ） (2022-07-04T17:15:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。