論文の概要: RIBOSPAN: A Long-Context RNA Foundation Model for Versatile RNA Modeling

• arxiv url: http://arxiv.org/abs/2608.22849v1
• Date: Mon, 24 Aug 2026 06:30:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.905107
• Title: RIBOSPAN: A Long-Context RNA Foundation Model for Versatile RNA Modeling
• Title（参考訳）: RIBOSPAN:Versatile RNAモデリングのための長期RNA基盤モデル
• Abstract要約: RIBOSPANは、コンテキスト長が10,240 ntまで事前訓練された双方向RNA基盤モデルである。 我々は, ヌクレオチド再構成, 制御長文表現ベンチマーク, 凍結RNA型表現解析によるモデルの評価を行った。 RIBOSPANは多様なRNAタイプで最大の全体的な性能を達成し、長いRNAに対して明確な優位性を維持している。
• 参考スコア（独自算出の注目度）: 26.58224679878256
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Full-length RNAs, particularly messenger RNAs, often exceed the context lengths used to pretrain existing RNA foundation models, limiting complete-transcript modeling at single-nucleotide resolution. We present RIBOSPAN, a 1.61-billion-parameter bidirectional RNA foundation model natively pretrained with context lengths up to 10,240 nt. RIBOSPAN combines dense bidirectional self-attention, single-nucleotide tokenization, and attention-isolated sequence packing to enable high-resolution modeling of complete long RNAs. We evaluate the model through nucleotide reconstruction, a controlled long-context representation benchmark, and frozen RNA-type representation analysis. Native 10K pretraining preserves strong reconstruction at 10,240 tokens, while continued pretraining with 40% masking improves recovery under heavy corruption while preserving representation quality. The long-context benchmark further shows that native 10K models maintain strong contextual responsiveness and context-specific representation separation while keeping perturbation-induced representation changes highly localized. Inference-time YaRN scaling recovers much of the contextual organization lost by direct extrapolation of short-context models, but induces substantially greater distal representation diffusion. Frozen-representation evaluations further demonstrate state-of-the-art RNA representation quality, with RIBOSPAN achieving the strongest overall performance across diverse RNA types and retaining a clear advantage on long RNAs. Building on the same backbone, we develop a multidimensionally conditioned discrete-diffusion framework for full-length mRNA generation and redesign, including synonymous-codon diffusion for protein-preserving CDS optimization. Together, RIBOSPAN establishes a powerful long-context foundation for transferable RNA representation learning and full-transcript mRNA design.
• Abstract（参考訳）: フル長RNA、特にメッセンジャーRNAは、既存のRNA基盤モデルの事前訓練に使用される文脈長を超え、単一ヌクレオチド解像度での完全転写モデリングを制限している。 本稿では,1.61ビリオンの双方向RNA基盤モデルであるRIBOSPANについて,文脈長が最大10,240 ntまで事前訓練を行った。 RIBOSPANは、完全長RNAの高分解能モデリングを可能にするために、高密度な双方向自己アテンション、単一ヌクレオチドのトークン化、および注意分離配列パッキングを組み合わせた。 我々は, ヌクレオチド再構成, 制御長文表現ベンチマーク, 凍結RNA型表現解析によるモデルの評価を行った。 ネイティブ10Kプレトレーニングは10,240トークンで強力な再構築を保ち、40%のマスクによる事前トレーニングは、表現品質を保ちながら、重い汚職下での回復を改善する。 長文ベンチマークにより、ネイティブ10Kモデルは、摂動による表現変化を高度に局所化しつつ、強い文脈応答性とコンテキスト特異的な表現分離を維持していることが示された。 推論時YaRNスケーリングは、短いコンテキストモデルの直接外挿によって失われた文脈的組織の多くを回復するが、はるかに大きな遠位表現拡散を引き起こす。 RIBOSPANは様々なRNAタイプにまたがる最も優れた全体的な性能を達成し、長いRNAに対して明確な優位性を維持している。 同じバックボーン上に構築し、タンパク質保存CDS最適化のための同義語-コドン拡散を含む、完全長mRNA生成と再設計のための多次元的条件付き離散拡散フレームワークを開発する。 RIBOSPANは、転写可能なRNA表現学習と全転写mRNA設計のための強力な長文基盤を確立する。

関連論文リスト

• RNA-FM: Flow-Matching Generative Model for Genome-wide RNA-Seq Prediction [48.07329582311906]
  本研究では,全スライディング画像からのゲノムワイドRNA配列予測のためのフローマッチング生成フレームワークであるRNA-FMを提案する。 RNA-FMは、連続時間条件付き輸送問題として転写予測を定式化する。 スケーラブルで生物学的に解釈可能なゲノムワイド遺伝子発現抑制を可能にする。
  論文  参考訳（メタデータ） (2026-05-12T06:48:58Z)
• Protein-Conditioned Multi-Objective Reinforcement Learning for Full-Length mRNA Design [2.9395143551178333]
  本稿では,ターゲット配列から直接mRNA転写物を生成する多目的生成フレームワークProMORNAを提案する。 私たちのアプローチは、600万以上の天然タンパク-mRNAペア上で、BARTスタイルのエンコーダ-デコーダモデルをトレーニングすることから始まります。 ケーススタディとして,広範に使用されているホタルルシフェラーゼターゲットのProMORNAを,教師付きトレーニングデータとプロンプトプールの両方から除外して評価した。
  論文  参考訳（メタデータ） (2026-05-02T16:05:51Z)
• Fair splits flip the leaderboard: CHANRG reveals limited generalization in RNA secondary-structure prediction [44.072730684426794]
  現在のベンチマークではRNAファミリー間の一般化を過大評価することができる。 我々は包括的階層を提示する。 非コードRNA群(英: Non-coding RNA Groups of Non-coding RNAs,CHANRG)は、170,083個の構造的非冗長RNAのベンチマークである。
  論文  参考訳（メタデータ） (2026-03-20T20:18:08Z)
• RiboSphere: Learning Unified and Efficient Representations of RNA Structures [57.40815107640066]
  RNAのバックボーンは非常に柔軟で、非カノニカル相互作用が一般的であり、実験的に決定された3D構造は比較的少ない。 本稿では,ベクトル量子化とフローマッチングを組み合わせることで,RNAの固有な幾何学的表現を学習するフレームワークであるemphRiboSphereを紹介する。
  論文  参考訳（メタデータ） (2026-03-20T04:36:35Z)
• Helix-mRNA: A Hybrid Foundation Model For Full Sequence mRNA Therapeutics [3.2508287756500165]
  mRNAベースのワクチンは製薬業界において主要な焦点となっている。 この性質のためにmRNA配列を最適化するのは 難しい課題です これらの課題に対処するために、構造化された状態空間ベースおよび注目ハイブリッドモデルであるHelix-mRNAを提案する。
  論文  参考訳（メタデータ） (2025-02-19T14:51:41Z)
• Comprehensive benchmarking of large language models for RNA secondary structure prediction [0.0]
  RNA-LLMはRNA配列の大規模なデータセットを使用して、自己教師付き方法で、意味的に豊かな数値ベクトルで各RNA塩基をどう表現するかを学ぶ。 その中で、二次構造を予測することは、RNAの機能的機構を明らかにするための基本的な課題である。 本稿では,いくつかの事前学習されたRNA-LLMの総合的な実験解析を行い,それらを統合されたディープラーニングフレームワークにおけるRNA二次構造予測タスクと比較する。
  論文  参考訳（メタデータ） (2024-10-21T17:12:06Z)
• Latent Diffusion Models for Controllable RNA Sequence Generation [33.38594748558547]
  RNAはDNAとタンパク質の間の重要な中間体であり、高い配列の多様性と複雑な3次元構造を示す。 可変長の離散RNA配列の生成と最適化のための潜時拡散モデルを開発した。 実験の結果、RNA拡散は様々な生物学的指標の自然な分布と一致した非コードRNAを生成することが確認された。
  論文  参考訳（メタデータ） (2024-09-15T19:04:50Z)
• BEACON: Benchmark for Comprehensive RNA Tasks and Language Models [60.02663015002029]
  本稿では、最初の包括的なRNAベンチマークBEACON(textbfBEnchmtextbfArk for textbfCOmprehensive RtextbfNA Task and Language Models)を紹介する。 まずBEACONは、構造解析、機能研究、工学的応用を網羅した、これまでの広範囲にわたる研究から導かれた13のタスクから構成される。 第2に、CNNのような従来のアプローチや、言語モデルに基づく高度なRNA基盤モデルなど、さまざまなモデルについて検討し、これらのモデルのタスク固有のパフォーマンスに関する貴重な洞察を提供する。 第3に、重要なRNA言語モデルコンポーネントについて検討する。
  論文  参考訳（メタデータ） (2024-06-14T19:39:19Z)
• RDesign: Hierarchical Data-efficient Representation Learning for Tertiary Structure-based RNA Design [65.41144149958208]
  本研究では,データ駆動型RNA設計パイプラインを体系的に構築することを目的とする。 我々は、ベンチマークデータセットを作成し、複雑なRNA第三次構造を表現するための包括的な構造モデリングアプローチを設計した。 RNA設計プロセスを容易にするために,塩基対を持つ抽出二次構造体を事前知識として組み込んだ。
  論文  参考訳（メタデータ） (2023-01-25T17:19:49Z)
• Accurate RNA 3D structure prediction using a language model-based deep learning approach [50.193512039121984]
  RhoFold+はRNA言語モデルに基づくディープラーニング手法で、配列から単一鎖RNAの3次元構造を正確に予測する。 RhoFold+はRNA 3D構造予測のための完全に自動化されたエンドツーエンドパイプラインを提供する。
  論文  参考訳（メタデータ） (2022-07-04T17:15:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。