論文の概要: RAGenome: Scaling Retrieval-Based Genomic Language Models to Long Contexts

• arxiv url: http://arxiv.org/abs/2610.11761v1
• Date: Thu, 08 Oct 2026 11:44:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.987546
• Title: RAGenome: Scaling Retrieval-Based Genomic Language Models to Long Contexts
• Title（参考訳）: RAGenome: 検索に基づくゲノム言語モデルを長いコンテキストに拡張する
• Abstract要約: RAGenomeは、より長い文脈での事前訓練をスケールし、種間の進化的関係と種内の長距離相互作用の両方をキャプチャする。 RAGenomeは、トレーニングコストのごく一部で、競争力のあるgLMパフォーマンスを提供する。
• 参考スコア（独自算出の注目度）: 10.885072765820992
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The genome holds the blueprint that governs the biological properties of the cell. Consequently, advancing our knowledge of genomic function is crucial both for a broader understanding of biology and for continued biomedical advances. The success of large language models on natural language and protein sequences has motivated similar efforts on genomic data. However, standard genomic language models (gLMs) often require extremely large computational resources and still fall behind traditional methods on some downstream tasks. Recently, MSA-based pretraining has been proposed as an efficient alternative, but existing models are limited to short input contexts, restricting their use to short-range tasks, such as variant effect prediction. In this work, we present RAGenome, the first retrieval-based gLM that scales pretraining to longer contexts (100$\times$ longer than existing MSA-based gLMs), allowing it to capture both across-species evolutionary relationships and within-species longer-range interactions. Trained on whole-genome alignments from 100 vertebrates, RAGenome substantially improves the long-range capabilities of MSA-based gLMs, raising gene finding performance from 0.45 to 0.60, while remaining competitive on purely evolutionary-based tasks like prioritizing pathogenic variants. RAGenome provides competitive gLM performance at a fraction of the training cost, unifying evolutionary modeling and long-range capabilities within a single, flexible, scalable framework. Code is available at https://github.com/PanosAntoniadis/RAGenome.
• Abstract（参考訳）: ゲノムは、細胞の生物学的性質を管理する青写真を保持する。 したがって、ゲノム機能に関する知識の進歩は、生物学のより広範な理解と、継続的な生物医学的進歩のためにも不可欠である。 自然言語とタンパク質配列に関する大規模な言語モデルの成功は、ゲノムデータに対する同様の取り組みを動機付けている。 しかし、標準的なゲノミクス言語モデル(gLM)は、しばしば非常に大きな計算資源を必要とし、下流のタスクでは従来の手法に遅れを取っている。 近年、MSAベースの事前訓練が効率的な代替案として提案されているが、既存のモデルは短い入力コンテキストに限られており、変動効果予測のような短い範囲のタスクに限られている。 本研究で提案するRAGenomeは,より長い文脈(既存のMSAベースのgLMよりも100$\times$長い)に事前学習をスケールする最初の検索ベースgLMである。 RAGenomeは、100個の脊椎動物の全ゲノムアライメントに基づいて訓練され、MSAベースのgLMの長距離能力を大幅に改善し、遺伝子発見性能は0.45から0.60まで上昇する一方、病原体の変異を優先順位付けするような純粋に進化的なタスクでは競争力を維持する。 RAGenomeは、トレーニングコストのごく一部で競争力のあるgLMパフォーマンスを提供し、単一の柔軟なスケーラブルなフレームワーク内で進化的モデリングと長距離機能を統合する。 コードはhttps://github.com/PanosAntoniadis/RAGenomeで入手できる。

関連論文リスト

• GENERator: A Long-Context Generative Genomic Foundation Model [66.46537421135996]
  本稿では,98k塩基対 (bp) と1.2Bパラメータからなるゲノム基盤モデル GENERator を提案する。 DNAの386Bbpからなる拡張データセットに基づいて、GENERatorは、確立されたベンチマークと新しく提案されたベンチマークの両方で最先端のパフォーマンスを実証する。 また、特に特定のアクティビティプロファイルを持つエンハンサーシーケンスを即応的に生成することで、シーケンス最適化において大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2025-02-11T05:39:49Z)
• VQDNA: Unleashing the Power of Vector Quantization for Multi-Species Genomic Sequence Modeling [60.91599380893732]
  VQDNAは、ゲノムボキャブラリ学習の観点からゲノムのトークン化を改良する汎用フレームワークである。 ベクトル量子化されたコードブックを学習可能な語彙として活用することにより、VQDNAはゲノムをパターン認識の埋め込みに適応的にトークン化することができる。
  論文  参考訳（メタデータ） (2024-05-13T20:15:03Z)
• Efficient and Scalable Fine-Tune of Language Models for Genome Understanding [49.606093223945734]
  textscLanguage prefix ftextscIne-tuning for textscGentextscOmes。 DNA基盤モデルとは異なり、textscLingoは自然言語基盤モデルの文脈的手がかりを戦略的に活用している。 textscLingoはさらに、適応的なランクサンプリング方法により、下流の細調整タスクを数多く許容する。
  論文  参考訳（メタデータ） (2024-02-12T21:40:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。