論文の概要: Distilling Genomic Models for Efficient mRNA Representation Learning via Embedding Matching

• arxiv url: http://arxiv.org/abs/2604.08574v1
• Date: Fri, 27 Mar 2026 14:07:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-19 19:09:11.446973
• Title: Distilling Genomic Models for Efficient mRNA Representation Learning via Embedding Matching
• Title（参考訳）: 埋め込みマッチングによる効率的なmRNA表現学習のための蒸留ゲノムモデル
• Authors: Rasched Haidari, Sam Martin, Maxime Allard,
• Abstract要約: 本稿では、ゲノム基盤モデルからmRNA配列に特化したより小さなモデルにmRNA表現を変換するためのフレームワークを提案する。 埋込み式蒸留法はロジット法よりも有効であり,不安定であった。 本研究は,生物基盤モデルの効果的なトレーニング戦略として,mRNA配列の埋込み蒸留に注目した。
• 参考スコア（独自算出の注目度）: 0.6256402324137827
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Genomic Foundation Models have recently achieved remarkable results and in-vivo translation capabilities. However these models quickly grow to over a few Billion of parameters and are expensive to run when compute is limited. To overcome this challenge, we present a distillation framework for transferring mRNA representations from a state of the art genomic foundation model into a much smaller model specialized for mRNA sequences, reducing the size by 200-fold. Embedding-level distillation worked better than logit based methods, which we found unstable. Benchmarking on mRNA-bench demonstrates that the distilled model achieves state-of-the-art performance among models of comparable size and competes with larger architectures for mRNA-related tasks. Our results highlight embedding-based distillation of mRNA sequences as an effective training strategy for biological foundation models. This enables similar efficient and scalable sequence modelling in genomics, particularly when large models are computationally challenging or infeasible.
• Abstract（参考訳）: 大規模なゲノミクス・ファンデーション・モデル(英語版)は、最近顕著な成果と生き生きとした翻訳能力を達成した。 しかし、これらのモデルは急速に数十億以上のパラメータに成長し、計算が限られている場合には実行に費用がかかる。 この課題を克服するために、最先端のゲノム基盤モデルからmRNA配列に特化したより小さなモデルにmRNA表現を変換する蒸留フレームワークを提案し、そのサイズを200倍に削減する。 埋込み式蒸留法はロジット法よりも有効であり,不安定であった。 mRNAベンチ上でのベンチマークでは、蒸留されたモデルは、同等の大きさのモデル間で最先端のパフォーマンスを達成し、mRNA関連のタスクのためのより大きなアーキテクチャと競合することを示した。 本研究は,生物基盤モデルの効果的なトレーニング戦略として,mRNA配列の埋込み蒸留に注目した。 これにより、特に大きなモデルが計算的に困難である場合、ゲノミクスにおける同様に効率的でスケーラブルなシーケンスモデリングが可能になる。

関連論文リスト

• CodonMoE: DNA Language Models for mRNA Analyses [4.046100165562807]
  ゲノム言語モデル (gLMs) は、生物学的モダリティ(DNAとRNA)ごとに別々の特殊モデルを維持するか、大規模なマルチモーダルアーキテクチャを開発するかという、基本的な効率上の課題に直面している。 我々は、DNA言語モデルをRNA固有の事前学習なしで効果的なRNAアナライザに変換する軽量なアダプタであるCodonMoEを紹介した。 我々のアプローチは、ゲノム言語モデリングを統一し、より豊富なDNAデータを活用し、計算オーバーヘッドを減らすための原則化された経路を提供する。
  論文  参考訳（メタデータ） (2025-08-06T01:40:12Z)
• HAD: Hybrid Architecture Distillation Outperforms Teacher in Genomic Sequence Modeling [52.58723853697152]
  DNA配列モデリングのためのハイブリッドアーキテクチャ蒸留(HAD)手法を提案する。 我々はNTv2-500Mを教師モデルとして採用し,グループマスキング戦略を考案した。 類似したパラメータを持つモデルと比較して,本モデルは優れた性能を示した。
  論文  参考訳（メタデータ） (2025-05-27T07:57:35Z)
• GENERator: A Long-Context Generative Genomic Foundation Model [66.46537421135996]
  本稿では,98k塩基対 (bp) と1.2Bパラメータからなるゲノム基盤モデル GENERator を提案する。 DNAの386Bbpからなる拡張データセットに基づいて、GENERatorは、確立されたベンチマークと新しく提案されたベンチマークの両方で最先端のパフォーマンスを実証する。 また、特に特定のアクティビティプロファイルを持つエンハンサーシーケンスを即応的に生成することで、シーケンス最適化において大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2025-02-11T05:39:49Z)
• Character-level Tokenizations as Powerful Inductive Biases for RNA Foundational Models [0.0]
  RNAの挙動を理解し予測することは、RNAの構造と相互作用の複雑さのために困難である。 現在のRNAモデルは、タンパク質ドメインで観測された性能とはまだ一致していない。 ChaRNABERTは、確立されたベンチマークでいくつかのタスクで最先端のパフォーマンスに到達することができる。
  論文  参考訳（メタデータ） (2024-11-05T21:56:16Z)
• Comprehensive benchmarking of large language models for RNA secondary structure prediction [0.0]
  RNA-LLMはRNA配列の大規模なデータセットを使用して、自己教師付き方法で、意味的に豊かな数値ベクトルで各RNA塩基をどう表現するかを学ぶ。 その中で、二次構造を予測することは、RNAの機能的機構を明らかにするための基本的な課題である。 本稿では,いくつかの事前学習されたRNA-LLMの総合的な実験解析を行い,それらを統合されたディープラーニングフレームワークにおけるRNA二次構造予測タスクと比較する。
  論文  参考訳（メタデータ） (2024-10-21T17:12:06Z)
• BEACON: Benchmark for Comprehensive RNA Tasks and Language Models [60.02663015002029]
  本稿では、最初の包括的なRNAベンチマークBEACON(textbfBEnchmtextbfArk for textbfCOmprehensive RtextbfNA Task and Language Models)を紹介する。 まずBEACONは、構造解析、機能研究、工学的応用を網羅した、これまでの広範囲にわたる研究から導かれた13のタスクから構成される。 第2に、CNNのような従来のアプローチや、言語モデルに基づく高度なRNA基盤モデルなど、さまざまなモデルについて検討し、これらのモデルのタスク固有のパフォーマンスに関する貴重な洞察を提供する。 第3に、重要なRNA言語モデルコンポーネントについて検討する。
  論文  参考訳（メタデータ） (2024-06-14T19:39:19Z)
• Scalable Deep Learning for RNA Secondary Structure Prediction [38.46798525594529]
  本稿では,アキシャルアテンションとリサイクリングを用いた学習モデルであるRNAformerについて述べる。 提案手法は,一般的なTS0ベンチマークデータセット上での最先端性能を実現する。 RNAフォーマがRNA折り畳み過程の生体物理モデルを学ぶことができることを示す。
  論文  参考訳（メタデータ） (2023-07-14T12:54:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。