Fugu-MT 論文翻訳(概要): CodonMoE: DNA Language Models for mRNA Analyses

論文の概要: CodonMoE: DNA Language Models for mRNA Analyses

arxiv url: http://arxiv.org/abs/2508.04739v1
Date: Wed, 06 Aug 2025 01:40:12 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-08 18:59:39.583327
Title: CodonMoE: DNA Language Models for mRNA Analyses
Title（参考訳）: CodonMoE:mRNA解析のためのDNA言語モデル
Authors: Shiyi Du, Litian Liang, Jiayi Li, Carl Kingsford,
Abstract要約: ゲノム言語モデル (gLMs) は、生物学的モダリティ(DNAとRNA)ごとに別々の特殊モデルを維持するか、大規模なマルチモーダルアーキテクチャを開発するかという、基本的な効率上の課題に直面している。我々は、DNA言語モデルをRNA固有の事前学習なしで効果的なRNAアナライザに変換する軽量なアダプタであるCodonMoEを紹介した。我々のアプローチは、ゲノム言語モデリングを統一し、より豊富なDNAデータを活用し、計算オーバーヘッドを減らすための原則化された経路を提供する。
参考スコア（独自算出の注目度）: 4.046100165562807
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Genomic language models (gLMs) face a fundamental efficiency challenge: either maintain separate specialized models for each biological modality (DNA and RNA) or develop large multi-modal architectures. Both approaches impose significant computational burdens - modality-specific models require redundant infrastructure despite inherent biological connections, while multi-modal architectures demand massive parameter counts and extensive cross-modality pretraining. To address this limitation, we introduce CodonMoE (Adaptive Mixture of Codon Reformative Experts), a lightweight adapter that transforms DNA language models into effective RNA analyzers without RNA-specific pretraining. Our theoretical analysis establishes CodonMoE as a universal approximator at the codon level, capable of mapping arbitrary functions from codon sequences to RNA properties given sufficient expert capacity. Across four RNA prediction tasks spanning stability, expression, and regulation, DNA models augmented with CodonMoE significantly outperform their unmodified counterparts, with HyenaDNA+CodonMoE series achieving state-of-the-art results using 80% fewer parameters than specialized RNA models. By maintaining sub-quadratic complexity while achieving superior performance, our approach provides a principled path toward unifying genomic language modeling, leveraging more abundant DNA data and reducing computational overhead while preserving modality-specific performance advantages.
Abstract（参考訳）: ゲノム言語モデル (gLMs) は、生物学的モダリティ(DNAとRNA)ごとに別々の特殊モデルを維持するか、大規模なマルチモーダルアーキテクチャを開発するかという、基本的な効率上の課題に直面している。モダリティ固有のモデルは、固有の生物学的接続にもかかわらず冗長なインフラを必要とするが、マルチモーダルアーキテクチャは、膨大なパラメータ数と広範囲なモダリティ事前訓練を必要とする。この制限に対処するために、DNA言語モデルをRNA特異的プレトレーニングなしで効果的なRNAアナライザに変換する軽量なアダプタであるCodonMoE(Adaptive Mixture of Codon Reformative Experts)を紹介する。理論的解析によりコドンレベルでの普遍近似器としてCodonMoEが確立され,コドン配列から十分な専門能力を有するRNA特性への任意の関数のマッピングが可能となった。安定性、発現、調節にまたがる4つのRNA予測タスクの中で、CodonMoEで強化されたDNAモデルは、HyenaDNA+CodonMoEシリーズにおいて、特定のRNAモデルよりも80%少ないパラメータで最先端の結果を達成する。優れた性能を保ちながらサブクワッドの複雑さを保ちながら、我々のアプローチはゲノム言語モデリングを統一し、より豊富なDNAデータを活用し、モダリティ固有のパフォーマンスの優位性を保ちながら計算オーバーヘッドを低減するための原則的な経路を提供する。

関連論文リスト

JanusDNA: A Powerful Bi-directional Hybrid DNA Foundation Model [1.6128508494592848]
大規模言語モデル(LLM)は自然言語処理に革命をもたらし、他のシーケンシャルなデータタイプにもますます適用されてきている。我々は、新しい事前学習パラダイムに基づいて構築された、最初の双方向DNA基盤モデルであるJanusDNAを紹介する。 JanusDNAは、1つの80GB GPU上で1つのヌクレオチド分解能で100万塩基対を処理する。
論文参考訳（メタデータ） (2025-05-22T20:10:55Z)
UniGenX: Unified Generation of Sequence and Structure with Autoregressive Diffusion [61.690978792873196]
既存のアプローチは自己回帰シーケンスモデルか拡散モデルのいずれかに依存している。自己回帰的次トーケン予測と条件拡散モデルを組み合わせた統合フレームワークUniGenXを提案する。材料および小分子生成タスクにおけるUniGenXの有効性を検証する。
論文参考訳（メタデータ） (2025-03-09T16:43:07Z)
HybriDNA: A Hybrid Transformer-Mamba2 Long-Range DNA Language Model [70.69095062674944]
ハイブリッドトランスフォーマー-マンバ2アーキテクチャを組み込んだデコーダのみのDNA言語モデルであるHybriDNAを提案する。このハイブリッド設計により、HybriDNAはDNA配列を最大131kbまで効率よく単一のヌクレオチド分解能で処理できる。 HybriDNAは、BEND、GUE、LRBベンチマークから算出された33のDNA理解データセットにまたがる最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2025-02-15T14:23:43Z)
Life-Code: Central Dogma Modeling with Multi-Omics Sequence Unification [55.98854157265578]
Life-Codeは、様々な生物学的機能にまたがる包括的なフレームワークである。本稿では、RNAを逆転写し、アミノ酸をヌクレオチド配列に変換することで、マルチオミクスデータを統合する統一パイプラインを提案する。 Life-Codeは3つのオミクスにまたがる様々なタスクの最先端の結果を達成し、マルチオミクス分析と解釈の進歩の可能性を強調している。
論文参考訳（メタデータ） (2025-02-11T06:53:59Z)
GENERator: A Long-Context Generative Genomic Foundation Model [66.46537421135996]
本稿では,98k塩基対 (bp) と1.2Bパラメータからなるゲノム基盤モデル GENERator を提案する。 DNAの386Bbpからなる拡張データセットに基づいて、GENERatorは、確立されたベンチマークと新しく提案されたベンチマークの両方で最先端のパフォーマンスを実証する。また、特に特定のアクティビティプロファイルを持つエンハンサーシーケンスを即応的に生成することで、シーケンス最適化において大きな可能性を秘めている。
論文参考訳（メタデータ） (2025-02-11T05:39:49Z)
Character-level Tokenizations as Powerful Inductive Biases for RNA Foundational Models [0.0]
RNAの挙動を理解し予測することは、RNAの構造と相互作用の複雑さのために困難である。現在のRNAモデルは、タンパク質ドメインで観測された性能とはまだ一致していない。 ChaRNABERTは、確立されたベンチマークでいくつかのタスクで最先端のパフォーマンスに到達することができる。
論文参考訳（メタデータ） (2024-11-05T21:56:16Z)
Semantically Rich Local Dataset Generation for Explainable AI in Genomics [0.716879432974126]
ゲノム配列に基づいて訓練されたブラックボックス深層学習モデルは、異なる遺伝子制御機構の結果を予測するのに優れている。本稿では、遺伝的プログラミングを用いて、その意味的多様性に寄与する配列の摂動を進化させることによりデータセットを生成することを提案する。
論文参考訳（メタデータ） (2024-07-03T10:31:30Z)
Multi-modal Transfer Learning between Biological Foundation Models [2.6545450959042234]
そこで本研究では,DNA,RNA,タンパク質を結合するマルチモーダル特異的モデルを提案する。我々のモデルはIsoFormerと呼ばれ、既存の手法よりも優れた差分転写表現を正確に予測できることを示します。我々は、新しいマルチモーダル遺伝子表現アプローチの道を開くために、我々のモデルをオープンソース化した。
論文参考訳（メタデータ） (2024-06-20T09:44:53Z)
BEACON: Benchmark for Comprehensive RNA Tasks and Language Models [60.02663015002029]
本稿では、最初の包括的なRNAベンチマークBEACON(textbfBEnchmtextbfArk for textbfCOmprehensive RtextbfNA Task and Language Models)を紹介する。まずBEACONは、構造解析、機能研究、工学的応用を網羅した、これまでの広範囲にわたる研究から導かれた13のタスクから構成される。第2に、CNNのような従来のアプローチや、言語モデルに基づく高度なRNA基盤モデルなど、さまざまなモデルについて検討し、これらのモデルのタスク固有のパフォーマンスに関する貴重な洞察を提供する。第3に、重要なRNA言語モデルコンポーネントについて検討する。
論文参考訳（メタデータ） (2024-06-14T19:39:19Z)
Efficient and Scalable Fine-Tune of Language Models for Genome Understanding [49.606093223945734]
textscLanguage prefix ftextscIne-tuning for textscGentextscOmes。 DNA基盤モデルとは異なり、textscLingoは自然言語基盤モデルの文脈的手がかりを戦略的に活用している。 textscLingoはさらに、適応的なランクサンプリング方法により、下流の細調整タスクを数多く許容する。
論文参考訳（メタデータ） (2024-02-12T21:40:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。