論文の概要: PlantBiMoE: A Bidirectional Foundation Model with SparseMoE for Plant Genomes

• arxiv url: http://arxiv.org/abs/2512.07113v1
• Date: Mon, 08 Dec 2025 02:51:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-09 22:03:54.687729
• Title: PlantBiMoE: A Bidirectional Foundation Model with SparseMoE for Plant Genomes
• Title（参考訳）: PlantBiMoE:植物ゲノムのためのスパースMoEを用いた双方向ファンデーションモデル
• Authors: Kepeng Lin, Qizhe Zhang, Rui Wang, Xuehai Hu, Wei Xu,
• Abstract要約: PlantBiMoEは軽量で表現力豊かな植物ゲノム言語モデルである。 双方向のMambaとSparse Mixture-of-Expertsフレームワークを統合している。
• 参考スコア（独自算出の注目度）: 9.805758991551043
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding the underlying linguistic rules of plant genomes remains a fundamental challenge in computational biology. Recent advances including AgroNT and PDLLMs have made notable progress although, they suffer from excessive parameter size and limited ability to model the bidirectional nature of DNA strands respectively. To address these limitations, we propose PlantBiMoE, a lightweight and expressive plant genome language model that integrates bidirectional Mamba and a Sparse Mixture-of-Experts (SparseMoE) framework. The bidirectional Mamba enables the model to effectively capture structural dependencies across both the forward and reverse DNA strands, while SparseMoE significantly reduces the number of active parameters, improving computational efficiency without sacrificing modeling capacity. We evaluated and tested our model on the Modified Plants Genome Benchmark (MPGB), an enhanced genomic benchmark, which consolidates 31 datasets across 11 representative tasks, with input sequence lengths ranging from 50 to 6,000 bp. Experimental results demonstrate that PlantBiMoE achieves the best performance on 20 out of 31 datasets and the average best when comparing with existing models. In summary, all above results demonstrate that our model can effectively represent plant genomic sequences, serving as a robust computational tool for diverse genomic tasks, while making substantive contributions to plant genomics, gene editing, and synthetic biology. The code is available at: https://github.com/HUST-Keep-Lin/PlantBiMoE
• Abstract（参考訳）: 植物ゲノムの根底にある言語規則を理解することは、計算生物学における根本的な課題である。 AgroNT や PDLLM などの最近の進歩は顕著な進歩を遂げているが,DNA 鎖の2方向特性をモデル化する過度なパラメータサイズと限られた能力に悩まされている。 これらの制約に対処するために、双方向マンバとスパースミックス・オブ・エクスプット(Sparse Mixture-of-Experts, SparseMoE)フレームワークを統合した軽量かつ表現力のある植物ゲノム言語モデルであるPlantBiMoEを提案する。 一方、SparseMoEは活性パラメータの数を著しく削減し、モデリング能力を犠牲にすることなく計算効率を向上する。 我々は, 改良植物ゲノムベンチマーク (MPGB) を用いて, 11のタスクに31のデータセットを集約し, 入力シーケンスの長さを50から6000bpに拡張したゲノムベンチマーク(MPGB)で評価し, 実験を行った。 実験結果から、PlantBiMoEは31データセット中20データセットで最高のパフォーマンスを示し、既存のモデルと比較すると平均最高であることがわかった。 以上の結果から,本モデルが植物ゲノム配列を効果的に表現し,植物ゲノム学,遺伝子編集,合成生物学に実質的な貢献をしながら,多様なゲノムタスクのための堅牢な計算ツールとして機能することが示唆された。 コードは、https://github.com/HUST-Keep-Lin/PlantBiMoEで入手できる。

関連論文リスト

• JanusDNA: A Powerful Bi-directional Hybrid DNA Foundation Model [7.8918969994977575]
  大規模言語モデル(LLM)は自然言語処理に革命をもたらし、他のシーケンシャルなデータタイプにもますます適用されてきている。 我々は、新しい事前学習パラダイムに基づいて構築された、最初の双方向DNA基盤モデルであるJanusDNAを紹介する。 JanusDNAは、1つの80GB GPU上で1つのヌクレオチド分解能で100万塩基対を処理する。
  論文  参考訳（メタデータ） (2025-05-22T20:10:55Z)
• Bidirectional Mamba for Single-Cell Data: Efficient Context Learning with Biological Fidelity [0.39945675027960637]
  我々は、状態空間モデリングに基づいて構築された単一セル転写学のスケーラブルで効率的な基礎モデルであるGeneMambaを紹介した。 GeneMambaは、双方向の遺伝子コンテキストを線形時間複雑性でキャプチャし、トランスフォーマーベースラインよりもかなりの計算的ゲインを提供する。 我々は、マルチバッチ統合、細胞型アノテーション、遺伝子-遺伝子相関など様々なタスクにまたがってGeneMambaを評価し、高い性能、解釈可能性、堅牢性を示す。
  論文  参考訳（メタデータ） (2025-04-22T20:34:47Z)
• GENERator: A Long-Context Generative Genomic Foundation Model [66.46537421135996]
  本稿では,98k塩基対 (bp) と1.2Bパラメータからなるゲノム基盤モデル GENERator を提案する。 DNAの386Bbpからなる拡張データセットに基づいて、GENERatorは、確立されたベンチマークと新しく提案されたベンチマークの両方で最先端のパフォーマンスを実証する。 また、特に特定のアクティビティプロファイルを持つエンハンサーシーケンスを即応的に生成することで、シーケンス最適化において大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2025-02-11T05:39:49Z)
• GenBench: A Benchmarking Suite for Systematic Evaluation of Genomic Foundation Models [56.63218531256961]
  我々はGenomic Foundation Modelsの有効性を評価するためのベンチマークスイートであるGenBenchを紹介する。 GenBenchはモジュラーで拡張可能なフレームワークを提供し、様々な最先端の方法論をカプセル化している。 本稿では,タスク固有性能におけるモデルアーキテクチャとデータセット特性の相互作用のニュアンス解析を行う。
  論文  参考訳（メタデータ） (2024-06-01T08:01:05Z)
• Caduceus: Bi-Directional Equivariant Long-Range DNA Sequence Modeling [36.37643634126816]
  長範囲のトークン相互作用、ゲノムの上流および下流領域の影響、およびDNAの逆相補性について研究した。 本稿では,長距離マンバブロックから構築したこれらの課題を動機とするアーキテクチャを提案する。 RC同種二方向長範囲DNA言語モデルの最初のファミリーであるCaduceusの基盤として,MambaDNAを使用している。
  論文  参考訳（メタデータ） (2024-03-05T01:42:51Z)
• HyenaDNA: Long-Range Genomic Sequence Modeling at Single Nucleotide Resolution [76.97231739317259]
  本稿では,ヒト参照ゲノム上に,最大100万個のトークンを単一ヌクレオチドレベルで有するゲノム基盤モデルであるHyenaDNAについて紹介する。 Nucleotide Transformerの微調整されたベンチマークでは、HyenaDNAが18のデータセットのうち12の最先端(SotA)に到達した。
  論文  参考訳（メタデータ） (2023-06-27T20:46:34Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。