論文の概要: Caduceus: Bi-Directional Equivariant Long-Range DNA Sequence Modeling

• arxiv url: http://arxiv.org/abs/2403.03234v2
• Date: Wed, 5 Jun 2024 21:02:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 23:50:27.772164
• Title: Caduceus: Bi-Directional Equivariant Long-Range DNA Sequence Modeling
• Title（参考訳）: Caduceus: 双方向等価長鎖DNA配列モデリング
• Authors: Yair Schiff, Chia-Hsiang Kao, Aaron Gokaslan, Tri Dao, Albert Gu, Volodymyr Kuleshov,
• Abstract要約: 長範囲のトークン相互作用、ゲノムの上流および下流領域の影響、およびDNAの逆相補性について研究した。 本稿では,長距離マンバブロックから構築したこれらの課題を動機とするアーキテクチャを提案する。 RC同種二方向長範囲DNA言語モデルの最初のファミリーであるCaduceusの基盤として,MambaDNAを使用している。
• 参考スコア（独自算出の注目度）: 36.37643634126816
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large-scale sequence modeling has sparked rapid advances that now extend into biology and genomics. However, modeling genomic sequences introduces challenges such as the need to model long-range token interactions, the effects of upstream and downstream regions of the genome, and the reverse complementarity (RC) of DNA. Here, we propose an architecture motivated by these challenges that builds off the long-range Mamba block, and extends it to a BiMamba component that supports bi-directionality, and to a MambaDNA block that additionally supports RC equivariance. We use MambaDNA as the basis of Caduceus, the first family of RC equivariant bi-directional long-range DNA language models, and we introduce pre-training and fine-tuning strategies that yield Caduceus DNA foundation models. Caduceus outperforms previous long-range models on downstream benchmarks; on a challenging long-range variant effect prediction task, Caduceus exceeds the performance of 10x larger models that do not leverage bi-directionality or equivariance.
• Abstract（参考訳）: 大規模シーケンスモデリングが急速に進歩し、生物学やゲノム工学に発展した。 しかし、ゲノム配列のモデリングは、長距離トークン相互作用のモデル化の必要性、ゲノムの上流領域と下流領域の影響、DNAの逆相補性(RC)といった課題をもたらす。 本稿では、長距離マンバブロックから構築したこれらの課題に動機づけられたアーキテクチャを提案し、それを双方向性をサポートするBiMambaコンポーネントに拡張し、さらにRC等分散をサポートするMambaDNAブロックに拡張する。 RC同種二方向長鎖DNA言語モデルの最初のファミリーであるCaduceusの基盤としてMambaDNAを用い,CaduceusのDNA基盤モデルを生成する事前学習および微調整戦略を導入する。 Caduceusは、ダウンストリームベンチマークで以前の長距離モデルよりも優れており、挑戦的な長距離変動効果予測タスクでは、双方向性や等分散を生かさない10倍の大きなモデルの性能を上回っている。

関連論文リスト

• GENERator: A Long-Context Generative Genomic Foundation Model [66.46537421135996]
  本研究では,98k塩基対 (bp) と1.2Bパラメータからなるゲノム基盤モデルを提案する。 このモデルは分子生物学の中心的なドグマに固執し、タンパク質のコード配列を正確に生成する。 また、特にプロモーター配列の即応的な生成を通じて、シーケンス最適化において大きな可能性を示している。
  論文  参考訳（メタデータ） (2025-02-11T05:39:49Z)
• Omni-DNA: A Unified Genomic Foundation Model for Cross-Modal and Multi-Task Learning [30.762037633773257]
  我々は2000万から10億のパラメータからなるクロスモーダルマルチタスクモデルのファミリーであるOmni-DNAを紹介する。 本手法は, (i) 次のトークン予測目標によるDNA配列の事前学習, (ii) マルチモーダルなタスク固有トークンの拡張, 複数下流タスクの微調整の2段階からなる。 Nucleotide TransformerとGBベンチマークで評価すると、Omni-DNAは26タスク中18タスクで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-02-05T09:20:52Z)
• Manta: Enhancing Mamba for Few-Shot Action Recognition of Long Sub-Sequence [33.38031167119682]
  数ショットのアクション認識では、ビデオの長いサブシーケンスは、アクション全体をより効果的に表現する。 最近のMambaは、長いシーケンスをモデリングする効率を示すが、MambaをFSARに直接適用することは、局所的な特徴モデリングとアライメントの重要性を見落としている。 これらの課題を解決するために,Matryoshka MAmba と CoNtrasTive LeArning フレームワーク (Manta) を提案する。 Mantaは、SSv2、Kineetics、UCF101、HMDB51などの著名なベンチマークで、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-12-10T13:03:42Z)
• DART-Eval: A Comprehensive DNA Language Model Evaluation Benchmark on Regulatory DNA [2.543784712990392]
  大規模なゲノムDNA言語モデル(DNALM)は、多様なDNA要素の一般化可能な表現を学習することを目的としている。 本ベンチマークでは, 機能的配列の特徴探索, 細胞型特異的制御活性の予測, 遺伝的変異の影響の予測など, 生物学的に有意義な下流課題を対象としている。
  論文  参考訳（メタデータ） (2024-12-06T21:23:35Z)
• dnaGrinder: a lightweight and high-capacity genomic foundation model [11.646351318648499]
  現在のゲノム基盤モデルは、しばしば重要なトレードオフに直面している。 我々は、ユニークで効率的なゲノム基盤モデルであるdnaGrinderを紹介する。 dnaGrinderはゲノム配列内の長距離依存関係を管理するのに優れ、性能を損なうことなく計算コストを最小化できる。
  論文  参考訳（メタデータ） (2024-09-24T03:20:07Z)
• SIGMA: Selective Gated Mamba for Sequential Recommendation [56.85338055215429]
  最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。 SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。 以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-08-21T09:12:59Z)
• Swin-UMamba: Mamba-based UNet with ImageNet-based pretraining [85.08169822181685]
  本稿では,医療画像のセグメンテーションに特化して設計された新しいマンバモデルSwin-UMambaを紹介する。 Swin-UMamba は CNN や ViT,最新の Mamba ベースのモデルと比較して,優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-02-05T18:58:11Z)
• Heterogeneous Multi-Task Gaussian Cox Processes [61.67344039414193]
  異種相関タスクを共同でモデル化するためのマルチタスクガウスコックスプロセスの新たな拡張を提案する。 MOGPは、分類、回帰、ポイントプロセスタスクの専用可能性のパラメータに先行して、異種タスク間の情報の共有を容易にする。 モデルパラメータを推定するための閉形式反復更新を実現する平均場近似を導出する。
  論文  参考訳（メタデータ） (2023-08-29T15:01:01Z)
• HyenaDNA: Long-Range Genomic Sequence Modeling at Single Nucleotide Resolution [76.97231739317259]
  本稿では,ヒト参照ゲノム上に,最大100万個のトークンを単一ヌクレオチドレベルで有するゲノム基盤モデルであるHyenaDNAについて紹介する。 Nucleotide Transformerの微調整されたベンチマークでは、HyenaDNAが18のデータセットのうち12の最先端(SotA)に到達した。
  論文  参考訳（メタデータ） (2023-06-27T20:46:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。