論文の概要: Caduceus: Bi-Directional Equivariant Long-Range DNA Sequence Modeling

• arxiv url: http://arxiv.org/abs/2403.03234v2
• Date: Wed, 5 Jun 2024 21:02:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 23:50:27.772164
• Title: Caduceus: Bi-Directional Equivariant Long-Range DNA Sequence Modeling
• Title（参考訳）: Caduceus: 双方向等価長鎖DNA配列モデリング
• Authors: Yair Schiff, Chia-Hsiang Kao, Aaron Gokaslan, Tri Dao, Albert Gu, Volodymyr Kuleshov,
• Abstract要約: 長範囲のトークン相互作用、ゲノムの上流および下流領域の影響、およびDNAの逆相補性について研究した。 本稿では,長距離マンバブロックから構築したこれらの課題を動機とするアーキテクチャを提案する。 RC同種二方向長範囲DNA言語モデルの最初のファミリーであるCaduceusの基盤として,MambaDNAを使用している。
• 参考スコア（独自算出の注目度）: 36.37643634126816
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large-scale sequence modeling has sparked rapid advances that now extend into biology and genomics. However, modeling genomic sequences introduces challenges such as the need to model long-range token interactions, the effects of upstream and downstream regions of the genome, and the reverse complementarity (RC) of DNA. Here, we propose an architecture motivated by these challenges that builds off the long-range Mamba block, and extends it to a BiMamba component that supports bi-directionality, and to a MambaDNA block that additionally supports RC equivariance. We use MambaDNA as the basis of Caduceus, the first family of RC equivariant bi-directional long-range DNA language models, and we introduce pre-training and fine-tuning strategies that yield Caduceus DNA foundation models. Caduceus outperforms previous long-range models on downstream benchmarks; on a challenging long-range variant effect prediction task, Caduceus exceeds the performance of 10x larger models that do not leverage bi-directionality or equivariance.
• Abstract（参考訳）: 大規模シーケンスモデリングが急速に進歩し、生物学やゲノム工学に発展した。 しかし、ゲノム配列のモデリングは、長距離トークン相互作用のモデル化の必要性、ゲノムの上流領域と下流領域の影響、DNAの逆相補性(RC)といった課題をもたらす。 本稿では、長距離マンバブロックから構築したこれらの課題に動機づけられたアーキテクチャを提案し、それを双方向性をサポートするBiMambaコンポーネントに拡張し、さらにRC等分散をサポートするMambaDNAブロックに拡張する。 RC同種二方向長鎖DNA言語モデルの最初のファミリーであるCaduceusの基盤としてMambaDNAを用い,CaduceusのDNA基盤モデルを生成する事前学習および微調整戦略を導入する。 Caduceusは、ダウンストリームベンチマークで以前の長距離モデルよりも優れており、挑戦的な長距離変動効果予測タスクでは、双方向性や等分散を生かさない10倍の大きなモデルの性能を上回っている。

関連論文リスト

• dnaGrinder: a lightweight and high-capacity genomic foundation model [11.646351318648499]
  現在のゲノム基盤モデルは、しばしば重要なトレードオフに直面している。 我々は、ユニークで効率的なゲノム基盤モデルであるdnaGrinderを紹介する。 dnaGrinderはゲノム配列内の長距離依存関係を管理するのに優れ、性能を損なうことなく計算コストを最小化できる。
  論文  参考訳（メタデータ） (2024-09-24T03:20:07Z)
• UU-Mamba: Uncertainty-aware U-Mamba for Cardiovascular Segmentation [26.621625716575746]
  本稿では,U-Mambaアーキテクチャの拡張であるU-Mambaモデルを紹介する。 Sharpness-Aware Minimization (SAM) を取り入れたモデルにより、損失景観におけるフラットなミニマをターゲットとした一般化が促進される。 我々は、ImageCAS(冠状動脈)とAorta(大動脈枝とゾーン)データセットの新たな試行を行い、より複雑なセグメンテーション課題を提示した。
  論文  参考訳（メタデータ） (2024-09-22T03:22:06Z)
• Bidirectional Gated Mamba for Sequential Recommendation [56.85338055215429]
  最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。 SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。 以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-08-21T09:12:59Z)
• Mamba as Decision Maker: Exploring Multi-scale Sequence Modeling in Offline Reinforcement Learning [16.23977055134524]
  我々はMamba Decision Maker (MambaDM) という新しいアクション予測手法を提案する。 MambaDMは、マルチスケール依存関係の効率的なモデリングのため、シーケンスモデリングのパラダイムの有望な代替品として期待されている。 本稿では,RL領域におけるMambaDMのシーケンスモデリング機能について述べる。
  論文  参考訳（メタデータ） (2024-06-04T06:49:18Z)
• Decomposing the Neurons: Activation Sparsity via Mixture of Experts for Continual Test Time Adaptation [37.79819260918366]
  継続的なテスト時間適応(CTTA)は、トレーニング済みのモデルを進化し続けるターゲットドメインに適応させることを目的としている。 我々はCTTAタスクのアダプタとしてMixture-of-Activation-Sparsity-Experts (MoASE)の統合について検討する。
  論文  参考訳（メタデータ） (2024-05-26T08:51:39Z)
• ProMamba: Prompt-Mamba for polyp segmentation [12.008624337064521]
  本稿では,最新のVision-Mambaとプロンプト技術を組み合わせた,Prompt-Mambaに基づくセグメンテーションモデルを提案する。 我々は、最初にビジョン・マンバアーキテクチャをポリプセグメンテーションに適用し、最初にポリプセグメンテーションモデルでプロンプト技術を利用する。 本モデルでは,6つのデータセットに対して,従来の最先端手法を平均5%上回るセグメンテーションタスクを効率的に達成する。
  論文  参考訳（メタデータ） (2024-03-20T15:08:57Z)
• Swin-UMamba: Mamba-based UNet with ImageNet-based pretraining [85.08169822181685]
  本稿では,医療画像のセグメンテーションに特化して設計された新しいマンバモデルSwin-UMambaを紹介する。 Swin-UMamba は CNN や ViT,最新の Mamba ベースのモデルと比較して,優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-02-05T18:58:11Z)
• Heterogeneous Multi-Task Gaussian Cox Processes [61.67344039414193]
  異種相関タスクを共同でモデル化するためのマルチタスクガウスコックスプロセスの新たな拡張を提案する。 MOGPは、分類、回帰、ポイントプロセスタスクの専用可能性のパラメータに先行して、異種タスク間の情報の共有を容易にする。 モデルパラメータを推定するための閉形式反復更新を実現する平均場近似を導出する。
  論文  参考訳（メタデータ） (2023-08-29T15:01:01Z)
• HyenaDNA: Long-Range Genomic Sequence Modeling at Single Nucleotide Resolution [76.97231739317259]
  本稿では,ヒト参照ゲノム上に,最大100万個のトークンを単一ヌクレオチドレベルで有するゲノム基盤モデルであるHyenaDNAについて紹介する。 Nucleotide Transformerの微調整されたベンチマークでは、HyenaDNAが18のデータセットのうち12の最先端(SotA)に到達した。
  論文  参考訳（メタデータ） (2023-06-27T20:46:34Z)
• Benchmarking Machine Learning Robustness in Covid-19 Genome Sequence Classification [109.81283748940696]
  我々は、IlluminaやPacBioといった一般的なシークエンシングプラットフォームのエラープロファイルを模倣するために、SARS-CoV-2ゲノム配列を摂動する方法をいくつか紹介する。 シミュレーションに基づくいくつかのアプローチは、入力シーケンスに対する特定の敵攻撃に対する特定の埋め込み手法に対して、他の手法よりも堅牢(かつ正確)であることを示す。
  論文  参考訳（メタデータ） (2022-07-18T19:16:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。