論文の概要: Embed-Search-Align: DNA Sequence Alignment using Transformer Models

• arxiv url: http://arxiv.org/abs/2309.11087v5
• Date: Sat, 19 Oct 2024 00:17:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:11:34.193383
• Title: Embed-Search-Align: DNA Sequence Alignment using Transformer Models
• Title（参考訳）: 組込み検索アライメント:トランスフォーマーモデルを用いたDNA配列アライメント
• Authors: Pavan Holur, K. C. Enevoldsen, Shreyas Rajesh, Lajoyce Mboning, Thalia Georgiou, Louis-S. Bouchard, Matteo Pellegrini, Vwani Roychowdhury,
• Abstract要約: 我々はTransformerモデルのシーケンスアライメントタスクを"Embed-Search-Align"タスクとしてフレーミングすることでギャップを埋める。 新規なレファレンスフリーDNA埋め込みモデルは、共有ベクトル空間に投影される読み取りおよび参照フラグメントの埋め込みを生成する。 DNA-ESAは、BowtieやBWA-Memといった従来の手法に匹敵する、ヒトゲノム(3gb)に250長の読み書きを合わせると99%正確である。
• 参考スコア（独自算出の注目度）: 2.48439258515764
• License:
• Abstract: DNA sequence alignment involves assigning short DNA reads to the most probable locations on an extensive reference genome. This process is crucial for various genomic analyses, including variant calling, transcriptomics, and epigenomics. Conventional methods, refined over decades, tackle this challenge in 2 steps: genome indexing followed by efficient search to locate likely positions for given reads. Building on the success of Large Language Models in encoding text into embeddings, where the distance metric captures semantic similarity, recent efforts have explored whether the same Transformer architecture can produce embeddings for DNA sequences. Such models have shown early promise in classifying short DNA sequences, such as detecting coding/non-coding regions, and enhancer, promoter sequences. However, performance at sequence classification tasks does not translate to sequence alignment, where it is necessary to search across the genome to align each read, a significantly longer-range task. We bridge this gap by framing the Sequence Alignment task for Transformer models as an "Embed-Search-Align" task. In this framework, a novel Reference-Free DNA Embedding model generates embeddings of reads and reference fragments, which are projected into a shared vector space where the read-fragment distance is used as a surrogate for alignment. Technical contributions include: (1) Contrastive loss for self-supervised training of DNA sequence representations, facilitating rich reference-free, sequence-level embeddings, and (2) a DNA vector store to enable search across fragments on a global scale. DNA-ESA is 99% accurate when aligning 250-length reads onto a human genome (3gb), rivaling conventional methods such as Bowtie and BWA-Mem. DNA-ESA exceeds the performance of 6 Transformer model baselines such as Nucleotide Transformer, Hyena-DNA, and shows task transfer across chromosomes and species.
• Abstract（参考訳）: DNA配列のアライメントは、幅広い参照ゲノム上の最も可能性の高い場所に短いDNA読取を割り当てることを含む。 このプロセスは、変異呼び出し、転写学、エピジェノミクスを含む様々なゲノム解析に不可欠である。 何十年にもわたって洗練されてきた従来の手法は、2つのステップでこの課題に対処している。 テキストを埋め込みにエンコードする大規模言語モデル(Large Language Models)の成功に基づいて、距離メートル法が意味的類似性を捉え、最近の研究で、同じトランスフォーマーアーキテクチャがDNA配列の埋め込みを生成できるかどうかが研究されている。 このようなモデルは、コーディング/非コーディング領域の検出やエンハンサー、プロモーター配列などの短いDNA配列の分類において、早期に有望であることが示されている。 しかし、配列分類タスクのパフォーマンスは配列のアライメントには変換されない。 我々は、Transformerモデルのシーケンスアライメントタスクを"Embed-Search-Align"タスクとしてフレーミングすることで、このギャップを埋める。 このフレームワークでは、新しい参照フリーDNA埋め込みモデルが読み出しフラグメントと参照フラグメントの埋め込みを生成し、読み出しフラグメント距離をアライメントのサロゲートとして使用する共有ベクトル空間に投影する。 技術的貢献は,(1)DNA配列表現の自己指導的訓練における対照的な損失,(2)DNAベクターストアによる断片のグローバルな検索,などである。 DNA-ESAは、BowtieやBWA-Memといった従来の手法に匹敵する、ヒトゲノム(3gb)に250長の読み書きを合わせると99%正確である。 DNA-ESAはヌクレオチドトランスフォーマーやハイエナDNAのような6つのトランスフォーマーモデルベースラインの性能を超え、染色体や種間でのタスク転送を示す。

関連論文リスト

• Learning to Discover Regulatory Elements for Gene Expression Prediction [59.470991831978516]
  Seq2Expは、ターゲット遺伝子発現を駆動する制御要素を発見し、抽出するために設計されたSequence to Expressionネットワークである。 本手法は, エピジェノミックシグナル, DNA 配列とその関連因子の因果関係を捉える。
  論文  参考訳（メタデータ） (2025-02-19T03:25:49Z)
• HybriDNA: A Hybrid Transformer-Mamba2 Long-Range DNA Language Model [70.69095062674944]
  ハイブリッドトランスフォーマー-マンバ2アーキテクチャを組み込んだデコーダのみのDNA言語モデルであるHybriDNAを提案する。 このハイブリッド設計により、HybriDNAはDNA配列を最大131kbまで効率よく単一のヌクレオチド分解能で処理できる。 HybriDNAは、BEND、GUE、LRBベンチマークから算出された33のDNA理解データセットにまたがる最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-02-15T14:23:43Z)
• Model Decides How to Tokenize: Adaptive DNA Sequence Tokenization with MxDNA [44.630039477717624]
  MxDNAは、モデルが段階的に有効なDNAトークン化戦略を自律的に学習する新しいフレームワークである。 我々は、MxDNAが従来の方法とは異なるユニークなトークン化戦略を学習し、自己教師付き事前学習中にトークンレベルでゲノム機能をキャプチャすることを示す。
  論文  参考訳（メタデータ） (2024-12-18T10:55:43Z)
• Dy-mer: An Explainable DNA Sequence Representation Scheme using Sparse Recovery [6.733319363951907]
  textbfDy-merはスパースリカバリに基づく説明可能で堅牢な表現スキームである。 DNAプロモーターの分類における最先端のパフォーマンスを達成し、textbf13%の精度向上をもたらす。
  論文  参考訳（メタデータ） (2024-07-06T15:08:31Z)
• VQDNA: Unleashing the Power of Vector Quantization for Multi-Species Genomic Sequence Modeling [60.91599380893732]
  VQDNAは、ゲノムボキャブラリ学習の観点からゲノムのトークン化を改良する汎用フレームワークである。 ベクトル量子化されたコードブックを学習可能な語彙として活用することにより、VQDNAはゲノムをパターン認識の埋め込みに適応的にトークン化することができる。
  論文  参考訳（メタデータ） (2024-05-13T20:15:03Z)
• Efficient and Scalable Fine-Tune of Language Models for Genome Understanding [49.606093223945734]
  textscLanguage prefix ftextscIne-tuning for textscGentextscOmes。 DNA基盤モデルとは異なり、textscLingoは自然言語基盤モデルの文脈的手がかりを戦略的に活用している。 textscLingoはさらに、適応的なランクサンプリング方法により、下流の細調整タスクを数多く許容する。
  論文  参考訳（メタデータ） (2024-02-12T21:40:45Z)
• BEND: Benchmarking DNA Language Models on biologically meaningful tasks [7.005668635562045]
  DNA言語モデルのベンチマークであるBENDを紹介し、現実的で生物学的に意味のある下流タスクのコレクションを特徴とする。 現在のDNA LMからの埋め込みは、一部のタスクにおいて専門家メソッドのパフォーマンスにアプローチできるが、長距離機能に関する限られた情報しか取得できない。
  論文  参考訳（メタデータ） (2023-11-21T12:34:00Z)
• DNAGPT: A Generalized Pre-trained Tool for Versatile DNA Sequence Analysis Tasks [14.931476374660944]
  DNAGPTは、全哺乳類から200億以上の塩基対をトレーニングした、一般的なDNA事前学習モデルである。 古典的なGPTモデルをバイナリ分類タスク、数値回帰タスク、包括的トークン言語で拡張することにより、DNAGPTは汎用的なDNA解析タスクを処理できる。
  論文  参考訳（メタデータ） (2023-07-11T06:30:43Z)
• HyenaDNA: Long-Range Genomic Sequence Modeling at Single Nucleotide Resolution [76.97231739317259]
  本稿では,ヒト参照ゲノム上に,最大100万個のトークンを単一ヌクレオチドレベルで有するゲノム基盤モデルであるHyenaDNAについて紹介する。 Nucleotide Transformerの微調整されたベンチマークでは、HyenaDNAが18のデータセットのうち12の最先端(SotA)に到達した。
  論文  参考訳（メタデータ） (2023-06-27T20:46:34Z)
• Deep metric learning improves lab of origin prediction of genetically engineered plasmids [63.05016513788047]
  遺伝工学の属性(GEA)は、配列-ラブの関連を作る能力である。 本稿では,計量学習に基づいて,最も可能性の高い実験室をランク付けする手法を提案する。 我々は、特定の実験室のプラスミド配列のキーシグネチャを抽出することができ、モデル出力の解釈可能な検査を可能にする。
  論文  参考訳（メタデータ） (2021-11-24T16:29:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。