論文の概要: DNABERT-2: Efficient Foundation Model and Benchmark For Multi-Species Genome

• arxiv url: http://arxiv.org/abs/2306.15006v2
• Date: Mon, 18 Mar 2024 23:59:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-21 01:10:08.971790
• Title: DNABERT-2: Efficient Foundation Model and Benchmark For Multi-Species Genome
• Title（参考訳）: DNABERT-2:多種ゲノムの効率的な基盤モデルとベンチマーク
• Authors: Zhihan Zhou, Yanrong Ji, Weijian Li, Pratik Dutta, Ramana Davuluri, Han Liu,
• Abstract要約: 我々は、k-merトークン化によって導入された計算とサンプルの非効率性が、大規模なゲノム基盤モデルの開発における主要な障害であると主張している。 我々は、k-merトークン化をByte Pair$に置き換えることを提案するゲノムトークン化に関する概念的および実証的な洞察を提供する。 DNABERT-2は、効率的なトークン化を施し、入力長制約を克服するために複数の戦略を用いるゲノム基盤モデルである。
• 参考スコア（独自算出の注目度）: 10.051595222470304
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decoding the linguistic intricacies of the genome is a crucial problem in biology, and pre-trained foundational models such as DNABERT and Nucleotide Transformer have made significant strides in this area. Existing works have largely hinged on k-mer, fixed-length permutations of A, T, C, and G, as the token of the genome language due to its simplicity. However, we argue that the computation and sample inefficiencies introduced by k-mer tokenization are primary obstacles in developing large genome foundational models. We provide conceptual and empirical insights into genome tokenization, building on which we propose to replace k-mer tokenization with Byte Pair Encoding (BPE), a statistics-based data compression algorithm that constructs tokens by iteratively merging the most frequent co-occurring genome segment in the corpus. We demonstrate that BPE not only overcomes the limitations of k-mer tokenization but also benefits from the computational efficiency of non-overlapping tokenization. Based on these insights, we introduce DNABERT-2, a refined genome foundation model that adapts an efficient tokenizer and employs multiple strategies to overcome input length constraints, reduce time and memory expenditure, and enhance model capability. Furthermore, we identify the absence of a comprehensive and standardized benchmark for genome understanding as another significant impediment to fair comparative analysis. In response, we propose the Genome Understanding Evaluation (GUE), a comprehensive multi-species genome classification dataset that amalgamates $36$ distinct datasets across $9$ tasks, with input lengths ranging from $70$ to $10000$. Through comprehensive experiments on the GUE benchmark, we demonstrate that DNABERT-2 achieves comparable performance to the state-of-the-art model with $21 \times$ fewer parameters and approximately $92 \times$ less GPU time in pre-training.
• Abstract（参考訳）: DNABERTやヌクレオチドトランスフォーマーといった事前訓練された基礎モデルがこの領域で大きな進歩を遂げている。 既存の研究は、A、T、C、Gのk-mer、固定長の置換に、その単純さからゲノム言語のトークンとして大きく依存している。 しかし、k-merのトークン化によって引き起こされる計算とサンプルの非効率性は、大規模なゲノム基盤モデルの開発における主要な障害である。 そこで我々は,k-merのトークン化をByte Pair Encoding (BPE) に置き換えることを提案する。これは統計に基づくデータ圧縮アルゴリズムで,コーパス内の最も頻繁な共起ゲノムセグメントを反復的にマージすることでトークンを構築する。 我々は、BPEがk-merトークン化の限界を克服するだけでなく、重複しないトークン化の計算効率から恩恵を受けることを示した。 これらの知見に基づき,DNABERT-2を導入した。DNABERT-2は効率的なプロテタイザに適応し,入力長制約を克服し,時間とメモリ消費を低減し,モデル機能を向上させる。 さらに、ゲノム理解のための包括的で標準化されたベンチマークが欠如していることを、公正な比較分析のもう一つの重要な障害とみなす。 これに対応するために、GUE(Genome Understanding Evaluation)という総合的な多種ゲノム分類データセットを提案し、このデータセットは、9ドルのタスクで36ドルの異なるデータセットをアマルガットし、入力長は70ドルから10000ドルである。 GUEベンチマークの総合的な実験を通じて、DNABERT-2は、21ドル(約2万2000円)のパラメータと約920ドル(約9万2000円)のGPUトレーニング前の時間で、最先端モデルに匹敵するパフォーマンスを達成することを実証した。

関連論文リスト

• dnaGrinder: a lightweight and high-capacity genomic foundation model [11.646351318648499]
  現在のゲノム基盤モデルは、しばしば重要なトレードオフに直面している。 我々は、ユニークで効率的なゲノム基盤モデルであるdnaGrinderを紹介する。 dnaGrinderはゲノム配列内の長距離依存関係を管理するのに優れ、性能を損なうことなく計算コストを最小化できる。
  論文  参考訳（メタデータ） (2024-09-24T03:20:07Z)
• Unlocking Efficiency: Adaptive Masking for Gene Transformer Models [19.699485326192846]
  Nucleotide Transformer、DNABert、LOGOなどの遺伝子トランスフォーマーモデルは最適な遺伝子配列を学習するために訓練されている。 遺伝子配列は、NLPドメインの単語や文に似たよく定義された意味単位を持たない。 提案したCM-GEMS(Curriculum Masking-based Gene Masking Strategy)は,優れた表現学習能力を示す。
  論文  参考訳（メタデータ） (2024-08-13T19:45:02Z)
• VQDNA: Unleashing the Power of Vector Quantization for Multi-Species Genomic Sequence Modeling [60.91599380893732]
  VQDNAは、ゲノムボキャブラリ学習の観点からゲノムのトークン化を改良する汎用フレームワークである。 ベクトル量子化されたコードブックを学習可能な語彙として活用することにより、VQDNAはゲノムをパターン認識の埋め込みに適応的にトークン化することができる。
  論文  参考訳（メタデータ） (2024-05-13T20:15:03Z)
• Efficient and Scalable Fine-Tune of Language Models for Genome Understanding [49.606093223945734]
  textscLanguage prefix ftextscIne-tuning for textscGentextscOmes。 DNA基盤モデルとは異なり、textscLingoは自然言語基盤モデルの文脈的手がかりを戦略的に活用している。 textscLingoはさらに、適応的なランクサンプリング方法により、下流の細調整タスクを数多く許容する。
  論文  参考訳（メタデータ） (2024-02-12T21:40:45Z)
• BEND: Benchmarking DNA Language Models on biologically meaningful tasks [7.005668635562045]
  DNA言語モデルのベンチマークであるBENDを紹介し、現実的で生物学的に意味のある下流タスクのコレクションを特徴とする。 現在のDNA LMからの埋め込みは、一部のタスクにおいて専門家メソッドのパフォーマンスにアプローチできるが、長距離機能に関する限られた情報しか取得できない。
  論文  参考訳（メタデータ） (2023-11-21T12:34:00Z)
• DNAGPT: A Generalized Pre-trained Tool for Versatile DNA Sequence Analysis Tasks [14.931476374660944]
  DNAGPTは、全哺乳類から200億以上の塩基対をトレーニングした、一般的なDNA事前学習モデルである。 古典的なGPTモデルをバイナリ分類タスク、数値回帰タスク、包括的トークン言語で拡張することにより、DNAGPTは汎用的なDNA解析タスクを処理できる。
  論文  参考訳（メタデータ） (2023-07-11T06:30:43Z)
• HyenaDNA: Long-Range Genomic Sequence Modeling at Single Nucleotide Resolution [76.97231739317259]
  本稿では,ヒト参照ゲノム上に,最大100万個のトークンを単一ヌクレオチドレベルで有するゲノム基盤モデルであるHyenaDNAについて紹介する。 Nucleotide Transformerの微調整されたベンチマークでは、HyenaDNAが18のデータセットのうち12の最先端(SotA)に到達した。
  論文  参考訳（メタデータ） (2023-06-27T20:46:34Z)
• SNP2Vec: Scalable Self-Supervised Pre-Training for Genome-Wide Association Study [48.75445626157713]
  SNP2Vecは、SNPを理解するためのスケーラブルな自己教師付き事前学習手法である。 本研究では,SNP2Vecを用いて時系列ゲノミクスモデリングを行う。 中国コホートにおけるアルツハイマー病のリスク予測におけるアプローチの有効性について検討した。
  論文  参考訳（メタデータ） (2022-04-14T01:53:58Z)
• Multi-modal Self-supervised Pre-training for Regulatory Genome Across Cell Types [75.65676405302105]
  我々は、GeneBERTと呼ばれる、多モードかつ自己管理的な方法でゲノムデータを事前学習するための、単純かつ効果的なアプローチを提案する。 我々はATAC-seqデータセットで1700万のゲノム配列でモデルを事前訓練する。
  論文  参考訳（メタデータ） (2021-10-11T12:48:44Z)
• Brain Image Synthesis with Unsupervised Multivariate Canonical CSC$\ell_4$Net [122.8907826672382]
  我々は,新しいCSC$ell_4$Netを用いて,イントレとイントラモーダルの両方にまたがる専用特徴を学習することを提案する。
  論文  参考訳（メタデータ） (2021-03-22T05:19:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。