論文の概要: Understanding the Natural Language of DNA using Encoder-Decoder Foundation Models with Byte-level Precision

• arxiv url: http://arxiv.org/abs/2311.02333v3
• Date: Thu, 22 Aug 2024 20:18:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-26 20:08:57.698045
• Title: Understanding the Natural Language of DNA using Encoder-Decoder Foundation Models with Byte-level Precision
• Title（参考訳）: バイトレベルの精度を持つエンコーダ・デコーダ基礎モデルを用いたDNAの自然言語理解
• Authors: Aditya Malusare, Harish Kothandaraman, Dipesh Tamboli, Nadia A. Lanman, Vaneet Aggarwal,
• Abstract要約: 本稿では,Ensemble Nucleotide Byte-level-Decoder(ENBED)基盤モデルを提案する。 我々はMasked Language Modelingを用いて、参照ゲノム配列を用いて基礎モデルを事前訓練し、以下の下流タスクに適用する。 これらの課題のそれぞれにおいて、既存の最先端の成果と比較して顕著な改善が示される。
• 参考スコア（独自算出の注目度）: 26.107996342704915
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents the Ensemble Nucleotide Byte-level Encoder-Decoder (ENBED) foundation model, analyzing DNA sequences at byte-level precision with an encoder-decoder Transformer architecture. ENBED uses a sub-quadratic implementation of attention to develop an efficient model capable of sequence-to-sequence transformations, generalizing previous genomic models with encoder-only or decoder-only architectures. We use Masked Language Modeling to pre-train the foundation model using reference genome sequences and apply it in the following downstream tasks: (1) identification of enhancers, promotors and splice sites, (2) recognition of sequences containing base call mismatches and insertion/deletion errors, an advantage over tokenization schemes involving multiple base pairs, which lose the ability to analyze with byte-level precision, (3) identification of biological function annotations of genomic sequences, and (4) generating mutations of the Influenza virus using the encoder-decoder architecture and validating them against real-world observations. In each of these tasks, we demonstrate significant improvement as compared to the existing state-of-the-art results.
• Abstract（参考訳）: 本稿では,Ensemble Nucleotide Byte-level Encoder-Decoder(ENBED)基盤モデルを提案する。 ENBEDは、エンコーダのみまたはデコーダのみのアーキテクチャで以前のゲノムモデルを一般化し、シーケンスからシーケンスへの変換が可能な効率的なモデルを開発するために、注意のサブクアドラルな実装を使用する。 Masked Language Modeling を用いて,(1)エンハンサー,プロモーターおよびスプライス部位の同定,(2)ベースコールミスマッチと挿入/削除エラーを含む配列の認識,2)バイトレベルの精度で解析できない複数の塩基対を含むトークン化スキーム,(3)ゲノム配列の生物学的機能アノテーションの同定,(4)エンコーダ・デコーダアーキテクチャを用いてインフルエンザウイルスの突然変異を発生させ,実世界の観測に有効である。 これらの課題のそれぞれにおいて、既存の最先端の成果と比較して顕著な改善が示される。

関連論文リスト

• Semantically Rich Local Dataset Generation for Explainable AI in Genomics [0.716879432974126]
  ゲノム配列に基づいて訓練されたブラックボックス深層学習モデルは、異なる遺伝子制御機構の結果を予測するのに優れている。 本稿では、遺伝的プログラミングを用いて、その意味的多様性に寄与する配列の摂動を進化させることによりデータセットを生成することを提案する。
  論文  参考訳（メタデータ） (2024-07-03T10:31:30Z)
• What Improves the Generalization of Graph Transformers? A Theoretical Dive into the Self-attention and Positional Encoding [67.59552859593985]
  自己アテンションと位置エンコーディングを組み込んだグラフトランスフォーマーは、さまざまなグラフ学習タスクのための強力なアーキテクチャとして登場した。 本稿では,半教師付き分類のための浅いグラフ変換器の理論的検討について紹介する。
  論文  参考訳（メタデータ） (2024-06-04T05:30:16Z)
• UGMAE: A Unified Framework for Graph Masked Autoencoders [67.75493040186859]
  グラフマスク付きオートエンコーダのための統一フレームワークであるUGMAEを提案する。 まず,ノードの特異性を考慮した適応型特徴マスク生成器を開発した。 次に,階層型構造再構成と特徴再構成を併用し,総合的なグラフ情報を取得する。
  論文  参考訳（メタデータ） (2024-02-12T19:39:26Z)
• Decoder-Only or Encoder-Decoder? Interpreting Language Model as a Regularized Encoder-Decoder [75.03283861464365]
  seq2seqタスクは、与えられた入力ソースシーケンスに基づいてターゲットシーケンスを生成することを目的としている。 伝統的に、seq2seqタスクのほとんどはエンコーダによって解決され、ソースシーケンスとデコーダをエンコードしてターゲットテキストを生成する。 最近、デコーダのみの言語モデルをseq2seqタスクに直接適用する、多くの新しいアプローチが出現しました。
  論文  参考訳（メタデータ） (2023-04-08T15:44:29Z)
• Real-World Compositional Generalization with Disentangled Sequence-to-Sequence Learning [81.24269148865555]
  最近提案されたDunangled sequence-to-sequence model (Dangle)は、有望な一般化能力を示している。 このモデルに2つの重要な変更を加え、より不整合表現を奨励し、その計算とメモリ効率を改善する。 具体的には、各タイミングでソースキーと値を適応的に再エンコードするのではなく、表現をアンタングルし、キーを定期的に再エンコードする。
  論文  参考訳（メタデータ） (2022-12-12T15:40:30Z)
• Mutual Exclusivity Training and Primitive Augmentation to Induce Compositionality [84.94877848357896]
  最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。 本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。 広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
  論文  参考訳（メタデータ） (2022-11-28T17:36:41Z)
• ASTRO: An AST-Assisted Approach for Generalizable Neural Clone Detection [12.794933981621941]
  ほとんどのニューラルクローン検出方法は、トレーニングデータセットに現れるクローンの範囲を超えて一般化しない。 一般化可能なニューラルクローン検出のための抽象構文木(AST)を用いたアプローチを提案する。 実験の結果,ASTROはリコールとF-1スコアの両方において最先端のニューラルクローン検出アプローチを改善していることがわかった。
  論文  参考訳（メタデータ） (2022-08-17T04:50:51Z)
• Transformer with Tree-order Encoding for Neural Program Generation [8.173517923612426]
  木に基づく位置エンコーディングと、トランスフォーマーのための自然言語サブワード語彙の共有を導入する。 その結果,木に基づく位置符号化と自然言語サブワード語彙の共有を併用することで,逐次的位置符号化よりも生成性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2022-05-30T12:27:48Z)
• Epigenomic language models powered by Cerebras [0.0]
  エピゲノムBERT(またはEBERT)は、DNA配列とペア化されたエピジェネティック状態の入力の両方に基づいて表現を学習する。 細胞型特異的転写因子結合予測タスクにおいて,EBERTの転写学習能力を示す。 ENCODE-DREAMベンチマークから得られた13つの評価データセットのうち4つは、我々の微調整されたモデルであり、挑戦のリーダーボードでは総合3位である。
  論文  参考訳（メタデータ） (2021-12-14T17:23:42Z)
• On Sparsifying Encoder Outputs in Sequence-to-Sequence Models [90.58793284654692]
  我々はTransformerをテストベッドとして、エンコーダとデコーダの間にあるゲートの層を導入します。 ゲートは、パリシティ誘導L0ペナルティの期待値を用いて正規化される。 このスペーサー化が2つの機械翻訳と2つの要約タスクに与える影響について検討する。
  論文  参考訳（メタデータ） (2020-04-24T16:57:52Z)
• Consistent Multiple Sequence Decoding [36.46573114422263]
  一貫性のある多重シーケンスデコーディングアーキテクチャを導入する。 このアーキテクチャは任意の数のシーケンスを一貫した同時復号化を可能にする。 重回帰画像キャプションにおける一貫した多重シーケンスデコーダの有効性を示す。
  論文  参考訳（メタデータ） (2020-04-02T00:43:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。