論文の概要: DNAGPT: A Generalized Pre-trained Tool for Versatile DNA Sequence Analysis Tasks

• arxiv url: http://arxiv.org/abs/2307.05628v2
• Date: Mon, 7 Aug 2023 07:41:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-08 22:23:15.272913
• Title: DNAGPT: A Generalized Pre-trained Tool for Versatile DNA Sequence Analysis Tasks
• Title（参考訳）: DNAGPT:Versatile DNAシークエンス解析タスクのための汎用事前学習ツール
• Authors: Daoan Zhang, Weitong Zhang, Bing He, Yu Zhao, Jianguo Zhang, Chenchen Qin, Jianhua Yao
• Abstract要約: GPTは言語配列から一般的な情報を抽出できることが証明されている。 DNA配列解析におけるデータとタスク要求は、生成、予測、回帰といった様々なフォーマットで処理される。 DNAGPTは汎用的なDNA解析タスクを処理でき、同時にシーケンスデータと数値データの両方を処理する。
• 参考スコア（独自算出の注目度）: 11.882666636960248
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: GPT has been proven to be capable of extracting general information from language sequences, thereby benefiting all downstream tasks. This motivates us to use pre-trained models to explore the hidden inherent information in DNA sequences. However, data and task requirements in DNA sequence analyses are tasked in different formats such as generation, prediction and regression, and are complexity and involve different modalities, such as nucleotides sequences and, expression levels, etc. Existing BERT-based models are mostly for generation tasks and use sequence data as input and output, thus cannot easily handle various DNA analysis tasks in one single model. Herein, we propose a generalized DNA pre-training DNA model, DNAGPT, that was trained on over 200 billion base pairs from all the mammals. We enhance the classic GPT model by adding binary classification task (DNA sequence order) and numerical regression task (guanine-cytosine content prediction) in the pre-training period and enhancing the architecture with corresponding embedding layers and encoding heads. We also design a comprehensive token language to encode sequence, number and task related information in the same token space. Therefore, DNAGPT can handle versatile DNA analysis tasks and simultaneously process handle both sequence and numerical data. We have evaluated our model on genomic signals and regions recognition, pseudo genomes generation and mRNA abudance regression tasks. We demonstrate that benefiting from pre-training, DNAGPT can shows superior performance than the existing models specially designed for various downstreams tasks.
• Abstract（参考訳）: GPTは、言語シーケンスから一般的な情報を抽出できることが証明されており、すべての下流タスクの恩恵を受けている。 これは、事前訓練されたモデルを使用して、DNA配列に隠された固有情報を探索する動機となります。 しかし、dna配列解析におけるデータとタスクの要求は、生成、予測、回帰といった異なるフォーマットで処理され、複雑さを持ち、ヌクレオチド配列や発現レベルといった異なるモダリティを伴う。 既存のBERTベースのモデルは、ほとんどの場合生成タスクであり、シーケンスデータを入力および出力として使用するため、1つのモデルで様々なDNA解析タスクを簡単に処理することはできない。 そこで本研究では,全哺乳類から200億以上の塩基対をトレーニングしたDNA事前学習型DNAモデルDNAGPTを提案する。 本稿では,事前学習期間にバイナリ分類タスク(dnaシークエンス)と数値回帰タスク(グアニン-シトシン含量予測)を追加し,対応する埋め込み層とエンコーディングヘッドでアーキテクチャを強化することで,古典的なgptモデルを強化する。 また、同じトークン空間内でシーケンス、番号、タスクに関連する情報をエンコードする包括的トークン言語を設計する。 そのため、DNAGPTは汎用的なDNA解析タスクを処理でき、同時にシーケンスデータと数値データの両方を処理することができる。 我々は、ゲノムシグナルおよび領域認識、疑似ゲノム生成およびmrnaアブランス回帰タスクに関するモデルを評価した。 プレトレーニングの恩恵を受けたdnagptは,ダウンストリームタスク用に特別に設計された既存モデルよりも優れた性能を示すことができる。

関連論文リスト

• DNAHLM -- DNA sequence and Human Language mixed large language Model [0.0]
  本稿では、GPT-2ネットワーク上でトレーニングされた事前学習モデルについて紹介し、DNA配列と英文の組み合わせについて述べる。 次に、分類やその他の下流タスクをAlpacaフォーマット命令データに変換し、命令の微調整を行う。 このモデルはDNA関連ゼロショット予測およびマルチタスク応用においてその効果を実証している。
  論文  参考訳（メタデータ） (2024-10-22T11:51:09Z)
• A Benchmark Dataset for Multimodal Prediction of Enzymatic Function Coupling DNA Sequences and Natural Language [3.384797724820242]
  DNA配列から遺伝子機能を予測することは、生物学における根本的な課題である。 深層学習モデルは、DNA配列を埋め込み、その酵素機能を予測するために提案されている。 科学界の生物学的機能に関する知識の多くは分類学的なラベルで表されていない。
  論文  参考訳（メタデータ） (2024-07-21T19:27:43Z)
• Generating Multi-Modal and Multi-Attribute Single-Cell Counts with CFGen [76.02070962797794]
  マルチモーダル単細胞数に対するフローベース条件生成モデルであるセルフロー・フォー・ジェネレーションを提案する。 本研究は, 新規な生成タスクを考慮に入れた上で, 重要な生物学的データ特性の回復性の向上を示唆するものである。
  論文  参考訳（メタデータ） (2024-07-16T14:05:03Z)
• Semantically Rich Local Dataset Generation for Explainable AI in Genomics [0.716879432974126]
  ゲノム配列に基づいて訓練されたブラックボックス深層学習モデルは、異なる遺伝子制御機構の結果を予測するのに優れている。 本稿では、遺伝的プログラミングを用いて、その意味的多様性に寄与する配列の摂動を進化させることによりデータセットを生成することを提案する。
  論文  参考訳（メタデータ） (2024-07-03T10:31:30Z)
• VQDNA: Unleashing the Power of Vector Quantization for Multi-Species Genomic Sequence Modeling [60.91599380893732]
  VQDNAは、ゲノムボキャブラリ学習の観点からゲノムのトークン化を改良する汎用フレームワークである。 ベクトル量子化されたコードブックを学習可能な語彙として活用することにより、VQDNAはゲノムをパターン認識の埋め込みに適応的にトークン化することができる。
  論文  参考訳（メタデータ） (2024-05-13T20:15:03Z)
• Efficient and Scalable Fine-Tune of Language Models for Genome Understanding [49.606093223945734]
  textscLanguage prefix ftextscIne-tuning for textscGentextscOmes。 DNA基盤モデルとは異なり、textscLingoは自然言語基盤モデルの文脈的手がかりを戦略的に活用している。 textscLingoはさらに、適応的なランクサンプリング方法により、下流の細調整タスクを数多く許容する。
  論文  参考訳（メタデータ） (2024-02-12T21:40:45Z)
• BEND: Benchmarking DNA Language Models on biologically meaningful tasks [7.005668635562045]
  DNA言語モデルのベンチマークであるBENDを紹介し、現実的で生物学的に意味のある下流タスクのコレクションを特徴とする。 現在のDNA LMからの埋め込みは、一部のタスクにおいて専門家メソッドのパフォーマンスにアプローチできるが、長距離機能に関する限られた情報しか取得できない。
  論文  参考訳（メタデータ） (2023-11-21T12:34:00Z)
• HyenaDNA: Long-Range Genomic Sequence Modeling at Single Nucleotide Resolution [76.97231739317259]
  本稿では,ヒト参照ゲノム上に,最大100万個のトークンを単一ヌクレオチドレベルで有するゲノム基盤モデルであるHyenaDNAについて紹介する。 Nucleotide Transformerの微調整されたベンチマークでは、HyenaDNAが18のデータセットのうち12の最先端(SotA)に到達した。
  論文  参考訳（メタデータ） (2023-06-27T20:46:34Z)
• Reprogramming Pretrained Language Models for Antibody Sequence Infilling [72.13295049594585]
  抗体の計算設計には、構造的一貫性を維持しながら、新規で多様な配列を生成することが含まれる。 近年のディープラーニングモデルでは優れた結果が得られたが、既知の抗体配列/構造対の数が限られているため、性能が劣化することが多い。 これは、ソース言語でトレーニング済みのモデルを再利用して、異なる言語で、データが少ないタスクに適応するものです。
  論文  参考訳（メタデータ） (2022-10-05T20:44:55Z)
• Epigenomic language models powered by Cerebras [0.0]
  エピゲノムBERT(またはEBERT)は、DNA配列とペア化されたエピジェネティック状態の入力の両方に基づいて表現を学習する。 細胞型特異的転写因子結合予測タスクにおいて,EBERTの転写学習能力を示す。 ENCODE-DREAMベンチマークから得られた13つの評価データセットのうち4つは、我々の微調整されたモデルであり、挑戦のリーダーボードでは総合3位である。
  論文  参考訳（メタデータ） (2021-12-14T17:23:42Z)
• Multi-modal Self-supervised Pre-training for Regulatory Genome Across Cell Types [75.65676405302105]
  我々は、GeneBERTと呼ばれる、多モードかつ自己管理的な方法でゲノムデータを事前学習するための、単純かつ効果的なアプローチを提案する。 我々はATAC-seqデータセットで1700万のゲノム配列でモデルを事前訓練する。
  論文  参考訳（メタデータ） (2021-10-11T12:48:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。