論文の概要: DNAGPT: A Generalized Pretrained Tool for Multiple DNA Sequence Analysis
Tasks
- arxiv url: http://arxiv.org/abs/2307.05628v1
- Date: Tue, 11 Jul 2023 06:30:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-13 15:58:25.951854
- Title: DNAGPT: A Generalized Pretrained Tool for Multiple DNA Sequence Analysis
Tasks
- Title（参考訳）: DNAGPT: 複数のDNA配列解析タスクのための汎用事前訓練ツール
- Authors: Daoan Zhang, Weitong Zhang, Bing He, Jianguo Zhang, Chenchen Qin,
Jianhua Yao
- Abstract要約: 9種の塩基対から100億以上の塩基対を事前学習した基礎モデルであるDNAGPTを提示する。
我々のモデルは同時にDNA配列と番号を処理または出力することができる。
我々は、DNAGPTが事前学習の恩恵を受けており、従って、ダウンストリームタスクにパフォーマンス向上をもたらすことを実証する。
- 参考スコア（独自算出の注目度）: 11.618208408262566
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The success of the GPT series proves that GPT can extract general information
from sequences, thereby benefiting all downstream tasks. This motivates us to
use pre-trained models to explore the hidden information in DNA sequences.
However, data and task requirements in DNA sequence analysis are complexity and
diversity as DNA relevant data includes different types of information, such as
sequences, expression levels, etc, while there is currently no model
specifically designed for these characteristics. Hereby, we present DNAGPT, a
generalized foundation model pre-trained on over 10 billion base pairs from 9
species which can be fine-tuned for any DNA sequence analysis task. Our model
can simultaneously process or output DNA sequences and numbers. In addition,
our unique token design allows users to design prompts according to their own
task requirements, making it applicable to any type of task. We have evaluated
our model on classification, regression, and generation tasks. We demonstrate
that DNAGPT benefits from pre-training, and therefore can bring performance
gains to any downstream task. Our model is not only a new attempt in the field
of genomes analysis, but also provides a new direction for the application of
foundation models in biology.
- Abstract（参考訳）: GPTシリーズの成功は、GPTがシーケンスから一般的な情報を抽出できることを証明している。
これは、事前訓練されたモデルを使用して、DNA配列に隠された情報を探索する動機となります。
しかし、dna配列解析におけるデータとタスクの要件は、dnaに関連するデータにはシーケンス、発現レベルなどの異なる種類の情報が含まれているため、複雑さと多様性である。
そこで我々は、9種から100億以上の塩基対を前もって訓練した汎用基礎モデルであるdnagpt(dnagpt)を提案する。
我々のモデルは同時にDNA配列と番号を処理または出力することができる。
さらに、我々のユニークなトークンデザインにより、ユーザーは自身のタスク要求に応じてプロンプトを設計でき、あらゆる種類のタスクに適用できる。
我々は,分類,回帰,生成タスクに関するモデルを評価した。
我々は,dnagptが事前学習の利点を享受し,ダウンストリームタスクにパフォーマンス向上をもたらすことを実証する。
我々のモデルはゲノム解析の分野での新しい試みであるだけでなく、生物学における基礎モデルの適用に新たな方向性を与えている。
関連論文リスト
- HybriDNA: A Hybrid Transformer-Mamba2 Long-Range DNA Language Model [70.69095062674944]
ハイブリッドトランスフォーマー-マンバ2アーキテクチャを組み込んだデコーダのみのDNA言語モデルであるHybriDNAを提案する。
このハイブリッド設計により、HybriDNAはDNA配列を最大131kbまで効率よく単一のヌクレオチド分解能で処理できる。
HybriDNAは、BEND、GUE、LRBベンチマークから算出された33のDNA理解データセットにまたがる最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-02-15T14:23:43Z) - Life-Code: Central Dogma Modeling with Multi-Omics Sequence Unification [53.488387420073536]
Life-Codeは、様々な生物学的機能にまたがる包括的なフレームワークである。
Life-Codeは3つのオミクスにまたがる様々なタスクで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-02-11T06:53:59Z) - GENERator: A Long-Context Generative Genomic Foundation Model [66.46537421135996]
本研究では,98k塩基対 (bp) と1.2Bパラメータからなるゲノム基盤モデルを提案する。
このモデルは分子生物学の中心的なドグマに固執し、タンパク質のコード配列を正確に生成する。
また、特にプロモーター配列の即応的な生成を通じて、シーケンス最適化において大きな可能性を示している。
論文 参考訳（メタデータ） (2025-02-11T05:39:49Z) - Omni-DNA: A Unified Genomic Foundation Model for Cross-Modal and Multi-Task Learning [30.762037633773257]
我々は2000万から10億のパラメータからなるクロスモーダルマルチタスクモデルのファミリーであるOmni-DNAを紹介する。
本手法は, (i) 次のトークン予測目標によるDNA配列の事前学習, (ii) マルチモーダルなタスク固有トークンの拡張, 複数下流タスクの微調整の2段階からなる。
Nucleotide TransformerとGBベンチマークで評価すると、Omni-DNAは26タスク中18タスクで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-02-05T09:20:52Z) - Model Decides How to Tokenize: Adaptive DNA Sequence Tokenization with MxDNA [44.630039477717624]
MxDNAは、モデルが段階的に有効なDNAトークン化戦略を自律的に学習する新しいフレームワークである。
我々は、MxDNAが従来の方法とは異なるユニークなトークン化戦略を学習し、自己教師付き事前学習中にトークンレベルでゲノム機能をキャプチャすることを示す。
論文 参考訳（メタデータ） (2024-12-18T10:55:43Z) - DART-Eval: A Comprehensive DNA Language Model Evaluation Benchmark on Regulatory DNA [2.543784712990392]
大規模なゲノムDNA言語モデル(DNALM)は、多様なDNA要素の一般化可能な表現を学習することを目的としている。
本ベンチマークでは, 機能的配列の特徴探索, 細胞型特異的制御活性の予測, 遺伝的変異の影響の予測など, 生物学的に有意義な下流課題を対象としている。
論文 参考訳（メタデータ） (2024-12-06T21:23:35Z) - DNAHLM -- DNA sequence and Human Language mixed large language Model [0.0]
本稿では、GPT-2ネットワーク上でトレーニングされた事前学習モデルについて紹介し、DNA配列と英文の組み合わせについて述べる。
次に、分類やその他の下流タスクをAlpacaフォーマット命令データに変換し、命令の微調整を行う。
このモデルはDNA関連ゼロショット予測およびマルチタスク応用においてその効果を実証している。
論文 参考訳（メタデータ） (2024-10-22T11:51:09Z) - VQDNA: Unleashing the Power of Vector Quantization for Multi-Species Genomic Sequence Modeling [60.91599380893732]
VQDNAは、ゲノムボキャブラリ学習の観点からゲノムのトークン化を改良する汎用フレームワークである。
ベクトル量子化されたコードブックを学習可能な語彙として活用することにより、VQDNAはゲノムをパターン認識の埋め込みに適応的にトークン化することができる。
論文 参考訳（メタデータ） (2024-05-13T20:15:03Z) - Efficient and Scalable Fine-Tune of Language Models for Genome
Understanding [49.606093223945734]
textscLanguage prefix ftextscIne-tuning for textscGentextscOmes。
DNA基盤モデルとは異なり、textscLingoは自然言語基盤モデルの文脈的手がかりを戦略的に活用している。
textscLingoはさらに、適応的なランクサンプリング方法により、下流の細調整タスクを数多く許容する。
論文 参考訳（メタデータ） (2024-02-12T21:40:45Z) - BEND: Benchmarking DNA Language Models on biologically meaningful tasks [7.005668635562045]
DNA言語モデルのベンチマークであるBENDを紹介し、現実的で生物学的に意味のある下流タスクのコレクションを特徴とする。
現在のDNA LMからの埋め込みは、一部のタスクにおいて専門家メソッドのパフォーマンスにアプローチできるが、長距離機能に関する限られた情報しか取得できない。
論文 参考訳（メタデータ） (2023-11-21T12:34:00Z) - HyenaDNA: Long-Range Genomic Sequence Modeling at Single Nucleotide
Resolution [76.97231739317259]
本稿では,ヒト参照ゲノム上に,最大100万個のトークンを単一ヌクレオチドレベルで有するゲノム基盤モデルであるHyenaDNAについて紹介する。
Nucleotide Transformerの微調整されたベンチマークでは、HyenaDNAが18のデータセットのうち12の最先端(SotA)に到達した。
論文 参考訳（メタデータ） (2023-06-27T20:46:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。