Fugu-MT 論文翻訳(概要): DNAHLM -- DNA sequence and Human Language mixed large language Model

論文の概要: DNAHLM -- DNA sequence and Human Language mixed large language Model

arxiv url: http://arxiv.org/abs/2410.16917v1
Date: Tue, 22 Oct 2024 11:51:09 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-23 14:27:19.683387
Title: DNAHLM -- DNA sequence and Human Language mixed large language Model
Title（参考訳）: DNAHLM -- DNA配列とヒト言語混合大言語モデル
Authors: Wang Liang,
Abstract要約: 本稿では、GPT-2ネットワーク上で訓練されたハイブリッドモデルを紹介し、DNA配列と英文を組み合わせて、DNAモデルにおけるプロンプトと微調整の可能性を探求する。このモデルはDNA関連ゼロショット予測およびマルチタスク応用においてその効果を実証している。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: There are already many DNA large language models, but most of them still follow traditional uses, such as extracting sequence features for classification tasks. More innovative applications of large language models, such as prompt engineering, RAG, and zero-shot or few-shot prediction, remain challenging for DNA-based models. The key issue lies in the fact that DNA models and human natural language models are entirely separate; however, techniques like prompt engineering require the use of natural language, thereby significantly limiting the application of DNA large language models. This paper introduces a hybrid model trained on the GPT-2 network, combining DNA sequences and English text to explore the potential of using prompts and fine-tuning in DNA models. The model has demonstrated its effectiveness in DNA related zero-shot prediction and multitask application.
Abstract（参考訳）: 既に多くのDNA大規模言語モデルが存在するが、その多くは現在でも、分類タスクのシーケンスの特徴を抽出するなど、伝統的な用途を踏襲している。プロンプトエンジニアリング、RAG、ゼロショットまたは少数ショット予測など、大規模な言語モデルのより革新的な応用は、DNAベースのモデルでは難しいままである。鍵となる問題は、DNAモデルと人間の自然言語モデルは完全に分離されているという事実にある。本稿では、GPT-2ネットワーク上で訓練されたハイブリッドモデルを紹介し、DNA配列と英文を組み合わせて、DNAモデルにおけるプロンプトと微調整の可能性を探求する。このモデルはDNA関連ゼロショット予測およびマルチタスク応用においてその効果を実証している。

関連論文リスト

A Benchmark Dataset for Multimodal Prediction of Enzymatic Function Coupling DNA Sequences and Natural Language [3.384797724820242]
DNA配列から遺伝子機能を予測することは、生物学における根本的な課題である。深層学習モデルは、DNA配列を埋め込み、その酵素機能を予測するために提案されている。科学界の生物学的機能に関する知識の多くは分類学的なラベルで表されていない。
論文参考訳（メタデータ） (2024-07-21T19:27:43Z)
VQDNA: Unleashing the Power of Vector Quantization for Multi-Species Genomic Sequence Modeling [60.91599380893732]
VQDNAは、ゲノムボキャブラリ学習の観点からゲノムのトークン化を改良する汎用フレームワークである。ベクトル量子化されたコードブックを学習可能な語彙として活用することにより、VQDNAはゲノムをパターン認識の埋め込みに適応的にトークン化することができる。
論文参考訳（メタデータ） (2024-05-13T20:15:03Z)
Efficient and Scalable Fine-Tune of Language Models for Genome Understanding [49.606093223945734]
textscLanguage prefix ftextscIne-tuning for textscGentextscOmes。 DNA基盤モデルとは異なり、textscLingoは自然言語基盤モデルの文脈的手がかりを戦略的に活用している。 textscLingoはさらに、適応的なランクサンプリング方法により、下流の細調整タスクを数多く許容する。
論文参考訳（メタデータ） (2024-02-12T21:40:45Z)
BEND: Benchmarking DNA Language Models on biologically meaningful tasks [7.005668635562045]
DNA言語モデルのベンチマークであるBENDを紹介し、現実的で生物学的に意味のある下流タスクのコレクションを特徴とする。現在のDNA LMからの埋め込みは、一部のタスクにおいて専門家メソッドのパフォーマンスにアプローチできるが、長距離機能に関する限られた情報しか取得できない。
論文参考訳（メタデータ） (2023-11-21T12:34:00Z)
Generative Language Models on Nucleotide Sequences of Human Genes [0.0]
本研究は,DNA配列解析のための自己回帰型生成言語モデルであるGPT-3の開発に焦点をあてる。 DNA配列全体を扱うことは、相当な計算資源なしでは難しいため、我々はより小さなスケールで研究を行うことに決めた。まず、ほぼ完全に探索されていない問題を体系的に検討し、RNNが最善を尽くしたことを観察した。パープレキシティ(perplexity)のような古典的な指標を超えた、現実的なタスクの使用がいかに重要かが観察される。
論文参考訳（メタデータ） (2023-07-20T06:59:02Z)
DNAGPT: A Generalized Pre-trained Tool for Versatile DNA Sequence Analysis Tasks [14.931476374660944]
DNAGPTは、全哺乳類から200億以上の塩基対をトレーニングした、一般的なDNA事前学習モデルである。古典的なGPTモデルをバイナリ分類タスク、数値回帰タスク、包括的トークン言語で拡張することにより、DNAGPTは汎用的なDNA解析タスクを処理できる。
論文参考訳（メタデータ） (2023-07-11T06:30:43Z)
Reprogramming Pretrained Language Models for Antibody Sequence Infilling [72.13295049594585]
抗体の計算設計には、構造的一貫性を維持しながら、新規で多様な配列を生成することが含まれる。近年のディープラーニングモデルでは優れた結果が得られたが、既知の抗体配列/構造対の数が限られているため、性能が劣化することが多い。これは、ソース言語でトレーニング済みのモデルを再利用して、異なる言語で、データが少ないタスクに適応するものです。
論文参考訳（メタデータ） (2022-10-05T20:44:55Z)
Bidirectional Language Models Are Also Few-shot Learners [54.37445173284831]
SAP(Sequential Autoregressive Prompting)は,双方向モデルの高速化を実現する技術である。 SAPは質問応答と要約に有効であることを示す。この結果から,より広範な言語モデルの創発的特性として,プロンプトに基づく学習が証明された。
論文参考訳（メタデータ） (2022-09-29T01:35:57Z)
Epigenomic language models powered by Cerebras [0.0]
エピゲノムBERT(またはEBERT)は、DNA配列とペア化されたエピジェネティック状態の入力の両方に基づいて表現を学習する。細胞型特異的転写因子結合予測タスクにおいて,EBERTの転写学習能力を示す。 ENCODE-DREAMベンチマークから得られた13つの評価データセットのうち4つは、我々の微調整されたモデルであり、挑戦のリーダーボードでは総合3位である。
論文参考訳（メタデータ） (2021-12-14T17:23:42Z)
Multitask Prompted Training Enables Zero-Shot Task Generalization [70.12770442071657]
本研究では,一般的な自然言語タスクを人間に読まれる入力形式にマッピングするシステムを開発した。様々なタスクをカバーしたマルチタスクミックス上に,事前学習したエンコーダ・デコーダモデルを微調整する。このモデルは、いくつかの標準データセット上で強力なゼロショット性能を達成し、しばしば16倍のサイズのモデルより優れている。
論文参考訳（メタデータ） (2021-10-15T17:08:57Z)
Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文参考訳（メタデータ） (2020-10-24T11:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。