Fugu-MT 論文翻訳(概要): dnaGrinder: a lightweight and high-capacity genomic foundation model

論文の概要: dnaGrinder: a lightweight and high-capacity genomic foundation model

arxiv url: http://arxiv.org/abs/2409.15697v1
Date: Tue, 24 Sep 2024 03:20:07 GMT
ステータス: 処理完了
システム内更新日: 2024-09-26 09:11:12.495430
Title: dnaGrinder: a lightweight and high-capacity genomic foundation model
Title（参考訳）: DNAGrinder:軽量かつ高容量ゲノム基盤モデル
Authors: Qihang Zhao, Chi Zhang, Weixiong Zhang,
Abstract要約: 現在のゲノム基盤モデルは、しばしば重要なトレードオフに直面している。我々は、ユニークで効率的なゲノム基盤モデルであるdnaGrinderを紹介する。 dnaGrinderはゲノム配列内の長距離依存関係を管理するのに優れ、性能を損なうことなく計算コストを最小化できる。
参考スコア（独自算出の注目度）: 11.646351318648499
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The task of understanding and interpreting the complex information encoded within genomic sequences remains a grand challenge in biological research and clinical applications. In this context, recent advancements in large language model research have led to the development of both encoder-only and decoder-only foundation models designed to decode intricate information in DNA sequences. However, several issues persist, particularly regarding the efficient management of long-range dependencies inherent in genomic sequences, the effective representation of nucleotide variations, and the considerable computational costs associated with large model architectures and extensive pretraining datasets. Current genomic foundation models often face a critical tradeoff: smaller models with mediocre performance versus large models with improved performance. To address these challenges, we introduce dnaGrinder, a unique and efficient genomic foundation model. dnaGrinder excels at managing long-range dependencies within genomic sequences while minimizing computational costs without compromising performance. It achieves results that are not just comparable but often superior to leading DNA models such as Nucleotide Transformer and DNABERT-2. Furthermore, dnaGrinder is designed for easy fine-tuning on workstation-grade GPUs, accommodating input lengths exceeding 17,000 tokens. On a single high-performance GPU, it supports sequences longer than 140,000 tokens, making it a highly efficient and accessible tool for both basic biological research and clinical applications.
Abstract（参考訳）: ゲノム配列にコード化された複雑な情報を理解・解釈する作業は、生物学的研究や臨床応用において大きな課題である。この文脈において、大規模言語モデル研究の最近の進歩は、DNA配列の複雑な情報をデコードするために設計されたエンコーダのみおよびデコーダのみの基礎モデルの開発に繋がった。しかし、特にゲノム配列に固有の長距離依存関係の効率的な管理、ヌクレオチド変異の効果的な表現、大規模なモデルアーキテクチャや広範な事前学習データセットに関連する計算コストについて、いくつかの問題が続いている。現在のゲノム基盤モデルは、しばしば重要なトレードオフに直面している。これらの課題に対処するために、一意かつ効率的なゲノム基盤モデルであるdnaGrinderを導入する。 dnaGrinderはゲノム配列内の長距離依存関係を管理するのに優れ、性能を損なうことなく計算コストを最小化できる。これは単に同等であるだけでなく、ヌクレオチドトランスフォーマーやDNABERT-2のような主要なDNAモデルよりも優れている。さらに、dnaGrinderはワークステーショングレードのGPUで簡単に微調整できるように設計されており、入力長は17,000トークンを超える。単一の高性能GPU上では、14000トークン以上のシーケンスをサポートしており、基本的な生物学的研究と臨床応用の両方において、非常に効率的でアクセスしやすいツールである。

関連論文リスト

CanvOI, an Oncology Intelligence Foundation Model: Scaling FLOPS Differently [0.0]
本稿では,VT-g/10ベースの基盤モデルであるCanvOIについて述べる。より大きなタイルサイズ(380 x 380ピクセル)と小さなパッチサイズ(10 x 10ピクセル)を導入することで、モデルの性能を最適化することができた。
論文参考訳（メタデータ） (2024-09-04T17:15:44Z)
Generating Multi-Modal and Multi-Attribute Single-Cell Counts with CFGen [76.02070962797794]
マルチモーダル単細胞数に対するフローベース条件生成モデルであるセルフロー・フォー・ジェネレーションを提案する。本研究は, 新規な生成タスクを考慮に入れた上で, 重要な生物学的データ特性の回復性の向上を示唆するものである。
論文参考訳（メタデータ） (2024-07-16T14:05:03Z)
Semantically Rich Local Dataset Generation for Explainable AI in Genomics [0.716879432974126]
ゲノム配列に基づいて訓練されたブラックボックス深層学習モデルは、異なる遺伝子制御機構の結果を予測するのに優れている。本稿では、遺伝的プログラミングを用いて、その意味的多様性に寄与する配列の摂動を進化させることによりデータセットを生成することを提案する。
論文参考訳（メタデータ） (2024-07-03T10:31:30Z)
GenBench: A Benchmarking Suite for Systematic Evaluation of Genomic Foundation Models [56.63218531256961]
我々はGenomic Foundation Modelsの有効性を評価するためのベンチマークスイートであるGenBenchを紹介する。 GenBenchはモジュラーで拡張可能なフレームワークを提供し、様々な最先端の方法論をカプセル化している。本稿では,タスク固有性能におけるモデルアーキテクチャとデータセット特性の相互作用のニュアンス解析を行う。
論文参考訳（メタデータ） (2024-06-01T08:01:05Z)
Efficient and Scalable Fine-Tune of Language Models for Genome Understanding [49.606093223945734]
textscLanguage prefix ftextscIne-tuning for textscGentextscOmes。 DNA基盤モデルとは異なり、textscLingoは自然言語基盤モデルの文脈的手がかりを戦略的に活用している。 textscLingoはさらに、適応的なランクサンプリング方法により、下流の細調整タスクを数多く許容する。
論文参考訳（メタデータ） (2024-02-12T21:40:45Z)
BEND: Benchmarking DNA Language Models on biologically meaningful tasks [7.005668635562045]
DNA言語モデルのベンチマークであるBENDを紹介し、現実的で生物学的に意味のある下流タスクのコレクションを特徴とする。現在のDNA LMからの埋め込みは、一部のタスクにおいて専門家メソッドのパフォーマンスにアプローチできるが、長距離機能に関する限られた情報しか取得できない。
論文参考訳（メタデータ） (2023-11-21T12:34:00Z)
DNAGPT: A Generalized Pre-trained Tool for Versatile DNA Sequence Analysis Tasks [14.931476374660944]
DNAGPTは、全哺乳類から200億以上の塩基対をトレーニングした、一般的なDNA事前学習モデルである。古典的なGPTモデルをバイナリ分類タスク、数値回帰タスク、包括的トークン言語で拡張することにより、DNAGPTは汎用的なDNA解析タスクを処理できる。
論文参考訳（メタデータ） (2023-07-11T06:30:43Z)
HyenaDNA: Long-Range Genomic Sequence Modeling at Single Nucleotide Resolution [76.97231739317259]
本稿では,ヒト参照ゲノム上に,最大100万個のトークンを単一ヌクレオチドレベルで有するゲノム基盤モデルであるHyenaDNAについて紹介する。 Nucleotide Transformerの微調整されたベンチマークでは、HyenaDNAが18のデータセットのうち12の最先端(SotA)に到達した。
論文参考訳（メタデータ） (2023-06-27T20:46:34Z)
DNABERT-2: Efficient Foundation Model and Benchmark For Multi-Species Genome [10.051595222470304]
我々は、k-merトークン化によって導入された計算とサンプルの非効率性が、大規模なゲノム基盤モデルの開発における主要な障害であると主張している。我々は、k-merトークン化をByte Pair$に置き換えることを提案するゲノムトークン化に関する概念的および実証的な洞察を提供する。 DNABERT-2は、効率的なトークン化を施し、入力長制約を克服するために複数の戦略を用いるゲノム基盤モデルである。
論文参考訳（メタデータ） (2023-06-26T18:43:46Z)
DA-VEGAN: Differentiably Augmenting VAE-GAN for microstructure reconstruction from extremely small data sets [110.60233593474796]
DA-VEGANは2つの中心的なイノベーションを持つモデルである。 $beta$-variational autoencoderはハイブリッドGANアーキテクチャに組み込まれている。このアーキテクチャに特化して、独自の差別化可能なデータ拡張スキームが開発されている。
論文参考訳（メタデータ） (2023-02-17T08:49:09Z)
Brain Image Synthesis with Unsupervised Multivariate Canonical CSC$\ell_4$Net [122.8907826672382]
我々は,新しいCSC$ell_4$Netを用いて,イントレとイントラモーダルの両方にまたがる専用特徴を学習することを提案する。
論文参考訳（メタデータ） (2021-03-22T05:19:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。