論文の概要: Omni-DNA: A Unified Genomic Foundation Model for Cross-Modal and Multi-Task Learning

• arxiv url: http://arxiv.org/abs/2502.03499v1
• Date: Wed, 05 Feb 2025 09:20:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 14:33:21.276008
• Title: Omni-DNA: A Unified Genomic Foundation Model for Cross-Modal and Multi-Task Learning
• Title（参考訳）: Omni-DNA:クロスモーダル・マルチタスク学習のための統一ゲノム基盤モデル
• Authors: Zehui Li, Vallijah Subasri, Yifei Shen, Dongsheng Li, Yiren Zhao, Guy-Bart Stan, Caihua Shan,
• Abstract要約: 我々は2000万から10億のパラメータからなるクロスモーダルマルチタスクモデルのファミリーであるOmni-DNAを紹介する。 本手法は, (i) 次のトークン予測目標によるDNA配列の事前学習, (ii) マルチモーダルなタスク固有トークンの拡張, 複数下流タスクの微調整の2段階からなる。 Nucleotide TransformerとGBベンチマークで評価すると、Omni-DNAは26タスク中18タスクで最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 30.762037633773257
• License:
• Abstract: Large Language Models (LLMs) demonstrate remarkable generalizability across diverse tasks, yet genomic foundation models (GFMs) still require separate finetuning for each downstream application, creating significant overhead as model sizes grow. Moreover, existing GFMs are constrained by rigid output formats, limiting their applicability to various genomic tasks. In this work, we revisit the transformer-based auto-regressive models and introduce Omni-DNA, a family of cross-modal multi-task models ranging from 20 million to 1 billion parameters. Our approach consists of two stages: (i) pretraining on DNA sequences with next token prediction objective, and (ii) expanding the multi-modal task-specific tokens and finetuning for multiple downstream tasks simultaneously. When evaluated on the Nucleotide Transformer and GB benchmarks, Omni-DNA achieves state-of-the-art performance on 18 out of 26 tasks. Through multi-task finetuning, Omni-DNA addresses 10 acetylation and methylation tasks at once, surpassing models trained on each task individually. Finally, we design two complex genomic tasks, DNA2Function and Needle-in-DNA, which map DNA sequences to textual functional descriptions and images, respectively, indicating Omni-DNA's cross-modal capabilities to broaden the scope of genomic applications. All the models are available through https://huggingface.co/collections/zehui127
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な一般化性を示すが、ゲノム基盤モデル(GFM)は、ダウンストリームアプリケーションごとに個別の微調整を必要とするため、モデルのサイズが大きくなるにつれて大きなオーバーヘッドが生じる。 さらに、既存のGFMは厳格な出力形式に制約され、様々なゲノミクスタスクへの適用性が制限される。 本研究では,トランスフォーマーに基づく自己回帰モデルを再検討し,2000万から10億のパラメータからなるクロスモーダルマルチタスクモデルのファミリーであるOmni-DNAを導入する。 我々のアプローチは2つの段階から成り立っている。 一 次回のトークン予測目的によるDNA配列の事前学習及び (2)マルチモーダルなタスク固有のトークンを拡張し、複数のダウンストリームタスクを同時に微調整する。 Nucleotide TransformerとGBベンチマークで評価すると、Omni-DNAは26タスク中18タスクで最先端のパフォーマンスを達成する。 マルチタスクの微調整により、Omni-DNAは10のアセチル化とメチル化のタスクを同時に処理し、各タスクで個別に訓練されたモデルを上回った。 最後にDNA2FunctionとNeedle-in-DNAという2つの複雑なゲノムタスクを設計し、DNA配列をテキスト機能記述と画像にマッピングし、Omni-DNAのクロスモーダルな機能を示す。 すべてのモデルはhttps://huggingface.co/collections/zehui127で利用可能だ。

関連論文リスト

• Model Evolution Framework with Genetic Algorithm for Multi-Task Reinforcement Learning [85.91908329457081]
  マルチタスク強化学習は、様々なシナリオにまたがって一般化可能なエージェントを開発することを目的として、様々なタスクを完遂するために単一のポリシーを採用する。 既存のアプローチでは、ルーティングネットワークを使用して各タスクの特定のルートを生成し、モジュールのセットをさまざまなモデルに再構築し、複数のタスクを同時に完了させるのが一般的である。 本稿では,遺伝的アルゴリズム(MEGA)を用いたモデル進化フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-19T09:22:34Z)
• HybriDNA: A Hybrid Transformer-Mamba2 Long-Range DNA Language Model [70.69095062674944]
  ハイブリッドトランスフォーマー-マンバ2アーキテクチャを組み込んだデコーダのみのDNA言語モデルであるHybriDNAを提案する。 このハイブリッド設計により、HybriDNAはDNA配列を最大131kbまで効率よく単一のヌクレオチド分解能で処理できる。 HybriDNAは、BEND、GUE、LRBベンチマークから算出された33のDNA理解データセットにまたがる最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-02-15T14:23:43Z)
• Model Decides How to Tokenize: Adaptive DNA Sequence Tokenization with MxDNA [44.630039477717624]
  MxDNAは、モデルが段階的に有効なDNAトークン化戦略を自律的に学習する新しいフレームワークである。 我々は、MxDNAが従来の方法とは異なるユニークなトークン化戦略を学習し、自己教師付き事前学習中にトークンレベルでゲノム機能をキャプチャすることを示す。
  論文  参考訳（メタデータ） (2024-12-18T10:55:43Z)
• DART-Eval: A Comprehensive DNA Language Model Evaluation Benchmark on Regulatory DNA [2.543784712990392]
  大規模なゲノムDNA言語モデル(DNALM)は、多様なDNA要素の一般化可能な表現を学習することを目的としている。 本ベンチマークでは, 機能的配列の特徴探索, 細胞型特異的制御活性の予測, 遺伝的変異の影響の予測など, 生物学的に有意義な下流課題を対象としている。
  論文  参考訳（メタデータ） (2024-12-06T21:23:35Z)
• MAMMAL -- Molecular Aligned Multi-Modal Architecture and Language [0.24434823694833652]
  MAMMALは、大規模生物学的データセットから学習する多目的マルチタスク基盤モデルである。 我々は、幅広い分類、回帰、生成タスクをサポートするプロンプト構文を導入する。 典型的薬物発見パイプライン内の異なるステップにまたがる11種類の下流タスクのモデルを評価した。
  論文  参考訳（メタデータ） (2024-10-28T20:45:52Z)
• Efficient and Scalable Fine-Tune of Language Models for Genome Understanding [49.606093223945734]
  textscLanguage prefix ftextscIne-tuning for textscGentextscOmes。 DNA基盤モデルとは異なり、textscLingoは自然言語基盤モデルの文脈的手がかりを戦略的に活用している。 textscLingoはさらに、適応的なランクサンプリング方法により、下流の細調整タスクを数多く許容する。
  論文  参考訳（メタデータ） (2024-02-12T21:40:45Z)
• BEND: Benchmarking DNA Language Models on biologically meaningful tasks [7.005668635562045]
  DNA言語モデルのベンチマークであるBENDを紹介し、現実的で生物学的に意味のある下流タスクのコレクションを特徴とする。 現在のDNA LMからの埋め込みは、一部のタスクにおいて専門家メソッドのパフォーマンスにアプローチできるが、長距離機能に関する限られた情報しか取得できない。
  論文  参考訳（メタデータ） (2023-11-21T12:34:00Z)
• DNAGPT: A Generalized Pre-trained Tool for Versatile DNA Sequence Analysis Tasks [14.931476374660944]
  DNAGPTは、全哺乳類から200億以上の塩基対をトレーニングした、一般的なDNA事前学習モデルである。 古典的なGPTモデルをバイナリ分類タスク、数値回帰タスク、包括的トークン言語で拡張することにより、DNAGPTは汎用的なDNA解析タスクを処理できる。
  論文  参考訳（メタデータ） (2023-07-11T06:30:43Z)
• HyenaDNA: Long-Range Genomic Sequence Modeling at Single Nucleotide Resolution [76.97231739317259]
  本稿では,ヒト参照ゲノム上に,最大100万個のトークンを単一ヌクレオチドレベルで有するゲノム基盤モデルであるHyenaDNAについて紹介する。 Nucleotide Transformerの微調整されたベンチマークでは、HyenaDNAが18のデータセットのうち12の最先端(SotA)に到達した。
  論文  参考訳（メタデータ） (2023-06-27T20:46:34Z)
• OFASys: A Multi-Modal Multi-Task Learning System for Building Generalist Models [72.8156832931841]
  ジェネリストモデルは、単一のモデル内でタスクに依存しない方法で多様なマルチモーダルタスクを実行することができる。 マルチモーダル命令と呼ばれる宣言型タスクインタフェース上に構築された汎用モデル学習システムOFASysをリリースする。
  論文  参考訳（メタデータ） (2022-12-08T17:07:09Z)
• Deep metric learning improves lab of origin prediction of genetically engineered plasmids [63.05016513788047]
  遺伝工学の属性(GEA)は、配列-ラブの関連を作る能力である。 本稿では,計量学習に基づいて,最も可能性の高い実験室をランク付けする手法を提案する。 我々は、特定の実験室のプラスミド配列のキーシグネチャを抽出することができ、モデル出力の解釈可能な検査を可能にする。
  論文  参考訳（メタデータ） (2021-11-24T16:29:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。