論文の概要: D3LM: A Discrete DNA Diffusion Language Model for Bidirectional DNA Understanding and Generation
- arxiv url: http://arxiv.org/abs/2603.01780v1
- Date: Mon, 02 Mar 2026 12:05:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-03 19:50:56.856547
- Title: D3LM: A Discrete DNA Diffusion Language Model for Bidirectional DNA Understanding and Generation
- Title（参考訳）: D3LM: 双方向DNA理解・生成のための離散DNA拡散言語モデル
- Authors: Zhao Yang, Hengchang Liu, Chuan Cao, Bing Su,
- Abstract要約: D3LM(textbfDiscrete textbfDNA textbfDiffusion textbfLanguage textbfModel)は、マスク拡散による双方向表現学習とDNA生成を実現する。
D3LMはNucleotide Transformer (NT) v2アーキテクチャを直接採用しているが、訓練対象を離散DNA空間におけるマスク拡散として再構成する。
- 参考スコア（独自算出の注目度）: 16.814731997144012
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Early DNA foundation models adopted BERT-style training, achieving good performance on DNA understanding tasks but lacking generative capabilities. Recent autoregressive models enable DNA generation, but employ left-to-right causal modeling that is suboptimal for DNA where regulatory relationships are inherently bidirectional. We present D3LM (\textbf{D}iscrete \textbf{D}NA \textbf{D}iffusion \textbf{L}anguage \textbf{M}odel), which unifies bidirectional representation learning and DNA generation through masked diffusion. D3LM directly adopts the Nucleotide Transformer (NT) v2 architecture but reformulates the training objective as masked diffusion in discrete DNA space, enabling both bidirectional understanding and generation capabilities within a single model. Compared to NT v2 of the same size, D3LM achieves improved performance on understanding tasks. Notably, on regulatory element generation, D3LM achieves an SFID of 10.92, closely approaching real DNA sequences (7.85) and substantially outperforming the previous best result of 29.16 from autoregressive models. Our work suggests diffusion language models as a promising paradigm for unified DNA foundation models. We further present the first systematic study of masked diffusion models in the DNA domain, investigating practical design choices such as tokenization schemes and sampling strategies, thereby providing empirical insights and a solid foundation for future research. D3LM has been released at https://huggingface.co/collections/Hengchang-Liu/d3lm.
- Abstract（参考訳）: 初期のDNAファンデーションモデルはBERTスタイルのトレーニングを採用し、DNA理解タスクで優れたパフォーマンスを達成したが、生成能力に欠けていた。
近年の自己回帰モデルでは、DNA生成が可能であるが、規制関係が本質的に双方向であるDNAに最適である左右因果モデリングが採用されている。
本稿では,D3LM (\textbf{D}iscrete \textbf{D}NA \textbf{D}iffusion \textbf{L}anguage \textbf{M}odel)について述べる。
D3LMはNucleotide Transformer (NT) v2アーキテクチャを直接採用しているが、訓練対象を個別のDNA空間におけるマスク拡散として再構成し、双方向の理解と単一モデル内の生成機能を実現する。
同じサイズのNT v2と比較して、D3LMは理解タスクの性能を向上させる。
特に規制要素の生成において、D3LMは10.92のSFIDを達成し、実際のDNA配列(7.85)に近づき、自己回帰モデルから29.16の結果を大幅に上回っている。
我々の研究は、DNA基盤モデル統合のための有望なパラダイムとして拡散言語モデルを提案する。
さらに,DNA領域におけるマスク拡散モデルに関する最初の体系的研究を行い,トークン化スキームやサンプリング戦略などの実用的な設計選択について検討し,実証的な知見と今後の研究基盤を提供する。
D3LMはhttps://huggingface.co/collections/Hengchang-Liu/d3lmでリリースされた。
関連論文リスト
- JanusDNA: A Powerful Bi-directional Hybrid DNA Foundation Model [7.8918969994977575]
大規模言語モデル(LLM)は自然言語処理に革命をもたらし、他のシーケンシャルなデータタイプにもますます適用されてきている。
我々は、新しい事前学習パラダイムに基づいて構築された、最初の双方向DNA基盤モデルであるJanusDNAを紹介する。
JanusDNAは、1つの80GB GPU上で1つのヌクレオチド分解能で100万塩基対を処理する。
論文 参考訳（メタデータ） (2025-05-22T20:10:55Z) - Dimple: Discrete Diffusion Multimodal Large Language Model with Parallel Decoding [53.82301522384719]
Dimple, the first Discrete Multimodal Large Language Model (DMLLM)を提案する。
我々は,初期自己回帰フェーズとその後の拡散フェーズを組み合わせた新しい訓練パラダイムを設計する。
Dimple-7BはLLaVA-を3.9%上回り、DMLLMは自己回帰モデルに匹敵する性能を達成できることを示した。
論文 参考訳（メタデータ） (2025-05-22T17:55:04Z) - Towards Unified and Lossless Latent Space for 3D Molecular Latent Diffusion Modeling [90.23688195918432]
3次元分子生成は、薬物発見と物質科学に不可欠である。
既存のアプローチは、典型的には不変かつ同変なモジュラリティに対して別々のラテント空間を保持する。
我々は,3次元分子を潜在空間から潜在配列に圧縮するマルチモーダルVAEである textbfUAE-3D を提案する。
論文 参考訳（メタデータ） (2025-03-19T08:56:13Z) - NExT-Mol: 3D Diffusion Meets 1D Language Modeling for 3D Molecule Generation [72.22099363325145]
NExT-Mol: 3D Diffusion Meets 1D Language Modeling for 3D Molecule Generationを提案する。
NExT-Molは1D分子生成のために広範囲に事前訓練された分子LMを使用し、その後、生成された分子の3Dコンホメータを予測する。
我々は,NExT-Molの性能を向上させるために,LMのモデルサイズをスケールアップし,拡散ニューラルアーキテクチャを改良し,三次元トランスファー学習に1Dを適用した。
論文 参考訳（メタデータ） (2025-02-18T08:40:13Z) - HybriDNA: A Hybrid Transformer-Mamba2 Long-Range DNA Language Model [70.69095062674944]
ハイブリッドトランスフォーマー-マンバ2アーキテクチャを組み込んだデコーダのみのDNA言語モデルであるHybriDNAを提案する。
このハイブリッド設計により、HybriDNAはDNA配列を最大131kbまで効率よく単一のヌクレオチド分解能で処理できる。
HybriDNAは、BEND、GUE、LRBベンチマークから算出された33のDNA理解データセットにまたがる最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-02-15T14:23:43Z) - DNAHLM -- DNA sequence and Human Language mixed large language Model [0.0]
本稿では、GPT-2ネットワーク上でトレーニングされた事前学習モデルについて紹介し、DNA配列と英文の組み合わせについて述べる。
次に、分類やその他の下流タスクをAlpacaフォーマット命令データに変換し、命令の微調整を行う。
このモデルはDNA関連ゼロショット予測およびマルチタスク応用においてその効果を実証している。
論文 参考訳（メタデータ） (2024-10-22T11:51:09Z) - Derivative-Free Guidance in Continuous and Discrete Diffusion Models with Soft Value-Based Decoding [84.3224556294803]
拡散モデルは、画像、分子、DNA、RNA、タンパク質配列の自然なデザイン空間を捉えるのに優れている。
これらの設計空間の自然性を保ちながら、下流の報酬関数を最適化することを目指している。
提案アルゴリズムは,中間雑音状態が将来高い報酬をもたらすことの先駆けとして,ソフトバリュー関数を統合する。
論文 参考訳（メタデータ） (2024-08-15T16:47:59Z) - DiscDiff: Latent Diffusion Model for DNA Sequence Generation [4.946462450157714]
本稿では, 離散的なDNA配列を生成するための遅延拡散モデルであるDisdisDiffと, これらの配列を洗練するためのポストトレーニングアルゴリズムであるAbsorb-Escapeを紹介する。
EPD-GenDNAは15種から16万のユニークな配列を含む、DNA生成のための最初の包括的で多種のデータセットである。
本研究は,遺伝子治療やタンパク質生産に影響を及ぼす可能性のあるDNA生成モデルの構築を期待する。
論文 参考訳（メタデータ） (2024-02-08T22:06:55Z) - Latent Diffusion Model for DNA Sequence Generation [5.194506374366898]
離散DNA配列生成に適した新しい潜伏拡散モデル DiscDiff を提案する。
離散DNA配列をオートエンコーダを用いて連続潜伏空間に埋め込むことで、離散データの生成に連続拡散モデルの強力な生成能力を活用できる。
我々は15種から150Kのプロモーター遺伝子配列の包括的クロス種データセットを寄贈し、ゲノム学における将来的な遺伝子モデリングのための資源を充実させた。
論文 参考訳（メタデータ） (2023-10-09T20:58:52Z) - Geometric Latent Diffusion Models for 3D Molecule Generation [172.15028281732737]
生成モデル、特に拡散モデル(DM)は、特徴豊富な測地を生成する上で有望な結果を得た。
我々はGeoLDM(Geometric Latent Diffusion Models)と呼ばれる新しい3次元分子生成法を提案する。
論文 参考訳（メタデータ） (2023-05-02T01:07:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。