論文の概要: Continuous Diffusion Transformers for Designing Synthetic Regulatory Elements
- arxiv url: http://arxiv.org/abs/2603.10885v1
- Date: Wed, 11 Mar 2026 15:30:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-12 16:22:33.030894
- Title: Continuous Diffusion Transformers for Designing Synthetic Regulatory Elements
- Title（参考訳）: 連続拡散変換器による合成制御素子の設計
- Authors: Jonathan Liu, Kia Ghods,
- Abstract要約: 本稿では,200bpの細胞型特異的なDNA配列を生成するためのパラメータ効率のDiffusion Transformer(DiT)を提案する。
DNA-Diffusion の U-Net バックボーンを 2D CNN 入力エンコーダを備えた変換器デノイザに置き換えることにより,U-Net の有効検証損失を 13 回で比較した。
- 参考スコア（独自算出の注目度）: 0.33054385258808067
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a parameter-efficient Diffusion Transformer (DiT) for generating 200bp cell-type-specific regulatory DNA sequences. By replacing the U-Net backbone of DNA-Diffusion with a transformer denoiser equipped with a 2D CNN input encoder, our model matches the U-Net's best validation loss in 13 epochs (60$\times$ fewer) and converges 39% lower, while reducing memorization from 5.3% to 1.7% of generated sequences aligning to training data via BLAT. Ablations show the CNN encoder is essential: without it, validation loss increases 70% regardless of positional embedding choice. We further apply DDPO finetuning using Enformer as a reward model, achieving a 38$\times$ improvement in predicted regulatory activity. Cross-validation against DRAKES on an independent prediction task confirms that improvements reflect genuine regulatory signal rather than reward model overfitting.
- Abstract（参考訳）: 本稿では,200bpの細胞型特異的なDNA配列を生成するためのパラメータ効率のDiffusion Transformer(DiT)を提案する。
DNA-DiffusionのU-Netバックボーンを2D CNN入力エンコーダを備えたトランスフォーマーデノイザに置き換えることで、U-Netの最大バリデーション損失を13 epochs (60$\times$ less) と一致させ、39%低い値で収束させ、BLATによるトレーニングデータに整合した生成シーケンスの5.3%から1.7%に減らした。
アブレーションは、CNNエンコーダが必須であることを示している:それなしでは、位置埋め込みの選択に関係なく、バリデーション損失は70%増加する。
さらに、Enformerを報酬モデルとしてDDPO微調整を適用し、予測された規制活動の改善を38$\times$で達成する。
独立予測タスクにおけるDRAKESに対するクロスバリデーションは、改善が報酬モデルオーバーフィットよりも真の規制シグナルを反映していることを確認する。
関連論文リスト
- Breaking the Data Barrier: Robust Few-Shot 3D Vessel Segmentation using Foundation Models [0.0]
最先端の船体セグメンテーション手法は、通常、大規模な注釈付きデータセットを必要とし、ドメインシフト時に深刻なパフォーマンス劣化に悩まされる。
本稿では,ボリューム容器分割に適応した事前学習型ビジョンファウンデーションモデル(DINOv3)を活用する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-27T08:24:44Z) - MeanFlow Transformers with Representation Autoencoders [71.45823902973349]
MeanFlow(MF)は、ノイズからデータへのジャンプを直接学習することで、効率的な数ステップ生成を可能にする拡散動機付き生成モデルである。
我々は、表現オートエンコーダ(RAE)の潜在空間におけるMFの効率的なトレーニングとサンプリング手法を開発する。
1ステップのFIDが2.03であり,バニラMFの3.43を上回っ,GFLOPSのサンプリングを38%削減し,ImageNet 256のトレーニングコストを83%削減した。
論文 参考訳（メタデータ） (2025-11-17T06:17:08Z) - SSDD: Single-Step Diffusion Decoder for Efficient Image Tokenization [56.12853087022071]
スケーリングとトレーニングの安定性を向上させるために,新しい画素拡散デコーダアーキテクチャを導入する。
蒸留を用いて, 拡散復号器の性能を効率よく再現する。
これによりSSDDは、敵の損失なしに訓練された単一ステップ再構成に最適化された最初の拡散デコーダとなる。
論文 参考訳（メタデータ） (2025-10-06T15:57:31Z) - DNABERT-2: Fine-Tuning a Genomic Language Model for Colorectal Gene Enhancer Classification [0.0]
DNABERT-2は、DNAから可変長トークンを学習するためにバイトペアエンコーディングを使用するトランスフォーマーゲノム言語モデルである。
遺伝子エンハンサーは、いつ、どこで遺伝子がスイッチされるかを制御するが、その配列の多様性と組織特異性は、大腸癌の特定を困難にしている。
大腸癌におけるBPEトークン化を用いた第2世代のゲノム言語モデルを適用した最初の研究である。
論文 参考訳（メタデータ） (2025-09-28T16:10:03Z) - A Novel Compression Framework for YOLOv8: Achieving Real-Time Aerial Object Detection on Edge Devices via Structured Pruning and Channel-Wise Distillation [0.0]
YOLOv8オブジェクト検出モデルのための新しい3段階圧縮パイプラインを提案する。
スパシティ対応トレーニング、構造化チャネルプルーニング、CWD(Channel-Wise Knowledge Distillation)が使用されている。
VisDroneデータセットの実験では、複数のYOLOv8変種にまたがるアプローチの有効性が示されている。
論文 参考訳（メタデータ） (2025-09-16T10:11:59Z) - Detection of Intelligent Tampering in Wireless Electrocardiogram Signals Using Hybrid Machine Learning [0.06428333375712122]
本稿では, タンパ検出のためのCNN, ResNet, およびハイブリッドトランスフォーマー-CNNモデルの性能解析を行う。
また、ECGに基づく身元認証のためのSiameseネットワークの性能を評価する。
論文 参考訳（メタデータ） (2025-07-08T21:10:07Z) - OA-CNNs: Omni-Adaptive Sparse CNNs for 3D Semantic Segmentation [70.17681136234202]
設計上の違いを再検討し、スパースCNNが達成できることの限界をテストする。
本稿では,このギャップを埋めるために,適応受容場(親和性)と適応関係という2つの重要な要素を提案する。
この調査により、軽量モジュールを統合するネットワークのファミリーであるOmni-Adaptive 3D CNN(OA-CNN)が開発された。
論文 参考訳（メタデータ） (2024-03-21T14:06:38Z) - Efficient Decoder-free Object Detection with Transformers [75.00499377197475]
視覚変換器(ViT)は、物体検出アプローチのランドスケープを変化させている。
本稿では,デコーダフリー完全トランス(DFFT)オブジェクト検出器を提案する。
DFFT_SMALLは、トレーニングおよび推論段階で高い効率を達成する。
論文 参考訳（メタデータ） (2022-06-14T13:22:19Z) - Non-Autoregressive Transformer ASR with CTC-Enhanced Decoder Input [54.82369261350497]
CTCモジュールの予測を精算することでターゲットシーケンスを生成するCTC拡張NARトランスを提案する。
実験結果から,Aishell-1およびAishell-2データセットでは,Aishell-1およびAishell-2データセットの絶対CER劣化が0。
論文 参考訳（メタデータ） (2020-10-28T15:00:09Z) - End-to-End Multi-speaker Speech Recognition with Transformer [88.22355110349933]
音声認識モデルにおけるRNNベースのエンコーダデコーダをトランスフォーマーアーキテクチャに置き換える。
また、計算量を削減するために、シーケンス全体ではなくセグメントに制限されるセルフアテンションコンポーネントを変更します。
論文 参考訳（メタデータ） (2020-02-10T16:29:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。