論文の概要: DELBERT-2: Pretrained Fingerprint Language Models for DEL Protein Binder Prediction
- arxiv url: http://arxiv.org/abs/2611.00281v1
- Date: Fri, 30 Oct 2026 19:03:41 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 19:20:34.448183
- Title: DELBERT-2: Pretrained Fingerprint Language Models for DEL Protein Binder Prediction
- Title（参考訳）: DELBERT-2:DELタンパク質結合予測のためのプレトレーニングフィンガープリント言語モデル
- Abstract要約: スパース分子指紋を統一トークンシーケンスに変換する指紋言語モデルDELBERT-2を提案する。
WDR91, WDR SETDB1, PLCZ1, LRRK2, DCAF7) を3つのオフ・オブ・ディストリビューション(OOD) プロトコルで評価した。
DelBERT-2は、LightGBMアンサンブルベースラインとスクラッチからトレーニングされたトランスフォーマーに対して、PR-AUCとNDCG@1000を一貫して改善している。
- 参考スコア（独自算出の注目度）: 3.4942391807514066
- License:
- Abstract: We present DELBERT-2, a pretrained fingerprint language model that converts sparse molecular fingerprints into unified token sequences using a ModernBERT encoder trained with masked language modelling on 2.5M molecules from the AIRCHECK DEL corpus. We evaluate across six targets (WDR91, WDR12, SETDB1, PLCZ1, LRRK2, DCAF7) under three out-of-distribution (OOD) protocols: hierarchical cluster splits probe chemical novelty, library splits test cross-library transfer, and building-block splits assess compositional generalization. DELBERT-2 consistently improves PR-AUC and NDCG@1000 relative to LightGBM ensemble baselines and transformers trained from scratch, with the largest gains in stringent OOD regimes. DELBERT-2 achieves 13.28+/-3.72 enrichment factor at top-100 vs. 12.36+/-3.75 for no-pretraining (p=0.040), representing 7.4% improvement and 13x enrichment over random selection. These results demonstrate that fingerprint-centric self-supervised learning effectively improves hit prioritization under distribution shift, enabling practical DEL virtual screening. Code is available at \hyperlink{https://github.com/GenerativeDrugDiscovery/DELBERT-2}{DELBERT-2}.
- Abstract（参考訳）: 本稿では,AIRCHECK DELコーパスの2.5M分子をマスク言語でモデル化したModernBERTエンコーダを用いて,スパース分子指紋を統一トークンシーケンスに変換する,事前訓練された指紋言語モデルDELBERT-2を提案する。
WDR91, WDR12, SETDB1, PLCZ1, LRRK2, DCAF7) を3つのアウト・オブ・ディストリビューション (OOD) プロトコルで評価した。
DELBERT-2は、LightGBMアンサンブルベースラインとスクラッチからトレーニングされたトランスフォーマーと比較して、PR-AUCとNDCG@1000を一貫して改善し、強いOODレギュレーションで最大の利益を上げている。
DELBERT-2はトップ100対12.36+/-3.75で13.28+/-3.72エンリッチメント係数を達成し(p=0.040)、ランダム選択よりも7.4%改善と13xエンリッチメントを実現している。
これらの結果から,指紋中心の自己教師型学習は,分散シフト下でのヒット優先順位付けを効果的に改善し,実用的なDEL仮想スクリーニングを実現することが示唆された。
コードは \hyperlink{https://github.com/GenerativeDrugDiscovery/DELBERT-2}{DELBERT-2} で公開されている。
関連論文リスト
- CHERRY: Compressed Hierarchical Experts with Recurrent Representational Yield [1.2203679037551938]
計算効率のよい言語モデルを学習するための3つの手法について検討する。
SGTはセマンティックペイロードを持つ出力トークンの15%を監督する。
リカレントリカバリによる 深度圧縮
韓国の基盤モデルであるCHERRY-1.8Bでこれらの手法を検証する。
論文 参考訳（メタデータ） (2026-06-30T15:14:38Z) - STEP3-VL-10B Technical Report [115.89015065130127]
STEP3-VL-10Bは、コンパクト効率とフロンティアレベルのマルチモーダルインテリジェンスとのトレードオフを再定義する軽量基盤モデルである。
そこで我々はPallel Coordinated Reasoning(PaCoRe)を実装して,テスト時間計算をスケールし,リソースをスケーラブルな知覚推論に割り当てる。
MMBenchでは92.2%、MMMUでは80.11%、AIME2025では94.43%、MathVisionでは75.95%である。
論文 参考訳（メタデータ） (2026-01-14T17:58:24Z) - TabiBERT: A Large-Scale ModernBERT Foundation Model and A Unified Benchmark for Turkish [0.7233065479782755]
TabiBERTはModernBERTアーキテクチャをベースとしたモノリンガルのトルコ語エンコーダである。
8,192トークンのコンテキスト長(16xオリジナルBERT)をサポートし、最大2.65倍のスピードアップを実現し、GPUメモリ使用量を削減する。
タビベンチで77.58を獲得し、BERTurkを1.62ポイント上回り、8つのカテゴリーのうち5つの最先端技術を確立した。
論文 参考訳（メタデータ） (2025-12-28T20:18:22Z) - DNABERT-2: Fine-Tuning a Genomic Language Model for Colorectal Gene Enhancer Classification [0.0]
DNABERT-2は、DNAから可変長トークンを学習するためにバイトペアエンコーディングを使用するトランスフォーマーゲノム言語モデルである。
遺伝子エンハンサーは、いつ、どこで遺伝子がスイッチされるかを制御するが、その配列の多様性と組織特異性は、大腸癌の特定を困難にしている。
大腸癌におけるBPEトークン化を用いた第2世代のゲノム言語モデルを適用した最初の研究である。
論文 参考訳（メタデータ） (2025-09-28T16:10:03Z) - S*: Test Time Scaling for Code Generation [55.11863577956177]
コード生成のための最初のハイブリッドテストタイムスケーリングフレームワークであるS*を提案する。
S*は生成されたコードのカバレッジと選択精度を大幅に改善する。
論文 参考訳（メタデータ） (2025-02-20T09:18:53Z) - DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with
Gradient-Disentangled Embedding Sharing [117.41016786835452]
本稿では,DeBERTaモデルの改良を目的とした,事前学習型言語モデルDeBERTaV3を提案する。
ELECTRAでのバニラ埋め込み共有は、トレーニング効率とモデルパフォーマンスを損なう。
そこで本研究では、タグ・オブ・ウォーのダイナミクスを回避するために、新しい勾配距離の埋め込み方式を提案する。
論文 参考訳（メタデータ） (2021-11-18T06:48:00Z) - DeBERTa: Decoding-enhanced BERT with Disentangled Attention [119.77305080520718]
2つの新しい手法を用いてBERTモデルとRoBERTaモデルを改善する新しいモデルアーキテクチャDeBERTaを提案する。
これらの手法により,モデル事前学習の効率化と,自然言語理解(NLU)と自然言語生成(NLG)の両方の性能向上が期待できる。
論文 参考訳（メタデータ） (2020-06-05T19:54:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。