論文の概要: Self-Supervised Pretraining of Molecular Graph Encoders with LeJEPA
- arxiv url: http://arxiv.org/abs/2609.04261v1
- Date: Wed, 02 Sep 2026 12:08:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:23.753014
- Title: Self-Supervised Pretraining of Molecular Graph Encoders with LeJEPA
- Title（参考訳）: LeJEPAを用いた分子グラフエンコーダの自己教師付き事前学習
- Abstract要約: 自己教師付き事前学習は言語とビジョンを変えてきたが、分子グラフニューラルネットワークの価値はいまだに争われている。
大規模な教師なしコーパスでの事前学習が分子特性予測を改善するかどうかを問う。
プレトレーニングは学習した表現を改善するが、微調整を堅牢に改善しない。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Self-supervised pretraining has transformed language and vision, but its value for molecular graph neural networks remains contested. We ask whether pretraining on a large unlabelled corpus improves molecular property prediction. We adapt LeJEPA, a predictor-free joint-embedding predictive architecture regularised by Sketched Isotropic Gaussian Regularisation (SIGReg), to molecular graphs, evaluating GPS and Chemprop-style D-MPNN encoders on the Wong et al. [1] antibiotic-activity dataset and ogbg-molhiv using a multi-seed, bootstrap-based protocol. Pretraining improves learned representations but does not robustly improve finetuning. A frozen probe on pretrained embeddings exceeds random initialisation on both tasks (ogbg-molhiv ROC-AUC 0.788 vs 0.665; +0.123), reaching the published self-supervised band, but this does not translate into finetuning gains. On the antibiotic scaffold split, a canonical partition is significant (delta AUPRC +0.041, p = 0.010), but the effect vanishes across five partitions (pooled +0.013, p = 0.095). Finetuning is null on the random split, ogbg-molhiv, and D-MPNN. The representational edge is nevertheless recoverable. Embeddings saturate at ~16-32 effective dimensions, whereas Morgan fingerprints improve to 1024 bits. At matched dimensionality, fingerprints lead validation (0.799 vs 0.782 at 128 dimensions) but trail shifted test scaffolds (0.759 vs 0.788). Truncating embeddings and combining them with a 1024-bit Morgan fingerprint raises ogbg-molhiv ROC-AUC from 0.805 to 0.832 (delta +0.027; 95% CI [+0.003, +0.054]; p = 0.014); an untrained encoder gains nothing (delta -0.003). Thus, pretraining supplies complementary information best realised through feature-level combination, while finetuning gains are weak and partition-dependent.
- Abstract（参考訳）: 自己教師付き事前学習は言語とビジョンを変えてきたが、分子グラフニューラルネットワークの価値はいまだに争われている。
大規模未ラベルコーパスでの事前学習が分子特性予測を改善するかどうかを問う。
我々は,Sketched Isotropic Gaussian Regularization (SIGReg) によって正規化された予測器のない共同埋め込み型予測アーキテクチャであるLeJEPAを分子グラフに適用し,Wong et [1] [1] の抗生物質活性データセットとogbg-molhiv を用いたGPSおよびChempropスタイルのD-MPNNエンコーダの評価を行った。
プレトレーニングは学習した表現を改善するが、微調整を堅牢に改善しない。
予め訓練された埋め込みに関する凍結プローブは、両方のタスク(ogbg-molhiv ROC-AUC 0.788 vs 0.665; +0.123)のランダム初期化を超えるが、これは微細な利得にはならない。
抗生物質の足場分割では、正準分割が重要である(デルタ AUPRC +0.041, p = 0.010)が、5つの分割(プール +0.013, p = 0.095)で効果は消滅する。
ファインチューニングは、ランダムスプリット、ogbg-molhiv、D-MPNNでは無効である。
それでも表現エッジは回復可能である。
埋め込みは16-32の有効次元で飽和するが、モーガンの指紋は1024ビットに改善する。
一致した寸法では指紋は128次元で0.799対0.782) が、後続試験足場(0.759対0.788)が移動した。
1024ビットのMorganフィンガープリントと組み合わせることで、ogbg-molhiv ROC-AUCは0.805から0.832(delta +0.027; 95% CI [+0.003, +0.054]; p = 0.014)に上昇する。
このように、事前学習は特徴レベルの組み合わせによって最もよく実現される補完情報を提供する一方で、微調整利得は弱く分割に依存している。
関連論文リスト
- The Filter Metric is Safety-Critical: Phantom Advantages in Group-Relative RL under Shaped Rewards [1.667501390377158]
グループ相対的なポリシー最適化は、動的サンプリングによって非コントラストのロールアウトグループを捨てることができる。
我々は,複合形状の報酬の下で,計量述語ミスマッチを同定し,定量化する。
論文 参考訳（メタデータ） (2026-09-12T10:36:55Z) - Denoised Variance-Based Pruning with Optimal Brain Bias Compensation [45.88028371034407]
VBP(Variance-Based Pruning)は、ニューロンを活性化分散に基づいて選択することで有望なパラダイムを導入した。
Denoized Variance-based Pruning with Optimal Brain Bias Compensation (DVBP + OB$2$C)を紹介する。
最先端のトレーニングフリーのパフォーマンスを実現し、50%のプルーニングで、オリジナルのTop-1の精度の90%以上を維持できる。
論文 参考訳（メタデータ） (2026-08-18T11:23:49Z) - EGRL: Edge generation-guided relation-aware learning for RNA-protein interaction prediction [41.17218504310278]
エッジ生成誘導型関係認識学習(EGRL)を提案する。
EGRLはいくつかの重要なコンポーネントを持つ新しいフレームワークである。
4つのベンチマークデータセットの総合的な評価は、EGRLが全体的なパフォーマンスを競争力で達成していることを示している。
論文 参考訳（メタデータ） (2026-08-13T07:47:44Z) - LeNEPA: No-Augmentation Next-Latent Prediction for Time-Series Representation Learning [59.34593956287438]
我々は,事前学習信号ファミリーが変化した後,メソッド固有の構成が再利用されない場合にSSLレシピがどのように振る舞うかを検討する。
我々は遅延ユークリッド次世代予測アーキテクチャ(LeNEPA)を紹介する。
LeNEPAは、バニラNEPAが使用する停止段階/EMA安定化をSIGRegベースのイソトロピー正則化に置き換える。
論文 参考訳（メタデータ） (2026-07-01T13:56:21Z) - Physics-Aware Auxiliary Losses Improve Out-of-Distribution Generalization of a GNN Synthesizability Filter [1.1986159241687198]
我々は,グラフニューラルネットワーク(GNN)の補助的監視として使用される安価でクローズドな物理先行性により,OODの一般化が向上するかどうかを問う。
我々はGINEのバックボーンに2つの補助的損失を加え、Bertz指数によるトポロジカルな複雑性の回帰とMMFF94力場エネルギーによるひずみエネルギーのソフトペナルティを加えた。
3つの物理学を意識した変種はいずれも、ベースラインよりも小さいが統計的に有意なOOD改善を与える。
論文 参考訳（メタデータ） (2026-06-10T20:21:56Z) - Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
テキスト検出器は、事前訓練された典型軸を増幅する。
タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。
RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
論文 参考訳（メタデータ） (2026-05-20T19:08:38Z) - Pretraining Objective Matters in Extreme Low-Data FGVC: A Backbone-Controlled Study [39.146761527401424]
教師付き分類、コントラスト学習(SigLIP2)、マスク再構築(MAE)、自己蒸留(DINOv3)の4つの凍結型ViT-B/16エンコーダを比較した。
教師付きおよび対照的なエンコーダは、最も強い線形分離性(論理的AUC: 0.768 と 0.735; SVM AUC: 0.739 と 0.697)を提供する。
この領域では、DINOv3はプローブファミリーで不活性である。
論文 参考訳（メタデータ） (2026-05-15T04:14:16Z) - HBEE: Human Behavioral Entropy Engine -- Pre-Registered Multi-Agent LLM Simulation of Peer-Suspicion-Based Detection Inversion [0.0]
適応OPSECがLLMディレクティブとして実装可能な制御環境では、ピア・サスペクション・カスケード検出を反転させる。
我々は,シミュレータ,事前登録文書,凍結シナリオ,生テレメトリ,分析パイプラインをオープンソースライセンス下でリリースする。
論文 参考訳（メタデータ） (2026-05-08T09:19:21Z) - Do Generative Metrics Predict YOLO Performance? An Evaluation Across Models, Augmentation Ratios, and Dataset Complexity [43.338311770275745]
本報告では, YOLOv11の合成増強の制御された評価法について述べる。
実際のトレーニングスプリットの10%から150%の増大率に対して, GAN, 拡散, ハイブリッドベースの6つのジェネレータをベンチマークした。
データセット生成/拡張設定毎に、マッチしたサイズのブートストラッププロトコルで事前トレーニングデータセットメトリクスを計算する。
論文 参考訳（メタデータ） (2026-02-20T03:02:36Z) - Improved techniques for deterministic l2 robustness [63.34032156196848]
畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。
我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。
我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
論文 参考訳（メタデータ） (2022-11-15T19:10:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。