論文の概要: Self-Supervised Learning on Molecular Graphs: A Systematic Investigation of Masking Design

• arxiv url: http://arxiv.org/abs/2512.07064v1
• Date: Mon, 08 Dec 2025 00:52:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-09 22:03:54.662822
• Title: Self-Supervised Learning on Molecular Graphs: A Systematic Investigation of Masking Design
• Title（参考訳）: 分子グラフによる自己教師付き学習:マスキング設計の体系的研究
• Authors: Jiannan Yang, Veronika Thost, Tengfei Ma,
• Abstract要約: 自己教師付き学習は、分子表現学習において中心的な役割を果たす。 マスキングに基づく事前訓練の最近の革新は、隠蔽と原則的評価の欠如として紹介されている。 この作業により、プレトレイン-ファイントゥンワークフロー全体が統一された確率的フレームワークとなった。
• 参考スコア（独自算出の注目度）: 11.43518417965958
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning (SSL) plays a central role in molecular representation learning. Yet, many recent innovations in masking-based pretraining are introduced as heuristics and lack principled evaluation, obscuring which design choices are genuinely effective. This work cast the entire pretrain-finetune workflow into a unified probabilistic framework, enabling a transparent comparison and deeper understanding of masking strategies. Building on this formalism, we conduct a controlled study of three core design dimensions: masking distribution, prediction target, and encoder architecture, under rigorously controlled settings. We further employ information-theoretic measures to assess the informativeness of pretraining signals and connect them to empirically benchmarked downstream performance. Our findings reveal a surprising insight: sophisticated masking distributions offer no consistent benefit over uniform sampling for common node-level prediction tasks. Instead, the choice of prediction target and its synergy with the encoder architecture are far more critical. Specifically, shifting to semantically richer targets yields substantial downstream improvements, particularly when paired with expressive Graph Transformer encoders. These insights offer practical guidance for developing more effective SSL methods for molecular graphs.
• Abstract（参考訳）: 自己教師付き学習(SSL)は、分子表現学習において中心的な役割を果たす。 しかし、マスキングに基づく事前訓練における最近の多くの革新は、ヒューリスティックとして導入され、どの設計選択が真に効果的かという原則的な評価が欠如している。 この研究は、プレトレイン-ファインチューンワークフロー全体を統一された確率的フレームワークにし、透過的な比較とマスキング戦略のより深い理解を可能にした。 このフォーマリズムに基づいて,マスク分布,予測対象,エンコーダアーキテクチャの3つの基本設計次元を厳密に制御された環境下で制御する。 さらに,事前学習信号の情報性を評価するための情報理論的手法を採用し,それを実証的にベンチマークした下流性能に接続する。 高度なマスキング分布は、共通ノードレベルの予測タスクに対する一様サンプリングよりも一貫した利点を与えない。 代わりに、予測対象の選択とエンコーダアーキテクチャとの相乗効果がはるかに重要である。 具体的には、意味的にリッチなターゲットへのシフトは、特に表現力のあるGraph Transformerエンコーダと組み合わせた場合、大幅にダウンストリームの改善をもたらす。 これらの知見は、分子グラフのためのより効果的なSSLメソッドを開発するための実践的なガイダンスを提供する。

関連論文リスト

• Semi-supervised Semantic Segmentation with Multi-Constraint Consistency Learning [81.02648336552421]
  本稿では,エンコーダとデコーダの段階的拡張を容易にするためのマルチ制約一貫性学習手法を提案する。 自己適応型特徴マスキングとノイズ注入は、デコーダの堅牢な学習のための特徴を摂動させるために、インスタンス固有の方法で設計されている。 Pascal VOC2012およびCityscapesデータセットの実験結果から,提案したMCCLが新たな最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2025-03-23T03:21:33Z)
• How JEPA Avoids Noisy Features: The Implicit Bias of Deep Linear Self Distillation Networks [14.338754598043968]
  データ表現の自己教師型学習には2つの競合パラダイムが存在する。 JEPA(Joint Embedding Predictive Architecture)は、意味的に類似した入力が互いに予測可能な表現に符号化されるアーキテクチャのクラスである。
  論文  参考訳（メタデータ） (2024-07-03T19:43:12Z)
• Skeleton2vec: A Self-supervised Learning Framework with Contextualized Target Representations for Skeleton Sequence [56.092059713922744]
  予測対象として高レベルな文脈化機能を使用することで,優れた性能が得られることを示す。 具体的には、シンプルで効率的な3D行動表現学習フレームワークであるSkeleton2vecを提案する。 提案するSkeleton2vecは,従来の手法より優れ,最先端の結果が得られる。
  論文  参考訳（メタデータ） (2024-01-01T12:08:35Z)
• Forecast-MAE: Self-supervised Pre-training for Motion Forecasting with Masked Autoencoders [7.133110402648305]
  本研究では,自己教師型学習の動作予測への応用について検討する。 Forecast-MAEは、モーション予測タスクの自己教師型学習用に特別に設計されたマスクオートエンコーダフレームワークの拡張である。
  論文  参考訳（メタデータ） (2023-08-19T02:27:51Z)
• MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
  自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。 所望のプロパティを統一する単段および単段のMOCAを提案する。 我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2023-07-18T15:46:20Z)
• RARE: Robust Masked Graph Autoencoder [45.485891794905946]
  Masked graph autoencoder (MGAE) は、有望な自己教師付きグラフ事前学習(SGP)パラダイムとして登場した。 本稿では,ロバストmAsked gRaph autoEncoder (RARE) と呼ばれる新しいSGP手法を提案する。
  論文  参考訳（メタデータ） (2023-04-04T03:35:29Z)
• Self-Supervised Learning via Maximum Entropy Coding [57.56570417545023]
  本稿では,表現の構造を明示的に最適化する原理的目的として,最大エントロピー符号化(MEC)を提案する。 MECは、特定のプリテキストタスクに基づいて、以前のメソッドよりもより一般化可能な表現を学ぶ。 ImageNetリニアプローブだけでなく、半教師付き分類、オブジェクト検出、インスタンスセグメンテーション、オブジェクトトラッキングなど、さまざまなダウンストリームタスクに対して一貫して最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-10-20T17:58:30Z)
• Bayesian Graph Contrastive Learning [55.36652660268726]
  本稿では,ランダムな拡張がエンコーダにつながることを示すグラフコントラスト学習手法の新たな視点を提案する。 提案手法は,各ノードを決定論的ベクトルに埋め込む既存の手法とは対照的に,各ノードを潜在空間の分布で表現する。 いくつかのベンチマークデータセットにおける既存の最先端手法と比較して,性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2021-12-15T01:45:32Z)
• Information Obfuscation of Graph Neural Networks [96.8421624921384]
  本稿では,グラフ構造化データを用いた学習において,情報難読化による機密属性保護の問題について検討する。 本稿では,全変動量とワッサーシュタイン距離を交互に学習することで,事前決定された機密属性を局所的にフィルタリングするフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-09-28T17:55:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。