論文の概要: Rethinking Tokenizer and Decoder in Masked Graph Modeling for Molecules

• arxiv url: http://arxiv.org/abs/2310.14753v1
• Date: Mon, 23 Oct 2023 09:40:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 21:08:50.856712
• Title: Rethinking Tokenizer and Decoder in Masked Graph Modeling for Molecules
• Title（参考訳）: 分子のマスクグラフモデリングにおけるトケナイザとデコーダの再考
• Authors: Zhiyuan Liu, Yaorui Shi, An Zhang, Enzhi Zhang, Kenji Kawaguchi, Xiang Wang, Tat-Seng Chua
• Abstract要約: マスク付きグラフモデリングは、分子グラフの自己教師付き表現学習において優れている。 サブグラフレベルのトークン化器とremaskデコーディングを備えた十分表現力のあるデコーダがエンコーダの表現学習に大きな影響を与えることを示す。 我々は,単純なGNNベースのTokenizer(SGT)と効果的な復号化戦略を備えた,新しいMGM手法SimSGTを提案する。
• 参考スコア（独自算出の注目度）: 81.05116895430375
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Masked graph modeling excels in the self-supervised representation learning of molecular graphs. Scrutinizing previous studies, we can reveal a common scheme consisting of three key components: (1) graph tokenizer, which breaks a molecular graph into smaller fragments (i.e., subgraphs) and converts them into tokens; (2) graph masking, which corrupts the graph with masks; (3) graph autoencoder, which first applies an encoder on the masked graph to generate the representations, and then employs a decoder on the representations to recover the tokens of the original graph. However, the previous MGM studies focus extensively on graph masking and encoder, while there is limited understanding of tokenizer and decoder. To bridge the gap, we first summarize popular molecule tokenizers at the granularity of node, edge, motif, and Graph Neural Networks (GNNs), and then examine their roles as the MGM's reconstruction targets. Further, we explore the potential of adopting an expressive decoder in MGM. Our results show that a subgraph-level tokenizer and a sufficiently expressive decoder with remask decoding have a large impact on the encoder's representation learning. Finally, we propose a novel MGM method SimSGT, featuring a Simple GNN-based Tokenizer (SGT) and an effective decoding strategy. We empirically validate that our method outperforms the existing molecule self-supervised learning methods. Our codes and checkpoints are available at https://github.com/syr-cn/SimSGT.
• Abstract（参考訳）: マスクグラフモデリングは、分子グラフの自己教師あり表現学習において優れている。 従来の研究では,(1) 分子グラフを小さな断片(サブグラフ)に分解してトークンに変換するグラフトークンライザ,(2) マスクでグラフを破損させるグラフマスキング,(3) マスクグラフにエンコーダを塗布して表現を生成するグラフオートエンコーダ, そして, その表現にデコーダを用いて, 元のグラフのトークンを復元する。 しかし、以前のmgmの研究はグラフマスキングとエンコーダに焦点を当てているが、トークン化とデコーダの理解は限られている。 このギャップを埋めるために、我々はまず、ノード、エッジ、モチーフ、グラフニューラルネットワーク(GNN)の粒度で一般的な分子トークン化装置を要約し、その役割をMGMの再構築ターゲットとして検討した。 さらに,MGMに表現型デコーダを採用する可能性についても検討する。 この結果から, サブグラフレベルのトークン化器とremask復号化デコーダがエンコーダの表現学習に大きな影響を与えることがわかった。 最後に,単純なGNNベースのTokenizer(SGT)と効果的な復号化戦略を備えた,新しいMGM手法SimSGTを提案する。 本手法が既存の分子自己教師学習法より優れていることを実証的に検証した。 私たちのコードとチェックポイントはhttps://github.com/syr-cn/simsgtで利用可能です。

関連論文リスト

• GiGaMAE: Generalizable Graph Masked Autoencoder via Collaborative Latent Space Reconstruction [76.35904458027694]
  マスク付きオートエンコーダモデルは、グラフデータに対する優れた一般化能力に欠ける。 本稿では,GiGaMAEと呼ばれる新しいグラフマスマスキングオートエンコーダフレームワークを提案する。 私たちの結果は、グラフ構造化データに基づく基礎モデルの設計に光を当てます。
  論文  参考訳（メタデータ） (2023-08-18T16:30:51Z)
• Measuring the Privacy Leakage via Graph Reconstruction Attacks on Simplicial Neural Networks (Student Abstract) [25.053461964775778]
  グラフ再構成攻撃(GRA)により、グラフ表現が逆転してグラフを復元できるかどうかを検討する。 本稿では,グラフデコーダを用いてグラフの隣接行列を表現から復元するGRAを提案する。 SNNの出力は、GRAを守るための最低のプライバシー保護能力を明らかにしている。
  論文  参考訳（メタデータ） (2023-02-08T23:40:24Z)
• What's Behind the Mask: Understanding Masked Graph Modeling for Graph Autoencoders [32.42097625708298]
  MaskGAEはグラフ構造化データのための自己教師型学習フレームワークである。 MGMは原則化されたプリテキストタスクであり、エッジの一部を隠蔽し、部分的に可視で、マスキングされていないグラフ構造で欠落した部分を再構築しようとする。 我々は,GAEとコントラスト学習の密接な関係を確立し,MGMがGAEの自己教師型学習方式を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2022-05-20T09:45:57Z)
• MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs [55.66953093401889]
  Masked Graph Autoencoder (MGAE) フレームワークは、グラフ構造データの効果的な学習を行う。 自己指導型学習から洞察を得て、私たちはランダムに大量のエッジを隠蔽し、トレーニング中に欠落したエッジを再構築しようとします。
  論文  参考訳（メタデータ） (2022-01-07T16:48:07Z)
• Masked Autoencoders Are Scalable Vision Learners [60.97703494764904]
  Masked Autoencoders (MAE) は、コンピュータビジョンのためのスケーラブルな自己教師型学習システムである。 我々は入力画像のランダムなパッチを隠蔽し、欠落したピクセルを再構成する。 これら2つの設計を結合することで,大規模モデルを効率的かつ効率的にトレーニングすることが可能になります。
  論文  参考訳（メタデータ） (2021-11-11T18:46:40Z)
• Learning Graphon Autoencoders for Generative Graph Modeling [91.32624399902755]
  Graphonは任意のサイズでグラフを生成する非パラメトリックモデルであり、グラフから簡単に誘導できる。 解析可能でスケーラブルなグラフ生成モデルを構築するために,textitgraphon autoencoder という新しいフレームワークを提案する。 線形グルーポン分解モデルはデコーダとして機能し、潜在表現を活用して誘導されたグルーポンを再構成する。
  論文  参考訳（メタデータ） (2021-05-29T08:11:40Z)
• AEGCN: An Autoencoder-Constrained Graph Convolutional Network [5.023274927781062]
  本稿では,オートエンコーダ制約付きグラフ畳み込みネットワークと呼ばれる新しいニューラルネットワークアーキテクチャを提案する。 このモデルのコアはグラフ上で直接動作する畳み込みネットワークであり、隠れた層はオートエンコーダによって制約される。 オートエンコーダの制約を追加することで,グラフ畳み込みネットワークの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-07-03T16:42:55Z)
• Learning to map source code to software vulnerability using code-as-a-graph [67.62847721118142]
  セキュリティの観点からソースコードのニュアンス学習におけるグラフニューラルネットワークの適用性について検討する。 我々は,既存のコード・アズ・フォトや線形シーケンスの符号化手法よりも,脆弱性検出に有効なコード・アズ・グラフの符号化法を示す。
  論文  参考訳（メタデータ） (2020-06-15T16:05:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。