論文の概要: Range-aware Positional Encoding via High-order Pretraining: Theory and Practice

• arxiv url: http://arxiv.org/abs/2409.19117v1
• Date: Fri, 27 Sep 2024 19:53:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 04:21:02.589708
• Title: Range-aware Positional Encoding via High-order Pretraining: Theory and Practice
• Title（参考訳）: 高次事前訓練による距離認識位置符号化:理論と実践
• Authors: Viet Anh Nguyen, Nhat Khang Ngo, Truong Son Hy,
• Abstract要約: 大量のグラフデータに対する教師なし事前トレーニングは、ラベル付きデータが制限された実世界のアプリケーションでは不可欠である。 本稿では,多解像度構造情報をモデル化することに焦点を当てたグラフの事前学習戦略を提案する。 このアプローチはグラフ構造にのみ依存するが、ドメインに依存しず、さまざまなドメインのデータセットに適応可能である。
• 参考スコア（独自算出の注目度）: 14.521929085104441
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unsupervised pre-training on vast amounts of graph data is critical in real-world applications wherein labeled data is limited, such as molecule properties prediction or materials science. Existing approaches pre-train models for specific graph domains, neglecting the inherent connections within networks. This limits their ability to transfer knowledge to various supervised tasks. In this work, we propose a novel pre-training strategy on graphs that focuses on modeling their multi-resolution structural information, allowing us to capture global information of the whole graph while preserving local structures around its nodes. We extend the work of Wave}let Positional Encoding (WavePE) from (Ngo et al., 2023) by pretraining a High-Order Permutation-Equivariant Autoencoder (HOPE-WavePE) to reconstruct node connectivities from their multi-resolution wavelet signals. Unlike existing positional encodings, our method is designed to become sensitivity to the input graph size in downstream tasks, which efficiently capture global structure on graphs. Since our approach relies solely on the graph structure, it is also domain-agnostic and adaptable to datasets from various domains, therefore paving the wave for developing general graph structure encoders and graph foundation models. We theoretically demonstrate that there exists a parametrization of such architecture that it can predict the output adjacency up to arbitrarily low error. We also evaluate HOPE-WavePE on graph-level prediction tasks of different areas and show its superiority compared to other methods.
• Abstract（参考訳）: 大量のグラフデータに対する教師なし事前学習は、分子特性予測や材料科学のようなラベル付きデータが限定された現実世界の応用において重要である。 既存のアプローチは、特定のグラフドメインのための事前トレーニングモデルであり、ネットワーク内の固有の接続を無視している。 これにより、様々な教師付きタスクに知識を転送する能力が制限される。 本研究では,グラフの局所構造を保存しながら,グラフ全体のグローバルな情報を把握し,そのマルチ解像度構造情報をモデル化することに焦点を当てた,グラフの事前学習戦略を提案する。 我々は、高次置換同変オートエンコーダ(HOPE-WavePE)を事前学習することにより、ウェーブレット位置符号化(WavePE)を(Ngo et al , 2023)から拡張し、その多分解能ウェーブレット信号からノード接続性を再構築する。 既存の位置エンコーディングとは異なり,本手法は下流タスクの入力グラフサイズに敏感になるように設計されており,グラフ上のグローバル構造を効率的に捉えることができる。 提案手法はグラフ構造にのみ依存するため,ドメインに依存しず,さまざまな領域のデータセットに適応可能であるため,汎用グラフ構造エンコーダやグラフ基盤モデルを開発するための波動を織り込むことができる。 理論的には、そのようなアーキテクチャのパラメトリゼーションが存在し、任意の低い誤差まで出力隣接性を予測できることを実証する。 また、異なる領域のグラフレベルの予測タスクに対してHOPE-WavePEを評価し、他の手法と比較してその優位性を示す。

関連論文リスト

• Exploiting the Structure of Two Graphs with Graph Neural Networks [8.354731976915588]
  本稿では,異なるグラフ上に定義された2組の信号が存在するタスクを処理するための,グラフに基づく新しいディープラーニングアーキテクチャを提案する。 複数のグラフからの情報を活用することで、提案されたアーキテクチャは、データ内のさまざまなエンティティ間のより複雑な関係をキャプチャすることができる。
  論文  参考訳（メタデータ） (2024-11-07T19:39:39Z)
• Deep Manifold Graph Auto-Encoder for Attributed Graph Embedding [51.75091298017941]
  本稿では,属性付きグラフデータに対する新しいDeep Manifold (Variational) Graph Auto-Encoder (DMVGAE/DMGAE)を提案する。 提案手法は,最先端のベースラインアルゴリズムを,一般的なデータセット間でのダウンストリームタスクの差を大きく越える。
  論文  参考訳（メタデータ） (2024-01-12T17:57:07Z)
• Graph Positional and Structural Encoder [11.647944336315346]
  グラフエンコーダは、任意のGNNを増大させるために、リッチなPSE表現をキャプチャするように設計されている。 GPSEは複数のPSEに対して効率的な共通潜伏表現を学習し、高い転送性を持つ。 GPSEにより強化されたモデルは、明示的に計算されたPSEを使用するモデルよりも大幅に優れており、少なくとも他のモデルではその性能に匹敵することを示す。
  論文  参考訳（メタデータ） (2023-07-14T01:04:18Z)
• GraphGLOW: Universal and Generalizable Structure Learning for Graph Neural Networks [72.01829954658889]
  本稿では,この新たな問題設定の数学的定義を紹介する。 一つのグラフ共有構造学習者と複数のグラフ固有GNNを協調する一般的なフレームワークを考案する。 十分に訓練された構造学習者は、微調整なしで、目に見えない対象グラフの適応的な構造を直接生成することができる。
  論文  参考訳（メタデータ） (2023-06-20T03:33:22Z)
• MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
  本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。 我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
  論文  参考訳（メタデータ） (2022-08-21T15:12:08Z)
• Template based Graph Neural Network with Optimal Transport Distances [11.56532171513328]
  現在のグラフニューラルネットワーク(GNN)アーキテクチャは、2つの重要なコンポーネントに依存している。 本稿では,学習可能なグラフテンプレートとの距離をグラフ表現のコアに配置する新しい視点を提案する。 この距離埋め込みは、Fused Gromov-Wasserstein (FGW) 距離という最適な輸送距離によって構築される。
  論文  参考訳（メタデータ） (2022-05-31T12:24:01Z)
• Spectral Graph Convolutional Networks With Lifting-based Adaptive Graph Wavelets [81.63035727821145]
  スペクトルグラフ畳み込みネットワーク(SGCN)はグラフ表現学習において注目を集めている。 本稿では,適応グラフウェーブレットを用いたグラフ畳み込みを実装した新しいスペクトルグラフ畳み込みネットワークを提案する。
  論文  参考訳（メタデータ） (2021-08-03T17:57:53Z)
• Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
  学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。 FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
  論文  参考訳（メタデータ） (2020-10-19T21:51:47Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。