論文の概要: G5: A Universal GRAPH-BERT for Graph-to-Graph Transfer and Apocalypse
Learning
- arxiv url: http://arxiv.org/abs/2006.06183v1
- Date: Thu, 11 Jun 2020 04:19:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 09:09:43.181701
- Title: G5: A Universal GRAPH-BERT for Graph-to-Graph Transfer and Apocalypse
Learning
- Title(参考訳): G5: グラフからグラフへの変換とApocalypse学習のためのユニバーサルな Graph-BERT
- Authors: Jiawei Zhang
- Abstract要約: グラフデータセット間のグラフ表現学習のための普遍的な Graph-BERT のグラフ間転送について検討する。
提案モデルでは, 簡易化のためのG5とも呼ばれる。
- 参考スコア(独自算出の注目度): 10.879701971582502
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The recent GRAPH-BERT model introduces a new approach to learning graph
representations merely based on the attention mechanism. GRAPH-BERT provides an
opportunity for transferring pre-trained models and learned graph
representations across different tasks within the same graph dataset. In this
paper, we will further investigate the graph-to-graph transfer of a universal
GRAPH-BERT for graph representation learning across different graph datasets,
and our proposed model is also referred to as the G5 for simplicity. Many
challenges exist in learning G5 to adapt the distinct input and output
configurations for each graph data source, as well as the information
distributions differences. G5 introduces a pluggable model architecture: (a)
each data source will be pre-processed with a unique input representation
learning component; (b) each output application task will also have a specific
functional component; and (c) all such diverse input and output components will
all be conjuncted with a universal GRAPH-BERT core component via an input size
unification layer and an output representation fusion layer, respectively.
The G5 model removes the last obstacle for cross-graph representation
learning and transfer. For the graph sources with very sparse training data,
the G5 model pre-trained on other graphs can still be utilized for
representation learning with necessary fine-tuning. What's more, the
architecture of G5 also allows us to learn a supervised functional classifier
for data sources without any training data at all. Such a problem is also named
as the Apocalypse Learning task in this paper. Two different label reasoning
strategies, i.e., Cross-Source Classification Consistency Maximization (CCCM)
and Cross-Source Dynamic Routing (CDR), are introduced in this paper to address
the problem.
- Abstract(参考訳): 近年の Graph-BERT モデルでは,注目機構に基づいてのみグラフ表現を学習するアプローチが導入された。
GRAPH-BERTは、トレーニング済みのモデルと学習されたグラフ表現を、同じグラフデータセット内のさまざまなタスク間で転送する機会を提供する。
本稿では、異なるグラフデータセットをまたいだグラフ表現学習のための普遍グラフベルトのグラフからグラフへの転送についてさらに検討し、提案モデルはg5と呼ばれる。
g5の学習には、各グラフデータソースの異なる入力と出力の設定と情報分布の違いを適応させるために多くの課題がある。
G5がプラグイン可能なモデルアーキテクチャを導入
(a)各データソースは、独自の入力表現学習コンポーネントで事前処理される。
b) 各出力アプリケーションタスクには,特定の機能コンポーネントも備える。
(c) 入力サイズ統一層と出力表現融合層を介して、このような多様な入力および出力コンポーネントは、それぞれ普遍的なGRAPH-BERTコアコンポーネントと結合する。
G5モデルは、クロスグラフ表現学習と転送の最後の障害を取り除く。
訓練データが非常に少ないグラフソースの場合、他のグラフで事前訓練されたG5モデルは、必要な微調整で表現学習に利用できる。
さらに、G5のアーキテクチャは、トレーニングデータなしで、データソースの教師付き機能分類器を学習することもできます。
このような問題を黙示録学習課題(apocalypse learning task)と呼ぶ。
本稿では,CCCM(Cross-Source Classification Consistency Maximization)とCDR(Cross-Source Dynamic Routing)の2つの異なるラベル推論手法を紹介する。
関連論文リスト
- OpenGraph: Towards Open Graph Foundation Models [22.929100194849113]
本研究では,多種多様なグラフデータに存在する複雑なトポロジ的パターンを理解するための一般グラフ基盤モデルを構築した。
本稿では,グラフモデルに統一的なグラフトークン化手法を提案する。
また,グローバルなトポロジ的コンテキスト内のノード依存性を効果的にキャプチャするスケーラブルなグラフ変換器を開発した。
論文 参考訳(メタデータ) (2024-03-02T08:05:03Z) - UniGraph: Learning a Cross-Domain Graph Foundation Model From Natural
Language [41.722898353772656]
We present our UniGraph framework, designed to training a graph foundation model can generalizing to unseen graphs and task across various domain。
本稿では,MGM(Masked Graph Modeling)に基づく自己教師型学習目標を持つバックボーンネットワークとして,言語モデル(LM)とグラフニューラルネットワーク(GNN)のケースケードアーキテクチャを提案する。
さまざまなグラフ学習タスクやドメインにわたる包括的な実験は、目に見えないグラフの自己教師付き表現学習、少数ショットのインコンテキスト転送、ゼロショット転送におけるモデルの有効性を実証する。
論文 参考訳(メタデータ) (2024-02-21T09:06:31Z) - When Graph Data Meets Multimodal: A New Paradigm for Graph Understanding
and Reasoning [54.84870836443311]
本稿では,画像エンコーディングとマルチモーダル技術を統合することで,グラフデータの理解と推論を行う新しいパラダイムを提案する。
このアプローチは, GPT-4Vの高度な機能を利用して, 命令応答形式によるグラフデータの理解を可能にする。
研究は、このパラダイムを様々なグラフタイプで評価し、特に中国のOCRパフォーマンスと複雑な推論タスクにおいて、モデルの強みと弱みを強調した。
論文 参考訳(メタデータ) (2023-12-16T08:14:11Z) - GraphGLOW: Universal and Generalizable Structure Learning for Graph
Neural Networks [72.01829954658889]
本稿では,この新たな問題設定の数学的定義を紹介する。
一つのグラフ共有構造学習者と複数のグラフ固有GNNを協調する一般的なフレームワークを考案する。
十分に訓練された構造学習者は、微調整なしで、目に見えない対象グラフの適応的な構造を直接生成することができる。
論文 参考訳(メタデータ) (2023-06-20T03:33:22Z) - There is more to graphs than meets the eye: Learning universal features
with self-supervision [1.399617112958673]
本稿では,複数のグラフにまたがる普遍的特徴学習の問題について,自己スーパービジョンを用いて検討する。
複数のグラフに対する普遍的な表現学習モジュールとして機能するトランスフォーマーバックボーンを採用する。
実験の結果,同じタイプの複数のグラフ – 引用ネットワーク – を活用することで,表現の質が向上することがわかった。
論文 参考訳(メタデータ) (2023-05-31T14:08:48Z) - A Robust and Generalized Framework for Adversarial Graph Embedding [73.37228022428663]
本稿では,AGE という逆グラフ埋め込みのための頑健なフレームワークを提案する。
AGEは、暗黙の分布から強化された負のサンプルとして偽の隣接ノードを生成する。
本フレームワークでは,3種類のグラフデータを扱う3つのモデルを提案する。
論文 参考訳(メタデータ) (2021-05-22T07:05:48Z) - Graph Contrastive Learning with Augmentations [109.23158429991298]
グラフデータの教師なし表現を学習するためのグラフコントラスト学習(GraphCL)フレームワークを提案する。
我々のフレームワークは、最先端の手法と比較して、類似またはより良い一般化可能性、転送可能性、堅牢性のグラフ表現を作成できることを示す。
論文 参考訳(メタデータ) (2020-10-22T20:13:43Z) - Multilevel Graph Matching Networks for Deep Graph Similarity Learning [79.3213351477689]
グラフ構造オブジェクト間のグラフ類似性を計算するためのマルチレベルグラフマッチングネットワーク(MGMN)フレームワークを提案する。
標準ベンチマークデータセットの欠如を補うため、グラフグラフ分類とグラフグラフ回帰タスクの両方のためのデータセットセットを作成し、収集した。
総合的な実験により、MGMNはグラフグラフ分類とグラフグラフ回帰タスクの両方において、最先端のベースラインモデルより一貫して優れていることが示された。
論文 参考訳(メタデータ) (2020-07-08T19:48:19Z) - GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。
自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。
3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
論文 参考訳(メタデータ) (2020-06-17T16:18:35Z) - Graph-Aware Transformer: Is Attention All Graphs Need? [5.240000443825077]
GRaph-Aware Transformer (GRAT)はTransformerベースの最初のモデルであり、グラフ全体をエンドツーエンドでエンコードしデコードすることができる。
GRATはQM9ベンチマークで4つの回帰タスクに対する最先端のパフォーマンスを含む非常に有望な結果を示している。
論文 参考訳(メタデータ) (2020-06-09T12:13:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。