論文の概要: G5: A Universal GRAPH-BERT for Graph-to-Graph Transfer and Apocalypse
Learning
- arxiv url: http://arxiv.org/abs/2006.06183v1
- Date: Thu, 11 Jun 2020 04:19:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 09:09:43.181701
- Title: G5: A Universal GRAPH-BERT for Graph-to-Graph Transfer and Apocalypse
Learning
- Title（参考訳）: G5: グラフからグラフへの変換とApocalypse学習のためのユニバーサルな Graph-BERT
- Authors: Jiawei Zhang
- Abstract要約: グラフデータセット間のグラフ表現学習のための普遍的な Graph-BERT のグラフ間転送について検討する。
提案モデルでは, 簡易化のためのG5とも呼ばれる。
- 参考スコア（独自算出の注目度）: 10.879701971582502
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The recent GRAPH-BERT model introduces a new approach to learning graph
representations merely based on the attention mechanism. GRAPH-BERT provides an
opportunity for transferring pre-trained models and learned graph
representations across different tasks within the same graph dataset. In this
paper, we will further investigate the graph-to-graph transfer of a universal
GRAPH-BERT for graph representation learning across different graph datasets,
and our proposed model is also referred to as the G5 for simplicity. Many
challenges exist in learning G5 to adapt the distinct input and output
configurations for each graph data source, as well as the information
distributions differences. G5 introduces a pluggable model architecture: (a)
each data source will be pre-processed with a unique input representation
learning component; (b) each output application task will also have a specific
functional component; and (c) all such diverse input and output components will
all be conjuncted with a universal GRAPH-BERT core component via an input size
unification layer and an output representation fusion layer, respectively.
The G5 model removes the last obstacle for cross-graph representation
learning and transfer. For the graph sources with very sparse training data,
the G5 model pre-trained on other graphs can still be utilized for
representation learning with necessary fine-tuning. What's more, the
architecture of G5 also allows us to learn a supervised functional classifier
for data sources without any training data at all. Such a problem is also named
as the Apocalypse Learning task in this paper. Two different label reasoning
strategies, i.e., Cross-Source Classification Consistency Maximization (CCCM)
and Cross-Source Dynamic Routing (CDR), are introduced in this paper to address
the problem.
- Abstract（参考訳）: 近年の Graph-BERT モデルでは,注目機構に基づいてのみグラフ表現を学習するアプローチが導入された。
GRAPH-BERTは、トレーニング済みのモデルと学習されたグラフ表現を、同じグラフデータセット内のさまざまなタスク間で転送する機会を提供する。
本稿では、異なるグラフデータセットをまたいだグラフ表現学習のための普遍グラフベルトのグラフからグラフへの転送についてさらに検討し、提案モデルはg5と呼ばれる。
g5の学習には、各グラフデータソースの異なる入力と出力の設定と情報分布の違いを適応させるために多くの課題がある。
G5がプラグイン可能なモデルアーキテクチャを導入
(a)各データソースは、独自の入力表現学習コンポーネントで事前処理される。
b) 各出力アプリケーションタスクには,特定の機能コンポーネントも備える。
(c) 入力サイズ統一層と出力表現融合層を介して、このような多様な入力および出力コンポーネントは、それぞれ普遍的なGRAPH-BERTコアコンポーネントと結合する。
G5モデルは、クロスグラフ表現学習と転送の最後の障害を取り除く。
訓練データが非常に少ないグラフソースの場合、他のグラフで事前訓練されたG5モデルは、必要な微調整で表現学習に利用できる。
さらに、G5のアーキテクチャは、トレーニングデータなしで、データソースの教師付き機能分類器を学習することもできます。
このような問題を黙示録学習課題(apocalypse learning task)と呼ぶ。
本稿では,CCCM(Cross-Source Classification Consistency Maximization)とCDR(Cross-Source Dynamic Routing)の2つの異なるラベル推論手法を紹介する。
関連論文リスト
- RAGraph: A General Retrieval-Augmented Graph Learning Framework [35.25522856244149]
我々は、RAGraph(General Retrieval-Augmented Graph Learning)と呼ばれる新しいフレームワークを紹介する。
RAGraphは、一般的なグラフ基盤モデルに外部グラフデータを導入し、目に見えないシナリオにおけるモデルの一般化を改善する。
推論中、RAGraphは下流タスクにおける重要な類似性に基づいて、似たようなおもちゃのグラフを順応的に検索する。
論文 参考訳（メタデータ） (2024-10-31T12:05:21Z) - AnyGraph: Graph Foundation Model in the Wild [16.313146933922752]
グラフ基盤モデルは、グラフデータから堅牢で一般化可能な表現を学ぶ可能性を提供します。
本研究では,主要な課題に対処するために設計された統一グラフモデルであるAnyGraphについて検討する。
多様な38のグラフデータセットに対する実験は、AnyGraphの強力なゼロショット学習性能を実証した。
論文 参考訳（メタデータ） (2024-08-20T09:57:13Z) - Large Generative Graph Models [74.58859158271169]
大規模グラフ生成モデル(LGGM)と呼ばれる新しいグラフ生成モデルを提案する。
事前訓練されたLGGMは、既存のグラフ生成モデルよりもゼロショット生成能力が優れている。
LGGMは、ターゲットドメインからのグラフで簡単に微調整でき、スクラッチから直接トレーニングされたグラフよりも、さらに優れたパフォーマンスを示すことができる。
論文 参考訳（メタデータ） (2024-06-07T17:41:47Z) - UniGraph: Learning a Unified Cross-Domain Foundation Model for Text-Attributed Graphs [30.635472655668078]
Text-Attributed Graphs (TAG) は、さまざまなドメインにまたがる見えないグラフやタスクに一般化することができる。
本稿では,言語モデル (LM) とグラフニューラルネットワーク (GNN) をバックボーンネットワークとして,新しいケースドアーキテクチャを提案する。
本モデルの有効性を,未確認グラフの自己教師型表現学習,少数ショットインコンテキスト転送,ゼロショット転送で実証する。
論文 参考訳（メタデータ） (2024-02-21T09:06:31Z) - When Graph Data Meets Multimodal: A New Paradigm for Graph Understanding
and Reasoning [54.84870836443311]
本稿では,画像エンコーディングとマルチモーダル技術を統合することで,グラフデータの理解と推論を行う新しいパラダイムを提案する。
このアプローチは, GPT-4Vの高度な機能を利用して, 命令応答形式によるグラフデータの理解を可能にする。
研究は、このパラダイムを様々なグラフタイプで評価し、特に中国のOCRパフォーマンスと複雑な推論タスクにおいて、モデルの強みと弱みを強調した。
論文 参考訳（メタデータ） (2023-12-16T08:14:11Z) - GraphGLOW: Universal and Generalizable Structure Learning for Graph
Neural Networks [72.01829954658889]
本稿では,この新たな問題設定の数学的定義を紹介する。
一つのグラフ共有構造学習者と複数のグラフ固有GNNを協調する一般的なフレームワークを考案する。
十分に訓練された構造学習者は、微調整なしで、目に見えない対象グラフの適応的な構造を直接生成することができる。
論文 参考訳（メタデータ） (2023-06-20T03:33:22Z) - A Robust and Generalized Framework for Adversarial Graph Embedding [73.37228022428663]
本稿では,AGE という逆グラフ埋め込みのための頑健なフレームワークを提案する。
AGEは、暗黙の分布から強化された負のサンプルとして偽の隣接ノードを生成する。
本フレームワークでは,3種類のグラフデータを扱う3つのモデルを提案する。
論文 参考訳（メタデータ） (2021-05-22T07:05:48Z) - Graph Contrastive Learning with Augmentations [109.23158429991298]
グラフデータの教師なし表現を学習するためのグラフコントラスト学習(GraphCL)フレームワークを提案する。
我々のフレームワークは、最先端の手法と比較して、類似またはより良い一般化可能性、転送可能性、堅牢性のグラフ表現を作成できることを示す。
論文 参考訳（メタデータ） (2020-10-22T20:13:43Z) - GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。
自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。
3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-06-17T16:18:35Z) - Graph-Aware Transformer: Is Attention All Graphs Need? [5.240000443825077]
GRaph-Aware Transformer (GRAT)はTransformerベースの最初のモデルであり、グラフ全体をエンドツーエンドでエンコードしデコードすることができる。
GRATはQM9ベンチマークで4つの回帰タスクに対する最先端のパフォーマンスを含む非常に有望な結果を示している。
論文 参考訳（メタデータ） (2020-06-09T12:13:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。