論文の概要: GRENADE: Graph-Centric Language Model for Self-Supervised Representation
Learning on Text-Attributed Graphs
- arxiv url: http://arxiv.org/abs/2310.15109v1
- Date: Mon, 23 Oct 2023 17:18:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 18:24:21.948575
- Title: GRENADE: Graph-Centric Language Model for Self-Supervised Representation
Learning on Text-Attributed Graphs
- Title(参考訳): GRENADE:テキスト分散グラフを用いた自己教師付き表現学習のためのグラフ中心言語モデル
- Authors: Yichuan Li and Kaize Ding and Kyumin Lee
- Abstract要約: テキスト分散グラフ上での自己教師型表現学習の問題を解決するために,新しいグラフ中心言語モデルGRENADEを開発した。
GRENADEは、事前訓練された言語モデルとグラフニューラルネットワークの両方の相乗効果を利用して、2つの専門的な自己教師付き学習アルゴリズムを最適化する。
提案したグラフ中心の自己教師型学習アルゴリズムは、GRENADEが情報的テキスト意味論だけでなく、テキスト対応グラフの構造的コンテキスト情報を取得するのに有効である。
- 参考スコア(独自算出の注目度): 22.282756544376493
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised representation learning on text-attributed graphs, which aims
to create expressive and generalizable representations for various downstream
tasks, has received increasing research attention lately. However, existing
methods either struggle to capture the full extent of structural context
information or rely on task-specific training labels, which largely hampers
their effectiveness and generalizability in practice. To solve the problem of
self-supervised representation learning on text-attributed graphs, we develop a
novel Graph-Centric Language model -- GRENADE. Specifically, GRENADE exploits
the synergistic effect of both pre-trained language model and graph neural
network by optimizing with two specialized self-supervised learning algorithms:
graph-centric contrastive learning and graph-centric knowledge alignment. The
proposed graph-centric self-supervised learning algorithms effectively help
GRENADE to capture informative textual semantics as well as structural context
information on text-attributed graphs. Through extensive experiments, GRENADE
shows its superiority over state-of-the-art methods. Implementation is
available at \url{https://github.com/bigheiniu/GRENADE}.
- Abstract(参考訳): ダウンストリームタスクで表現可能で一般化された表現を作成することを目的とした,テキスト属性グラフを用いた自己教師付き表現学習が近年,研究の注目を集めている。
しかしながら、既存の手法では、構造的なコンテキスト情報を完全に捉えるのに苦労するか、タスク固有のトレーニングラベルに依存しています。
テキスト分散グラフ上での自己教師型表現学習の課題を解決するため,新しいグラフ中心言語モデルGRENADEを開発した。
具体的には、グラフ中心のコントラスト学習とグラフ中心の知識アライメントという2つの専門的な自己教師あり学習アルゴリズムを最適化することで、事前学習された言語モデルとグラフニューラルネットワークの両方の相乗効果を利用する。
提案したグラフ中心の自己教師型学習アルゴリズムは、GRENADEが情報的テキスト意味論だけでなく、テキスト対応グラフの構造的コンテキスト情報を取得するのに有効である。
大規模な実験を通じて、GRENADEは最先端の手法よりも優れていることを示す。
実装は \url{https://github.com/bigheiniu/grenade} で利用可能である。
関連論文リスト
- When Graph Data Meets Multimodal: A New Paradigm for Graph Understanding
and Reasoning [54.84870836443311]
本稿では,画像エンコーディングとマルチモーダル技術を統合することで,グラフデータの理解と推論を行う新しいパラダイムを提案する。
このアプローチは, GPT-4Vの高度な機能を利用して, 命令応答形式によるグラフデータの理解を可能にする。
研究は、このパラダイムを様々なグラフタイプで評価し、特に中国のOCRパフォーマンスと複雑な推論タスクにおいて、モデルの強みと弱みを強調した。
論文 参考訳(メタデータ) (2023-12-16T08:14:11Z) - GraphGPT: Graph Instruction Tuning for Large Language Models [28.20142151965313]
本稿では,大規模言語モデルとグラフ構造知識を整合させるGraphGPTフレームワークを提案する。
また,ライトウェイトなグラフテキストアライメントプロジェクタを伴って,2段階の命令チューニングパラダイムを提案する。
本フレームワークは,教師付きおよびゼロショットグラフ学習タスクで評価され,より優れた一般化と最先端のベースラインを実現している。
論文 参考訳(メタデータ) (2023-10-19T06:17:46Z) - SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。
まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。
次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文 参考訳(メタデータ) (2023-08-03T07:00:04Z) - Enhancing Dialogue Generation via Dynamic Graph Knowledge Aggregation [23.54754465832362]
従来のグラフニューラルネットワーク(GNN)では、グラフに渡すメッセージはテキストとは独立している。
このトレーニング体制は、グラフ知識とテキストの間に意味的なギャップをもたらす。
知識グラフ強化対話生成のための新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-06-28T13:21:00Z) - State of the Art and Potentialities of Graph-level Learning [54.68482109186052]
グラフレベルの学習は、比較、回帰、分類など、多くのタスクに適用されている。
グラフの集合を学習する伝統的なアプローチは、サブストラクチャのような手作りの特徴に依存している。
ディープラーニングは、機能を自動的に抽出し、グラフを低次元表現に符号化することで、グラフレベルの学習をグラフの規模に適応させるのに役立っている。
論文 参考訳(メタデータ) (2023-01-14T09:15:49Z) - Multi-Level Graph Contrastive Learning [38.022118893733804]
本稿では,グラフの空間ビューを対比することで,グラフデータの堅牢な表現を学習するためのマルチレベルグラフコントラスト学習(MLGCL)フレームワークを提案する。
元のグラフは1次近似構造であり、不確実性や誤りを含むが、符号化機能によって生成された$k$NNグラフは高次近接性を保持する。
MLGCLは、7つのデータセット上の既存の最先端グラフ表現学習法と比較して有望な結果が得られることを示す。
論文 参考訳(メタデータ) (2021-07-06T14:24:43Z) - GraphFormers: GNN-nested Transformers for Representation Learning on
Textual Graph [53.70520466556453]
階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。
提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。
さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
論文 参考訳(メタデータ) (2021-05-06T12:20:41Z) - Sub-graph Contrast for Scalable Self-Supervised Graph Representation
Learning [21.0019144298605]
既存のグラフニューラルネットワークは、計算量やメモリコストが限られているため、完全なグラフデータで供給される。
textscSubg-Conは、中央ノードとそのサンプルサブグラフ間の強い相関を利用して、地域構造情報をキャプチャすることで提案される。
既存のグラフ表現学習アプローチと比較して、textscSubg-Conは、より弱い監視要件、モデル学習のスケーラビリティ、並列化において、顕著なパフォーマンス上のアドバンテージを持っています。
論文 参考訳(メタデータ) (2020-09-22T01:58:19Z) - GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。
自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。
3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
論文 参考訳(メタデータ) (2020-06-17T16:18:35Z) - Exploiting Structured Knowledge in Text via Graph-Guided Representation
Learning [73.0598186896953]
本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。
エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。
既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
論文 参考訳(メタデータ) (2020-04-29T14:22:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。