論文の概要: Graph-Aware Language Model Pre-Training on a Large Graph Corpus Can Help
Multiple Graph Applications
- arxiv url: http://arxiv.org/abs/2306.02592v1
- Date: Mon, 5 Jun 2023 04:46:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-06 16:49:11.620667
- Title: Graph-Aware Language Model Pre-Training on a Large Graph Corpus Can Help
Multiple Graph Applications
- Title(参考訳): グラフ対応言語モデルによる大規模グラフコーパスの事前学習は、複数のグラフアプリケーションに役立つ
- Authors: Han Xie, Da Zheng, Jun Ma, Houyu Zhang, Vassilis N. Ioannidis, Xiang
Song, Qing Ping, Sheng Wang, Carl Yang, Yi Xu, Belinda Zeng, Trishul Chilimbi
- Abstract要約: 大規模グラフコーパス上で事前学習を行うグラフ対応言語モデルのフレームワークを提案する。
Amazonの実際の内部データセットと大規模な公開データセットに関する実験を行います。
- 参考スコア(独自算出の注目度): 38.83545631999851
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Model pre-training on large text corpora has been demonstrated effective for
various downstream applications in the NLP domain. In the graph mining domain,
a similar analogy can be drawn for pre-training graph models on large graphs in
the hope of benefiting downstream graph applications, which has also been
explored by several recent studies. However, no existing study has ever
investigated the pre-training of text plus graph models on large heterogeneous
graphs with abundant textual information (a.k.a. large graph corpora) and then
fine-tuning the model on different related downstream applications with
different graph schemas. To address this problem, we propose a framework of
graph-aware language model pre-training (GALM) on a large graph corpus, which
incorporates large language models and graph neural networks, and a variety of
fine-tuning methods on downstream applications. We conduct extensive
experiments on Amazon's real internal datasets and large public datasets.
Comprehensive empirical results and in-depth analysis demonstrate the
effectiveness of our proposed methods along with lessons learned.
- Abstract(参考訳): 大規模テキストコーパスでのモデル事前学習は、nlpドメインの様々な下流アプリケーションに対して有効であることが示されている。
グラフマイニングの領域では、ダウンストリームグラフアプリケーションへのメリットを期待して、大規模なグラフ上で事前学習するグラフモデルにも、同様のアナロジーを描画することができる。
しかし、既存の研究では、豊富なテキスト情報(例えば、大きなグラフコーパス)を持つ大きな不均一グラフ上のテキストプラスグラフモデルの事前学習を研究せず、異なるグラフスキーマを持つ異なる下流アプリケーション上でモデルを微調整している。
そこで本研究では,大規模言語モデルとグラフニューラルネットワークを組み込んだ大規模グラフコーパス上でのグラフ認識型言語モデル事前学習(galm)の枠組みと,下流アプリケーションにおける様々な微調整手法を提案する。
Amazonの実際の内部データセットと大規模な公開データセットに関する広範な実験を行っています。
実験結果の包括的分析と詳細な分析により,提案手法の有効性が実証された。
関連論文リスト
- Narrating Causal Graphs with Large Language Models [1.437446768735628]
本研究では、因果グラフからテキストを生成するための、大規模事前学習言語モデルの能力について検討する。
これらのグラフにエンコードされた因果推論は、医療やマーケティングのような多様なアプリケーションをサポートすることができる。
結果として、生成AIのユーザは、いくつかの例だけでモデルをトレーニングするときに、同様のパフォーマンスが得られるため、将来のアプリケーションをより早くデプロイできる可能性が示唆されている。
論文 参考訳(メタデータ) (2024-03-11T19:19:59Z) - OpenGraph: Towards Open Graph Foundation Models [22.929100194849113]
本研究では,多種多様なグラフデータに存在する複雑なトポロジ的パターンを理解するための一般グラフ基盤モデルを構築した。
本稿では,グラフモデルに統一的なグラフトークン化手法を提案する。
また,グローバルなトポロジ的コンテキスト内のノード依存性を効果的にキャプチャするスケーラブルなグラフ変換器を開発した。
論文 参考訳(メタデータ) (2024-03-02T08:05:03Z) - Neural Scaling Laws on Graphs [57.680916564549975]
モデルおよびデータの観点から,グラフ上のニューラルスケーリング法則について検討する。
モデルスケーリングでは,スケール法が崩壊する現象を調査し,オーバーフィッティングを潜在的な理由として同定する。
データスケーリングについては、グラフのサイズが極めて不規則であるため、スケーリング法則においてグラフデータのボリュームを効果的に測定することはできないことを示唆する。
論文 参考訳(メタデータ) (2024-02-03T06:17:21Z) - Connecting the Dots: What Graph-Based Text Representations Work Best for
Text Classification Using Graph Neural Networks? [25.898812694174772]
本研究は,テキスト分類のためのグラフ表現手法を幅広く研究する。
各種GNNアーキテクチャとセットアップを用いて,グラフ構築方式を比較した。
2つのTransformerベースの大規模言語モデルもこの研究を補完するために含まれている。
論文 参考訳(メタデータ) (2023-05-23T23:31:24Z) - Connector 0.5: A unified framework for graph representation learning [5.398580049917152]
本稿では,浅層から最先端まで,様々なグラフ埋め込みモデルをカバーする新しいグラフ表現フレームワークを提案する。
我々は,グラフの構造的関係を表現するためのディープグラフ埋め込みモデルを提供する,効率的なオープンソースフレームワークを構築する計画である。
論文 参考訳(メタデータ) (2023-04-25T23:28:38Z) - Graph Learning and Its Advancements on Large Language Models: A Holistic
Survey [36.29355162928116]
この調査は、グラフ学習と事前訓練された言語モデルの統合における最新の進歩に焦点を当てる。
グラフ構造の観点から現在の研究を解析し、グラフ学習における最新の応用、トレンド、課題について論じる。
論文 参考訳(メタデータ) (2022-12-17T22:05:07Z) - Similarity-aware Positive Instance Sampling for Graph Contrastive
Pre-training [82.68805025636165]
トレーニングセット内の既存グラフから直接正のグラフインスタンスを選択することを提案する。
私たちの選択は、特定のドメイン固有のペアワイズ類似度測定に基づいています。
さらに,ノードを動的にマスキングしてグラフ上に均等に分配する適応ノードレベルの事前学習手法を開発した。
論文 参考訳(メタデータ) (2022-06-23T20:12:51Z) - Data Augmentation for Deep Graph Learning: A Survey [66.04015540536027]
まず,グラフデータ拡張のための分類法を提案し,その拡張情報モダリティに基づいて関連研究を分類し,構造化されたレビューを提供する。
DGLにおける2つの課題(すなわち、最適グラフ学習と低リソースグラフ学習)に焦点を当て、グラフデータ拡張に基づく既存の学習パラダイムについて議論し、レビューする。
論文 参考訳(メタデータ) (2022-02-16T18:30:33Z) - GraphMI: Extracting Private Graph Data from Graph Neural Networks [59.05178231559796]
GNNを反転させてトレーニンググラフのプライベートグラフデータを抽出することを目的とした textbfGraph textbfModel textbfInversion attack (GraphMI) を提案する。
具体的には,グラフ特徴の空間性と滑らかさを保ちながら,グラフエッジの離散性に対処する勾配モジュールを提案する。
エッジ推論のためのグラフトポロジ、ノード属性、ターゲットモデルパラメータを効率的に活用するグラフ自動エンコーダモジュールを設計する。
論文 参考訳(メタデータ) (2021-06-05T07:07:52Z) - Deep Learning for Learning Graph Representations [58.649784596090385]
グラフデータのマイニングはコンピュータ科学においてポピュラーな研究トピックとなっている。
ネットワークデータの膨大な量は、効率的な分析に大きな課題をもたらしている。
これはグラフ表現の出現を動機付け、グラフを低次元ベクトル空間にマッピングする。
論文 参考訳(メタデータ) (2020-01-02T02:13:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。