論文の概要: Graph-Aware Language Model Pre-Training on a Large Graph Corpus Can Help Multiple Graph Applications

• arxiv url: http://arxiv.org/abs/2306.02592v1
• Date: Mon, 5 Jun 2023 04:46:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 16:49:11.620667
• Title: Graph-Aware Language Model Pre-Training on a Large Graph Corpus Can Help Multiple Graph Applications
• Title（参考訳）: グラフ対応言語モデルによる大規模グラフコーパスの事前学習は、複数のグラフアプリケーションに役立つ
• Authors: Han Xie, Da Zheng, Jun Ma, Houyu Zhang, Vassilis N. Ioannidis, Xiang Song, Qing Ping, Sheng Wang, Carl Yang, Yi Xu, Belinda Zeng, Trishul Chilimbi
• Abstract要約: 大規模グラフコーパス上で事前学習を行うグラフ対応言語モデルのフレームワークを提案する。 Amazonの実際の内部データセットと大規模な公開データセットに関する実験を行います。
• 参考スコア（独自算出の注目度）: 38.83545631999851
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model pre-training on large text corpora has been demonstrated effective for various downstream applications in the NLP domain. In the graph mining domain, a similar analogy can be drawn for pre-training graph models on large graphs in the hope of benefiting downstream graph applications, which has also been explored by several recent studies. However, no existing study has ever investigated the pre-training of text plus graph models on large heterogeneous graphs with abundant textual information (a.k.a. large graph corpora) and then fine-tuning the model on different related downstream applications with different graph schemas. To address this problem, we propose a framework of graph-aware language model pre-training (GALM) on a large graph corpus, which incorporates large language models and graph neural networks, and a variety of fine-tuning methods on downstream applications. We conduct extensive experiments on Amazon's real internal datasets and large public datasets. Comprehensive empirical results and in-depth analysis demonstrate the effectiveness of our proposed methods along with lessons learned.
• Abstract（参考訳）: 大規模テキストコーパスでのモデル事前学習は、nlpドメインの様々な下流アプリケーションに対して有効であることが示されている。 グラフマイニングの領域では、ダウンストリームグラフアプリケーションへのメリットを期待して、大規模なグラフ上で事前学習するグラフモデルにも、同様のアナロジーを描画することができる。 しかし、既存の研究では、豊富なテキスト情報(例えば、大きなグラフコーパス)を持つ大きな不均一グラフ上のテキストプラスグラフモデルの事前学習を研究せず、異なるグラフスキーマを持つ異なる下流アプリケーション上でモデルを微調整している。 そこで本研究では,大規模言語モデルとグラフニューラルネットワークを組み込んだ大規模グラフコーパス上でのグラフ認識型言語モデル事前学習(galm)の枠組みと,下流アプリケーションにおける様々な微調整手法を提案する。 Amazonの実際の内部データセットと大規模な公開データセットに関する広範な実験を行っています。 実験結果の包括的分析と詳細な分析により,提案手法の有効性が実証された。

関連論文リスト

• Parametric Graph Representations in the Era of Foundation Models: A Survey and Position [69.48708136448694]
  グラフは、包括的なリレーショナルデータをモデル化するために、過去数十年間、ビッグデータとAIで広く使われてきた。 有意義なグラフ法則の同定は、様々な応用の有効性を著しく向上させることができる。
  論文  参考訳（メタデータ） (2024-10-16T00:01:31Z)
• Does Graph Prompt Work? A Data Operation Perspective with Theoretical Analysis [7.309233340654514]
  本稿では,データ操作の観点からグラフのプロンプトを厳密に解析する理論的枠組みを提案する。 グラフ変換演算子に近似する能力を示す形式的保証定理を提供する。 グラフプロンプトによってこれらのデータ操作の誤差の上限を導出し、この議論をグラフのバッチに拡張する。
  論文  参考訳（メタデータ） (2024-10-02T15:07:13Z)
• Narrating Causal Graphs with Large Language Models [1.437446768735628]
  本研究では、因果グラフからテキストを生成するための、大規模事前学習言語モデルの能力について検討する。 これらのグラフにエンコードされた因果推論は、医療やマーケティングのような多様なアプリケーションをサポートすることができる。 結果として、生成AIのユーザは、いくつかの例だけでモデルをトレーニングするときに、同様のパフォーマンスが得られるため、将来のアプリケーションをより早くデプロイできる可能性が示唆されている。
  論文  参考訳（メタデータ） (2024-03-11T19:19:59Z)
• Neural Scaling Laws on Graphs [54.435688297561015]
  モデルおよびデータの観点から,グラフ上のニューラルスケーリング法則について検討する。 モデルスケーリングでは,スケール法が崩壊する現象を調査し,オーバーフィッティングを潜在的な理由として同定する。 データスケーリングについては、グラフのサイズが極めて不規則であるため、スケーリング法則においてグラフデータのボリュームを効果的に測定することはできないことを示唆する。
  論文  参考訳（メタデータ） (2024-02-03T06:17:21Z)
• Connecting the Dots: What Graph-Based Text Representations Work Best for Text Classification Using Graph Neural Networks? [25.898812694174772]
  本研究は,テキスト分類のためのグラフ表現手法を幅広く研究する。 各種GNNアーキテクチャとセットアップを用いて,グラフ構築方式を比較した。 2つのTransformerベースの大規模言語モデルもこの研究を補完するために含まれている。
  論文  参考訳（メタデータ） (2023-05-23T23:31:24Z)
• Graph Learning and Its Advancements on Large Language Models: A Holistic Survey [37.01696685233113]
  この調査は、グラフ学習と事前訓練された言語モデルの統合における最新の進歩に焦点を当てる。 グラフ構造の観点から現在の研究を解析し、グラフ学習における最新の応用、トレンド、課題について論じる。
  論文  参考訳（メタデータ） (2022-12-17T22:05:07Z)
• Similarity-aware Positive Instance Sampling for Graph Contrastive Pre-training [82.68805025636165]
  トレーニングセット内の既存グラフから直接正のグラフインスタンスを選択することを提案する。 私たちの選択は、特定のドメイン固有のペアワイズ類似度測定に基づいています。 さらに,ノードを動的にマスキングしてグラフ上に均等に分配する適応ノードレベルの事前学習手法を開発した。
  論文  参考訳（メタデータ） (2022-06-23T20:12:51Z)
• Data Augmentation for Deep Graph Learning: A Survey [66.04015540536027]
  まず,グラフデータ拡張のための分類法を提案し,その拡張情報モダリティに基づいて関連研究を分類し,構造化されたレビューを提供する。 DGLにおける2つの課題(すなわち、最適グラフ学習と低リソースグラフ学習)に焦点を当て、グラフデータ拡張に基づく既存の学習パラダイムについて議論し、レビューする。
  論文  参考訳（メタデータ） (2022-02-16T18:30:33Z)
• GraphMI: Extracting Private Graph Data from Graph Neural Networks [59.05178231559796]
  GNNを反転させてトレーニンググラフのプライベートグラフデータを抽出することを目的とした textbfGraph textbfModel textbfInversion attack (GraphMI) を提案する。 具体的には,グラフ特徴の空間性と滑らかさを保ちながら,グラフエッジの離散性に対処する勾配モジュールを提案する。 エッジ推論のためのグラフトポロジ、ノード属性、ターゲットモデルパラメータを効率的に活用するグラフ自動エンコーダモジュールを設計する。
  論文  参考訳（メタデータ） (2021-06-05T07:07:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。