論文の概要: Graph Neural Networks for Natural Language Processing: A Survey
- arxiv url: http://arxiv.org/abs/2106.06090v1
- Date: Thu, 10 Jun 2021 23:59:26 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-15 05:31:15.686236
- Title: Graph Neural Networks for Natural Language Processing: A Survey
- Title(参考訳): 自然言語処理のためのグラフニューラルネットワーク:調査
- Authors: Lingfei Wu, Yu Chen, Kai Shen, Xiaojie Guo, Hanning Gao, Shucheng Li,
Jian Pei, Bo Long
- Abstract要約: 本稿では,自然言語処理のためのグラフニューラルネットワーク(GNN)について概観する。
我々は,グラフ構築,グラフ表現学習,グラフベースエンコーダ・デコーダモデルという3つの軸に沿って,NLP用GNNの既存の研究を組織する,NLP用GNNの新しい分類法を提案する。
- 参考スコア(独自算出の注目度): 64.36633422999905
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning has become the dominant approach in coping with various tasks
in Natural LanguageProcessing (NLP). Although text inputs are typically
represented as a sequence of tokens, there isa rich variety of NLP problems
that can be best expressed with a graph structure. As a result, thereis a surge
of interests in developing new deep learning techniques on graphs for a large
numberof NLP tasks. In this survey, we present a comprehensive overview onGraph
Neural Networks(GNNs) for Natural Language Processing. We propose a new
taxonomy of GNNs for NLP, whichsystematically organizes existing research of
GNNs for NLP along three axes: graph construction,graph representation
learning, and graph based encoder-decoder models. We further introducea large
number of NLP applications that are exploiting the power of GNNs and summarize
thecorresponding benchmark datasets, evaluation metrics, and open-source codes.
Finally, we discussvarious outstanding challenges for making the full use of
GNNs for NLP as well as future researchdirections. To the best of our
knowledge, this is the first comprehensive overview of Graph NeuralNetworks for
Natural Language Processing.
- Abstract(参考訳): 自然言語処理(NLP)における様々な課題に対処する上で,ディープラーニングが主流となっている。
テキスト入力は典型的にはトークンの列として表現されるが、グラフ構造で最もよく表現できる多種多様なNLP問題が存在する。
その結果,多くのNLPタスクに対するグラフ上での新しいディープラーニング技術開発への関心が高まっている。
本稿では,自然言語処理のためのグラフニューラルネットワーク(GNN)の概要を紹介する。
グラフ構築,グラフ表現学習,グラフベースエンコーダ・デコーダモデルという3つの軸に沿って,NLP用GNNの既存の研究を体系的に整理した。
さらに,gnnのパワーを活用した多数のnlpアプリケーションを紹介し,ベンチマークデータセット,評価メトリクス,オープンソースコードを要約する。
最後に,NLPにGNNをフル活用する上での課題と今後の研究方向性について論じる。
我々の知る限りでは、これは自然言語処理のためのグラフニューラルネットの最初の包括的概要である。
関連論文リスト
- Graph Structure Prompt Learning: A Novel Methodology to Improve Performance of Graph Neural Networks [13.655670509818144]
グラフネットワーク(GNN)のトレーニングを強化するための新しいグラフ構造Prompt Learning法(GPL)を提案する。
GPLはタスク非依存のグラフ構造損失を利用して、GNNが下流タスクを同時に解決しながら固有のグラフ特性を学習することを奨励している。
11の実世界のデータセットの実験では、ニューラルネットワークによってトレーニングされた後、GNNはノード分類、グラフ分類、エッジタスクにおいて、元のパフォーマンスを大幅に上回った。
論文 参考訳(メタデータ) (2024-07-16T03:59:18Z) - Graphs Unveiled: Graph Neural Networks and Graph Generation [0.0]
本稿では,グラフニューラルネットワーク(GNN)の概要を紹介する。
様々な領域にわたるグラフニューラルネットワークの適用について論じる。
我々は,グラフ生成という,GNNの先進的な分野を提示する。
論文 参考訳(メタデータ) (2024-03-18T14:37:27Z) - MAG-GNN: Reinforcement Learning Boosted Graph Neural Network [68.60884768323739]
特定の研究の行は、GNNの表現性を向上させるためにサブグラフ情報を使用するサブグラフGNNを提案し、大きな成功を収めた。
このような効果は、すべての可能な部分グラフを列挙することによって、GNNの効率を犠牲にする。
本稿では,強化学習(RL)により強化されたGNNである磁気グラフニューラルネットワーク(MAG-GNN)を提案する。
論文 参考訳(メタデータ) (2023-10-29T20:32:21Z) - Graph Neural Networks Provably Benefit from Structural Information: A
Feature Learning Perspective [53.999128831324576]
グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。
本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
論文 参考訳(メタデータ) (2023-06-24T10:21:11Z) - Graph Neural Networks are Inherently Good Generalizers: Insights by
Bridging GNNs and MLPs [71.93227401463199]
本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。
PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
論文 参考訳(メタデータ) (2022-12-18T08:17:32Z) - Graph-level Neural Networks: Current Progress and Future Directions [61.08696673768116]
グラフレベルのニューラルネットワーク(GLNN、ディープラーニングベースのグラフレベルの学習法)は、高次元データのモデリングにおいて優れているため、魅力的である。
本稿では,深層ニューラルネットワーク,グラフニューラルネットワーク,グラフプール上でのGLNNを網羅する系統分類法を提案する。
論文 参考訳(メタデータ) (2022-05-31T06:16:55Z) - Two-level Graph Neural Network [15.014364222532347]
2レベルGNN(TL-GNN)と呼ばれる新しいGNNフレームワークを提案する。
これは、サブグラフレベル情報とノードレベル情報とをマージする。
実験により、TL-GNNは既存のGNNよりも優れ、最先端のパフォーマンスを達成することが示された。
論文 参考訳(メタデータ) (2022-01-03T02:15:20Z) - Computing Graph Neural Networks: A Survey from Algorithms to
Accelerators [2.491032752533246]
グラフニューラルネットワーク(GNN)は、グラフ構造化データからモデル化および学習する能力のため、近年、機械学習の現場で爆発的に普及している。
本稿では,GNNの分野をコンピュータの観点から概観する。
現在のソフトウェアとハードウェアアクセラレーションスキームの詳細な分析を行う。
論文 参考訳(メタデータ) (2020-09-30T22:29:27Z) - XGNN: Towards Model-Level Explanations of Graph Neural Networks [113.51160387804484]
グラフニューラルネットワーク(GNN)は、隣の情報を集約して組み合わせることでノードの特徴を学習する。
GNNはブラックボックスとして扱われ、人間の知的な説明が欠けている。
我々はモデルレベルでGNNを解釈する新しい手法 XGNN を提案する。
論文 参考訳(メタデータ) (2020-06-03T23:52:43Z) - Graph Sequential Network for Reasoning over Sequences [38.766982479196926]
シーケンスから構築されたグラフよりも推論が必要な場合を考える。
既存のGNNモデルは、まずノード列を固定次元ベクトルに要約し、次にこれらのベクトルにGNNを適用することで、この目標を達成する。
本稿では,グラフシーケンスネットワーク(GSN)と呼ばれる新しいタイプのGNNを提案する。
論文 参考訳(メタデータ) (2020-04-04T19:18:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。