論文の概要: TextRGNN: Residual Graph Neural Networks for Text Classification
- arxiv url: http://arxiv.org/abs/2112.15060v1
- Date: Thu, 30 Dec 2021 13:48:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-04 01:11:04.182133
- Title: TextRGNN: Residual Graph Neural Networks for Text Classification
- Title(参考訳): TextRGNN: テキスト分類のための残差グラフニューラルネットワーク
- Authors: Jiayuan Chen and Boyu Zhang and Yinfei Xu and Meng Wang
- Abstract要約: TextRGNNは改良されたGNN構造であり、畳み込みネットワークの深さを深くする残差接続を導入している。
我々の構造はより広いノード受容場を得ることができ、ノード特徴の過度な平滑化を効果的に抑制できる。
コーパスレベルであれテキストレベルであれ、分類精度を大幅に向上させ、幅広いテキスト分類データセット上でSOTA性能を達成することができる。
- 参考スコア(独自算出の注目度): 13.912147013558846
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, text classification model based on graph neural network (GNN) has
attracted more and more attention. Most of these models adopt a similar network
paradigm, that is, using pre-training node embedding initialization and
two-layer graph convolution. In this work, we propose TextRGNN, an improved GNN
structure that introduces residual connection to deepen the convolution network
depth. Our structure can obtain a wider node receptive field and effectively
suppress the over-smoothing of node features. In addition, we integrate the
probabilistic language model into the initialization of graph node embedding,
so that the non-graph semantic information of can be better extracted. The
experimental results show that our model is general and efficient. It can
significantly improve the classification accuracy whether in corpus level or
text level, and achieve SOTA performance on a wide range of text classification
datasets.
- Abstract(参考訳): 近年,グラフニューラルネットワーク(GNN)に基づくテキスト分類モデルが注目されている。
これらのモデルの多くは、事前学習ノード埋め込み初期化と2層グラフ畳み込みを用いて、同様のネットワークパラダイムを採用している。
本研究では,畳み込みネットワーク深度を深くする残差接続を導入した改良型GNN構造であるTextRGNNを提案する。
我々の構造はより広いノード受容場を得ることができ、ノード特徴の過度な平滑化を効果的に抑制できる。
さらに,確率的言語モデルとグラフノード埋め込みの初期化を統合することにより,非グラフ意味情報の抽出が容易になる。
実験の結果,本モデルは汎用的かつ効率的であることが判明した。
コーパスレベルであれテキストレベルであれ、分類精度を大幅に向上させ、幅広いテキスト分類データセット上でSOTA性能を達成することができる。
関連論文リスト
- GNN-LoFI: a Novel Graph Neural Network through Localized Feature-based
Histogram Intersection [51.608147732998994]
グラフニューラルネットワークは、グラフベースの機械学習の選択フレームワークになりつつある。
本稿では,古典的メッセージパッシングに代えて,ノード特徴の局所分布を解析するグラフニューラルネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2024-01-17T13:04:23Z) - NodeFormer: A Scalable Graph Structure Learning Transformer for Node
Classification [70.51126383984555]
本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。
効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。
グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
論文 参考訳(メタデータ) (2023-06-14T09:21:15Z) - Deep Graph Neural Networks via Flexible Subgraph Aggregation [50.034313206471694]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習し、近隣情報を集約することでノードの表現を学ぶ。
本稿では,サブグラフアグリゲーションの観点から,GNNの表現力を評価する。
サブグラフアグリゲーションの異なるホップをより柔軟に活用できるサンプリングベースノードレベル残余モジュール(SNR)を提案する。
論文 参考訳(メタデータ) (2023-05-09T12:03:42Z) - Every Node Counts: Improving the Training of Graph Neural Networks on
Node Classification [9.539495585692007]
ノード分類のためのGNNのトレーニングのための新しい目的語を提案する。
我々の第一項は、ノードとラベルの特徴間の相互情報を最大化することを目的としている。
第2項は予測写像における異方的滑らか性を促進する。
論文 参考訳(メタデータ) (2022-11-29T23:25:14Z) - A semantic hierarchical graph neural network for text classification [1.439766998338892]
本稿では,単語レベル,文レベル,文書レベルから対応する情報をそれぞれ抽出する階層型グラフニューラルネットワーク(HieGNN)を提案する。
いくつかのベンチマークデータセットの実験結果は、いくつかのベースライン手法と比較して、より良い、または類似した結果が得られる。
論文 参考訳(メタデータ) (2022-09-15T03:59:31Z) - Efficient and effective training of language and graph neural network
models [36.00479096375565]
我々は,大規模言語モデルとグラフニューラルネットワークを協調的に学習する,効率的な言語モデルGNN(LM-GNN)を提案する。
本フレームワークの有効性は、BERTモデルの段階的微調整をまず異種グラフ情報に適用し、次にGNNモデルを用いて達成する。
我々は,LM-GNNフレームワークを異なるデータセットの性能で評価し,提案手法の有効性を示す。
論文 参考訳(メタデータ) (2022-06-22T00:23:37Z) - A Robust Stacking Framework for Training Deep Graph Models with
Multifaceted Node Features [61.92791503017341]
数値ノード特徴とグラフ構造を入力とするグラフニューラルネットワーク(GNN)は,グラフデータを用いた各種教師付き学習タスクにおいて,優れた性能を示した。
IID(non-graph)データをGNNに簡単に組み込むことはできない。
本稿では、グラフ認識の伝播をIDデータに意図した任意のモデルで融合するロバストな積み重ねフレームワークを提案する。
論文 参考訳(メタデータ) (2022-06-16T22:46:33Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳(メタデータ) (2022-03-03T09:53:53Z) - GraphFormers: GNN-nested Transformers for Representation Learning on
Textual Graph [53.70520466556453]
階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。
提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。
さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
論文 参考訳(メタデータ) (2021-05-06T12:20:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。