論文の概要: TextRGNN: Residual Graph Neural Networks for Text Classification

• arxiv url: http://arxiv.org/abs/2112.15060v1
• Date: Thu, 30 Dec 2021 13:48:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-04 01:11:04.182133
• Title: TextRGNN: Residual Graph Neural Networks for Text Classification
• Title（参考訳）: TextRGNN: テキスト分類のための残差グラフニューラルネットワーク
• Authors: Jiayuan Chen and Boyu Zhang and Yinfei Xu and Meng Wang
• Abstract要約: TextRGNNは改良されたGNN構造であり、畳み込みネットワークの深さを深くする残差接続を導入している。 我々の構造はより広いノード受容場を得ることができ、ノード特徴の過度な平滑化を効果的に抑制できる。 コーパスレベルであれテキストレベルであれ、分類精度を大幅に向上させ、幅広いテキスト分類データセット上でSOTA性能を達成することができる。
• 参考スコア（独自算出の注目度）: 13.912147013558846
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, text classification model based on graph neural network (GNN) has attracted more and more attention. Most of these models adopt a similar network paradigm, that is, using pre-training node embedding initialization and two-layer graph convolution. In this work, we propose TextRGNN, an improved GNN structure that introduces residual connection to deepen the convolution network depth. Our structure can obtain a wider node receptive field and effectively suppress the over-smoothing of node features. In addition, we integrate the probabilistic language model into the initialization of graph node embedding, so that the non-graph semantic information of can be better extracted. The experimental results show that our model is general and efficient. It can significantly improve the classification accuracy whether in corpus level or text level, and achieve SOTA performance on a wide range of text classification datasets.
• Abstract（参考訳）: 近年,グラフニューラルネットワーク(GNN)に基づくテキスト分類モデルが注目されている。 これらのモデルの多くは、事前学習ノード埋め込み初期化と2層グラフ畳み込みを用いて、同様のネットワークパラダイムを採用している。 本研究では,畳み込みネットワーク深度を深くする残差接続を導入した改良型GNN構造であるTextRGNNを提案する。 我々の構造はより広いノード受容場を得ることができ、ノード特徴の過度な平滑化を効果的に抑制できる。 さらに,確率的言語モデルとグラフノード埋め込みの初期化を統合することにより,非グラフ意味情報の抽出が容易になる。 実験の結果,本モデルは汎用的かつ効率的であることが判明した。 コーパスレベルであれテキストレベルであれ、分類精度を大幅に向上させ、幅広いテキスト分類データセット上でSOTA性能を達成することができる。

関連論文リスト

• Graph Neural Networks on Discriminative Graphs of Words [19.817473565906777]
  本研究では,単語グラフニューラルネットワーク(DGoW-GNN)によるテキストの識別手法を提案する。 本稿では,GNNとシーケンスモデルを組み合わせたグラフベースのテキスト分類の新しいモデルを提案する。 提案手法を7つのベンチマークデータセットで評価し,いくつかの最先端ベースラインモデルにより性能が向上していることを確認した。
  論文  参考訳（メタデータ） (2024-10-27T15:14:06Z)
• Text classification optimization algorithm based on graph neural network [0.36651088217486427]
  本稿では,グラフニューラルネットワークを用いたテキスト分類最適化アルゴリズムを提案する。 適応的なグラフ構築戦略と効率的なグラフ畳み込み操作を導入することにより、テキスト分類の精度と効率を効果的に向上する。
  論文  参考訳（メタデータ） (2024-08-09T23:25:37Z)
• You do not have to train Graph Neural Networks at all on text-attributed graphs [25.044734252779975]
  我々は、同じクラスからのテキストエンコーディングがしばしば線形部分空間に集約されるという観察に乗じて、線形GNNモデルであるTrainlessGNNを紹介した。 実験の結果、私たちのトレインレスモデルは、従来の訓練済みのモデルにマッチするか、超えられることがわかった。
  論文  参考訳（メタデータ） (2024-04-17T02:52:11Z)
• GNN-LoFI: a Novel Graph Neural Network through Localized Feature-based Histogram Intersection [51.608147732998994]
  グラフニューラルネットワークは、グラフベースの機械学習の選択フレームワークになりつつある。 本稿では,古典的メッセージパッシングに代えて,ノード特徴の局所分布を解析するグラフニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-01-17T13:04:23Z)
• Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
  グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。 このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
  論文  参考訳（メタデータ） (2023-12-16T14:09:23Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• A semantic hierarchical graph neural network for text classification [1.439766998338892]
  本稿では,単語レベル,文レベル,文書レベルから対応する情報をそれぞれ抽出する階層型グラフニューラルネットワーク(HieGNN)を提案する。 いくつかのベンチマークデータセットの実験結果は、いくつかのベースライン手法と比較して、より良い、または類似した結果が得られる。
  論文  参考訳（メタデータ） (2022-09-15T03:59:31Z)
• Efficient and effective training of language and graph neural network models [36.00479096375565]
  我々は,大規模言語モデルとグラフニューラルネットワークを協調的に学習する,効率的な言語モデルGNN(LM-GNN)を提案する。 本フレームワークの有効性は、BERTモデルの段階的微調整をまず異種グラフ情報に適用し、次にGNNモデルを用いて達成する。 我々は,LM-GNNフレームワークを異なるデータセットの性能で評価し,提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-06-22T00:23:37Z)
• A Robust Stacking Framework for Training Deep Graph Models with Multifaceted Node Features [61.92791503017341]
  数値ノード特徴とグラフ構造を入力とするグラフニューラルネットワーク(GNN)は,グラフデータを用いた各種教師付き学習タスクにおいて,優れた性能を示した。 IID(non-graph)データをGNNに簡単に組み込むことはできない。 本稿では、グラフ認識の伝播をIDデータに意図した任意のモデルで融合するロバストな積み重ねフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-16T22:46:33Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
  階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。 提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。 さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
  論文  参考訳（メタデータ） (2021-05-06T12:20:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。