論文の概要: BertGCN: Transductive Text Classification by Combining GCN and BERT

• arxiv url: http://arxiv.org/abs/2105.05727v2
• Date: Thu, 13 May 2021 11:32:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-14 11:41:39.544873
• Title: BertGCN: Transductive Text Classification by Combining GCN and BERT
• Title（参考訳）: BertGCN:GCNとBERTを組み合わせたトランスダクティブテキスト分類
• Authors: Yuxiao Lin, Yuxian Meng, Xiaofei Sun, Qinghong Han, Kun Kuang, Jiwei Li and Fei Wu
• Abstract要約: BertGCNは、テキスト分類のための大規模プリトレーニングとトランスダクティブラーニングを組み合わせたモデルです。 BertGCN SOTAは、幅広いテキスト分類データセットのパフォーマンスを実現します。
• 参考スコア（独自算出の注目度）: 33.866453485862124
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In this work, we propose BertGCN, a model that combines large scale pretraining and transductive learning for text classification. BertGCN constructs a heterogeneous graph over the dataset and represents documents as nodes using BERT representations. By jointly training the BERT and GCN modules within BertGCN, the proposed model is able to leverage the advantages of both worlds: large-scale pretraining which takes the advantage of the massive amount of raw data and transductive learning which jointly learns representations for both training data and unlabeled test data by propagating label influence through graph convolution. Experiments show that BertGCN achieves SOTA performances on a wide range of text classification datasets. Code is available at https://github.com/ZeroRin/BertGCN.
• Abstract（参考訳）: 本研究では,テキスト分類のための大規模事前学習とトランスダクティブ学習を組み合わせたモデルbertgcnを提案する。 BertGCNはデータセット上に異種グラフを構築し、BERT表現を使用してドキュメントをノードとして表現する。 BertGCN内でBERTとGCNモジュールを共同でトレーニングすることにより、大量の生データを活用する大規模事前学習と、グラフ畳み込みによってラベルの影響を伝播することにより、トレーニングデータと未ラベルテストデータの表現を共同で学習するトランスダクティブ学習という、両方の世界の利点を活用することができる。 実験により、BertGCNは幅広いテキスト分類データセット上でSOTA性能を達成することが示された。 コードはhttps://github.com/ZeroRin/BertGCN.comで入手できる。

関連論文リスト

• You do not have to train Graph Neural Networks at all on text-attributed graphs [25.044734252779975]
  我々は、同じクラスからのテキストエンコーディングがしばしば線形部分空間に集約されるという観察に乗じて、線形GNNモデルであるTrainlessGNNを紹介した。 実験の結果、私たちのトレインレスモデルは、従来の訓練済みのモデルにマッチするか、超えられることがわかった。
  論文  参考訳（メタデータ） (2024-04-17T02:52:11Z)
• Article Classification with Graph Neural Networks and Multigraphs [0.12499537119440243]
  単純なグラフニューラルネットワーク(GNN)パイプラインを多グラフ表現で拡張することにより,記事分類の性能を向上させる手法を提案する。 完全に教師されたトランスダクティブノード分類実験は、Open Graph Benchmark OGBN-arXivデータセットとPubMed糖尿病データセットで実施されている。 その結果、マルチグラフはデフォルトグラフと比較して、様々なGNNモデルの性能を一貫して改善することを示した。
  論文  参考訳（メタデータ） (2023-09-20T14:18:04Z)
• A Robust Stacking Framework for Training Deep Graph Models with Multifaceted Node Features [61.92791503017341]
  数値ノード特徴とグラフ構造を入力とするグラフニューラルネットワーク(GNN)は,グラフデータを用いた各種教師付き学習タスクにおいて,優れた性能を示した。 IID(non-graph)データをGNNに簡単に組み込むことはできない。 本稿では、グラフ認識の伝播をIDデータに意図した任意のモデルで融合するロバストな積み重ねフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-16T22:46:33Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• BERT4GCN: Using BERT Intermediate Layers to Augment GCN for Aspect-based Sentiment Classification [2.982218441172364]
  グラフベース感性分類(ABSC)アプローチは、事前学習言語モデル(PLM)から文脈単語を埋め込んだ場合に、最先端の結果をもたらす。 本稿では,BERT の PLM からの文法的逐次的特徴と依存グラフからの構文的知識を統合する新しいモデル BERT4GCN を提案する。
  論文  参考訳（メタデータ） (2021-10-01T02:03:43Z)
• On the Equivalence of Decoupled Graph Convolution Network and Label Propagation [60.34028546202372]
  いくつかの研究は、カップリングがデカップリングよりも劣っていることを示している。 有効性にもかかわらず、疎結合GCNの作用機構はよく理解されていない。 本稿では,分離GCNの欠陥を克服する適応的学習法(PTA)を提案する。
  論文  参考訳（メタデータ） (2020-10-23T13:57:39Z)
• DeeperGCN: All You Need to Train Deeper GCNs [66.64739331859226]
  グラフ畳み込みネットワーク(GCN)はグラフ上での表現学習の力で注目されている。 非常に深いレイヤを積み重ねることのできる畳み込みニューラルネットワーク(CNN)とは異なり、GCNはより深く進むと、勾配の消失、過度なスムース化、過度に適合する問題に悩まされる。 本稿では,非常に深いGCNを正常かつ確実に訓練できるDeeperGCNを提案する。
  論文  参考訳（メタデータ） (2020-06-13T23:00:22Z)
• VGCN-BERT: Augmenting BERT with Graph Embedding for Text Classification [21.96079052962283]
  VGCN-BERTモデルは、BERTとVocabulary Graph Convolutional Network(VGCN)の機能を組み合わせる いくつかのテキスト分類データセットの実験では、BERTとGCNを単独で比較した。
  論文  参考訳（メタデータ） (2020-04-12T22:02:33Z)
• Distilling Knowledge from Graph Convolutional Networks [146.71503336770886]
  既存の知識蒸留法は畳み込みニューラルネットワーク(CNN)に焦点を当てている 本稿では,事前学習したグラフ畳み込みネットワーク(GCN)モデルから知識を抽出する手法を提案する。 提案手法は,GCNモデルに対する最先端の知識蒸留性能を実現する。
  論文  参考訳（メタデータ） (2020-03-23T18:23:11Z)
• Incorporating BERT into Neural Machine Translation [251.54280200353674]
  本稿では,入力シーケンスの表現抽出にBERTを用いたBERT融合モデルを提案する。 我々は、教師付き(文レベルと文書レベルの翻訳を含む)、半教師なしおよび教師なしの機械翻訳の実験を行い、7つのベンチマークデータセットで最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-02-17T08:13:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。