論文の概要: VGCN-BERT: Augmenting BERT with Graph Embedding for Text Classification

• arxiv url: http://arxiv.org/abs/2004.05707v1
• Date: Sun, 12 Apr 2020 22:02:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-14 04:55:00.628022
• Title: VGCN-BERT: Augmenting BERT with Graph Embedding for Text Classification
• Title（参考訳）: VGCN-BERT:テキスト分類のためのグラフ埋め込みによるBERTの拡張
• Authors: Zhibin Lu, Pan Du, Jian-Yun Nie
• Abstract要約: VGCN-BERTモデルは、BERTとVocabulary Graph Convolutional Network(VGCN)の機能を組み合わせる いくつかのテキスト分類データセットの実験では、BERTとGCNを単独で比較した。
• 参考スコア（独自算出の注目度）: 21.96079052962283
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Much progress has been made recently on text classification with methods based on neural networks. In particular, models using attention mechanism such as BERT have shown to have the capability of capturing the contextual information within a sentence or document. However, their ability of capturing the global information about the vocabulary of a language is more limited. This latter is the strength of Graph Convolutional Networks (GCN). In this paper, we propose VGCN-BERT model which combines the capability of BERT with a Vocabulary Graph Convolutional Network (VGCN). Local information and global information interact through different layers of BERT, allowing them to influence mutually and to build together a final representation for classification. In our experiments on several text classification datasets, our approach outperforms BERT and GCN alone, and achieve higher effectiveness than that reported in previous studies.
• Abstract（参考訳）: 近年,ニューラルネットワークに基づく手法を用いたテキスト分類が進歩している。 特に、BERTのような注意機構を用いたモデルでは、文や文書内の文脈情報をキャプチャする能力があることが示されている。 しかし、言語の語彙に関するグローバルな情報を取得する能力は、より限られている。 後者は Graph Convolutional Networks (GCN) の長所である。 本稿では,BERT と Vocabulary Graph Convolutional Network (VGCN) を組み合わせた VGCN-BERT モデルを提案する。 ローカル情報とグローバル情報はBERTの異なるレイヤを介して相互作用し、相互に影響し、分類のための最終的な表現を構築することができる。 いくつかのテキスト分類データセットの実験において,本手法はBERTとGCNを単独で上回り,従来の研究よりも高い効率性を実現している。

関連論文リスト

• Bridging Local Details and Global Context in Text-Attributed Graphs [62.522550655068336]
  GraphBridgeは、コンテキストテキスト情報を活用することで、ローカルおよびグローバルな視点をブリッジするフレームワークである。 提案手法は最先端性能を実現し,グラフ対応トークン削減モジュールは効率を大幅に向上し,スケーラビリティの問題を解消する。
  論文  参考訳（メタデータ） (2024-06-18T13:35:25Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)
• A semantic hierarchical graph neural network for text classification [1.439766998338892]
  本稿では,単語レベル,文レベル,文書レベルから対応する情報をそれぞれ抽出する階層型グラフニューラルネットワーク(HieGNN)を提案する。 いくつかのベンチマークデータセットの実験結果は、いくつかのベースライン手法と比較して、より良い、または類似した結果が得られる。
  論文  参考訳（メタデータ） (2022-09-15T03:59:31Z)
• Understanding Graph Convolutional Networks for Text Classification [9.495731689143827]
  本稿では,グラフにおけるノードとエッジの埋め込みの役割と,テキスト分類におけるGCN学習手法を包括的に分析する。 我々の分析はこの種の最初のものであり、各グラフノード/エッジ構築メカニズムの重要性についての有用な洞察を提供する。
  論文  参考訳（メタデータ） (2022-03-30T05:14:31Z)
• TextRGNN: Residual Graph Neural Networks for Text Classification [13.912147013558846]
  TextRGNNは改良されたGNN構造であり、畳み込みネットワークの深さを深くする残差接続を導入している。 我々の構造はより広いノード受容場を得ることができ、ノード特徴の過度な平滑化を効果的に抑制できる。 コーパスレベルであれテキストレベルであれ、分類精度を大幅に向上させ、幅広いテキスト分類データセット上でSOTA性能を達成することができる。
  論文  参考訳（メタデータ） (2021-12-30T13:48:58Z)
• Hierarchical Heterogeneous Graph Representation Learning for Short Text Classification [60.233529926965836]
  短文分類のためのグラフニューラルネットワーク(GNN)に基づく ShiNE と呼ばれる新しい手法を提案する。 まず,短文データセットを単語レベル成分グラフからなる階層的不均一グラフとしてモデル化する。 そして、類似した短いテキスト間の効果的なラベル伝搬を容易にするショート文書グラフを動的に学習する。
  論文  参考訳（メタデータ） (2021-10-30T05:33:05Z)
• BERT4GCN: Using BERT Intermediate Layers to Augment GCN for Aspect-based Sentiment Classification [2.982218441172364]
  グラフベース感性分類(ABSC)アプローチは、事前学習言語モデル(PLM)から文脈単語を埋め込んだ場合に、最先端の結果をもたらす。 本稿では,BERT の PLM からの文法的逐次的特徴と依存グラフからの構文的知識を統合する新しいモデル BERT4GCN を提案する。
  論文  参考訳（メタデータ） (2021-10-01T02:03:43Z)
• BertGCN: Transductive Text Classification by Combining GCN and BERT [33.866453485862124]
  BertGCNは、テキスト分類のための大規模プリトレーニングとトランスダクティブラーニングを組み合わせたモデルです。 BertGCN SOTAは、幅広いテキスト分類データセットのパフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-05-12T15:20:01Z)
• GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
  階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。 提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。 さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
  論文  参考訳（メタデータ） (2021-05-06T12:20:41Z)
• Graph Convolutional Network for Swahili News Classification [78.6363825307044]
  この研究は、半教師付きスワヒリニュース分類のタスクにおいて、テキストグラフ畳み込みネットワーク(Text GCN)が従来の自然言語処理ベンチマークより優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2021-03-16T21:03:47Z)
• Multi-Level Graph Convolutional Network with Automatic Graph Learning for Hyperspectral Image Classification [63.56018768401328]
  HSI分類のための自動グラフ学習法(MGCN-AGL)を用いたマルチレベルグラフ畳み込みネットワーク(GCN)を提案する。 空間的に隣接する領域における重要度を特徴付けるために注意機構を利用することで、最も関連性の高い情報を適応的に組み込んで意思決定を行うことができる。 MGCN-AGLは局所的に生成した表現表現に基づいて画像領域間の長距離依存性を符号化する。
  論文  参考訳（メタデータ） (2020-09-19T09:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。