論文の概要: BERT4GCN: Using BERT Intermediate Layers to Augment GCN for Aspect-based Sentiment Classification

• arxiv url: http://arxiv.org/abs/2110.00171v1
• Date: Fri, 1 Oct 2021 02:03:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-04 14:37:13.312740
• Title: BERT4GCN: Using BERT Intermediate Layers to Augment GCN for Aspect-based Sentiment Classification
• Title（参考訳）: BERT4GCN: BERT中間層を用いたアスペクトベース感性分類のためのGCNの拡張
• Authors: Zeguan Xiao, Jiarun Wu, Qingliang Chen and Congjian Deng
• Abstract要約: グラフベース感性分類(ABSC)アプローチは、事前学習言語モデル(PLM)から文脈単語を埋め込んだ場合に、最先端の結果をもたらす。 本稿では,BERT の PLM からの文法的逐次的特徴と依存グラフからの構文的知識を統合する新しいモデル BERT4GCN を提案する。
• 参考スコア（独自算出の注目度）: 2.982218441172364
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph-based Aspect-based Sentiment Classification (ABSC) approaches have yielded state-of-the-art results, expecially when equipped with contextual word embedding from pre-training language models (PLMs). However, they ignore sequential features of the context and have not yet made the best of PLMs. In this paper, we propose a novel model, BERT4GCN, which integrates the grammatical sequential features from the PLM of BERT, and the syntactic knowledge from dependency graphs. BERT4GCN utilizes outputs from intermediate layers of BERT and positional information between words to augment GCN (Graph Convolutional Network) to better encode the dependency graphs for the downstream classification. Experimental results demonstrate that the proposed BERT4GCN outperforms all state-of-the-art baselines, justifying that augmenting GCN with the grammatical features from intermediate layers of BERT can significantly empower ABSC models.
• Abstract（参考訳）: グラフベースのAspect-based Sentiment Classification (ABSC)アプローチは、事前学習言語モデル(PLM)から文脈語を埋め込んだ場合に、最先端の結果をもたらす。 しかし、彼らは文脈の逐次的特徴を無視し、まだPLMを最大限に活用していない。 本稿では,BERT の PLM からの文法的逐次的特徴と依存グラフからの構文的知識を統合する新しいモデル BERT4GCN を提案する。 BERT4GCNは、BERTの中間層からの出力と単語間の位置情報を利用してGCN(Graph Convolutional Network)を拡大し、下流分類のための依存性グラフをよりよくエンコードする。 実験の結果,提案したBERT4GCNはすべての最先端ベースラインより優れており,中間層からの文法的特徴によるGCNの増大はABSCモデルを著しく向上させることが示された。

関連論文リスト

• Language Models are Graph Learners [70.14063765424012]
  言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。 本稿では,ノード分類タスクにおける最先端のGNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T08:27:54Z)
• Enhancing ASL Recognition with GCNs and Successive Residual Connections [0.0]
  グラフ畳み込みネットワーク(GCN)を用いたアメリカ手話(ASL)認識の新たな手法を提案する。 この手法はMediaPipeフレームワークを利用して、各手ジェスチャーからキーランドマークを抽出し、グラフ表現を構築する。 構築されたグラフは、ネットワーク安定性を改善するための残差接続を備えたGCNベースのニューラルネットワークアーキテクチャにフィードされる。
  論文  参考訳（メタデータ） (2024-08-18T18:40:30Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• Make BERT-based Chinese Spelling Check Model Enhanced by Layerwise Attention and Gaussian Mixture Model [33.446533426654995]
  我々は、BERTベースのCSCモデルを強化するために、異種知識注入フレームワークを設計する。 複数層表現を生成するために,n-gram-based layerwise self-attention の新たな形式を提案する。 実験の結果,提案手法は4つの強力なベースラインモデルに対して安定な性能向上をもたらすことがわかった。
  論文  参考訳（メタデータ） (2023-12-27T16:11:07Z)
• Syntactic Knowledge via Graph Attention with BERT in Machine Translation [0.0]
  本稿では,機械翻訳(MT)シナリオにおけるBERT(SGB)を用いたグラフアテンションによる構文知識を提案する。 本実験では,ゴールド構文アノテーション文と品質推定(QE)モデルを用いて翻訳品質改善の解釈可能性を得る。 実験の結果,提案するSGBエンジンはBLEUスコアを犠牲にすることなく,MTタスクの翻訳品質を向上させることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T18:56:14Z)
• Graph Contrastive Learning for Skeleton-based Action Recognition [85.86820157810213]
  骨格に基づく行動認識のためのグラフコントラスト学習フレームワークを提案する。 SkeletonGCLは、グラフをクラス識別に強制することで、シーケンス間のグラフ学習を関連付ける。 SkeletonGCLは新しいトレーニングパラダイムを確立し、現在のグラフ畳み込みネットワークにシームレスに組み込むことができる。
  論文  参考訳（メタデータ） (2023-01-26T02:09:16Z)
• BertGCN: Transductive Text Classification by Combining GCN and BERT [33.866453485862124]
  BertGCNは、テキスト分類のための大規模プリトレーニングとトランスダクティブラーニングを組み合わせたモデルです。 BertGCN SOTAは、幅広いテキスト分類データセットのパフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-05-12T15:20:01Z)
• Graph Convolutional Network for Swahili News Classification [78.6363825307044]
  この研究は、半教師付きスワヒリニュース分類のタスクにおいて、テキストグラフ畳み込みネットワーク(Text GCN)が従来の自然言語処理ベンチマークより優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2021-03-16T21:03:47Z)
• An Interpretable End-to-end Fine-tuning Approach for Long Clinical Text [72.62848911347466]
  EHRにおける非構造化臨床テキストには、意思決定支援、トライアルマッチング、振り返り研究を含むアプリケーションにとって重要な情報が含まれている。 最近の研究は、これらのモデルが他のNLPドメインにおける最先端の性能を考慮し、BERTベースのモデルを臨床情報抽出およびテキスト分類に応用している。 本稿では,SnipBERTという新しい微調整手法を提案する。SnipBERTは全音符を使用する代わりに,重要なスニペットを識別し,階層的に切り刻まれたBERTベースのモデルに供給する。
  論文  参考訳（メタデータ） (2020-11-12T17:14:32Z)
• On the Equivalence of Decoupled Graph Convolution Network and Label Propagation [60.34028546202372]
  いくつかの研究は、カップリングがデカップリングよりも劣っていることを示している。 有効性にもかかわらず、疎結合GCNの作用機構はよく理解されていない。 本稿では,分離GCNの欠陥を克服する適応的学習法(PTA)を提案する。
  論文  参考訳（メタデータ） (2020-10-23T13:57:39Z)
• VGCN-BERT: Augmenting BERT with Graph Embedding for Text Classification [21.96079052962283]
  VGCN-BERTモデルは、BERTとVocabulary Graph Convolutional Network(VGCN)の機能を組み合わせる いくつかのテキスト分類データセットの実験では、BERTとGCNを単独で比較した。
  論文  参考訳（メタデータ） (2020-04-12T22:02:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。