論文の概要: Text classification problems via BERT embedding method and graph
convolutional neural network
- arxiv url: http://arxiv.org/abs/2111.15379v1
- Date: Tue, 30 Nov 2021 13:26:11 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-01 20:39:28.891274
- Title: Text classification problems via BERT embedding method and graph
convolutional neural network
- Title(参考訳): bert埋め込み法とグラフ畳み込みニューラルネットワークによるテキスト分類問題
- Authors: Loc Hoang Tran, Tuan Tran, An Mai
- Abstract要約: グラフ畳み込みニューラルネットワークモデルの性能は、BERT埋め込み法とクラッシカル機械学習モデルの組み合わせのパーフォマンスよりも優れている。
- 参考スコア(独自算出の注目度): 0.2964978357715083
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: This paper presents the novel way combining the BERT embedding method and the
graph convolutional neural network. This combination is employed to solve the
text classification problem. Initially, we apply the BERT embedding method to
the texts (in the BBC news dataset and the IMDB movie reviews dataset) in order
to transform all the texts to numerical vector. Then, the graph convolutional
neural network will be applied to these numerical vectors to classify these
texts into their ap-propriate classes/labels. Experiments show that the
performance of the graph convolutional neural network model is better than the
perfor-mances of the combination of the BERT embedding method with clas-sical
machine learning models.
- Abstract(参考訳): 本稿では,BERT埋め込み法とグラフ畳み込みニューラルネットワークを組み合わせた新しい手法を提案する。
この組み合わせは、テキスト分類問題を解決するために用いられる。
当初,すべてのテキストを数値ベクトルに変換するために,BERT埋め込み方式をテキスト(BBCニュースデータセットとIMDB映画レビューデータセット)に適用した。
次に、グラフ畳み込みニューラルネットワークを数値ベクトルに適用し、これらのテキストをap固有クラス/ラベルに分類する。
実験により,グラフ畳み込みニューラルネットワークモデルの性能は,BERT埋め込み法とクラッシカル機械学習モデルの組み合わせのパーフォマンスよりも優れていることが示された。
関連論文リスト
- Text classification optimization algorithm based on graph neural network [0.36651088217486427]
本稿では,グラフニューラルネットワークを用いたテキスト分類最適化アルゴリズムを提案する。
適応的なグラフ構築戦略と効率的なグラフ畳み込み操作を導入することにより、テキスト分類の精度と効率を効果的に向上する。
論文 参考訳(メタデータ) (2024-08-09T23:25:37Z) - GNN-LoFI: a Novel Graph Neural Network through Localized Feature-based
Histogram Intersection [51.608147732998994]
グラフニューラルネットワークは、グラフベースの機械学習の選択フレームワークになりつつある。
本稿では,古典的メッセージパッシングに代えて,ノード特徴の局所分布を解析するグラフニューラルネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2024-01-17T13:04:23Z) - Multi-label Text Classification using GloVe and Neural Network Models [0.27195102129094995]
既存のソリューションには、予測のための従来の機械学習とディープニューラルネットワークが含まれる。
本稿では,GloVe モデルと CNN-BiLSTM ネットワークに基づくback-of-words モデル手法を提案する。
テストセットの精度は87.26%、F1スコアは0.8737であり、有望な結果を示している。
論文 参考訳(メタデータ) (2023-10-25T01:30:26Z) - SLCNN: Sentence-Level Convolutional Neural Network for Text
Classification [0.0]
畳み込みニューラルネットワーク(CNN)は,テキスト分類のタスクにおいて顕著な成功を収めている。
CNNを用いたテキスト分類のための新しいベースラインモデルが研究されている。
結果から,提案したモデルの性能は,特に長いドキュメントにおいて向上していることがわかった。
論文 参考訳(メタデータ) (2023-01-27T13:16:02Z) - A Robust Stacking Framework for Training Deep Graph Models with
Multifaceted Node Features [61.92791503017341]
数値ノード特徴とグラフ構造を入力とするグラフニューラルネットワーク(GNN)は,グラフデータを用いた各種教師付き学習タスクにおいて,優れた性能を示した。
IID(non-graph)データをGNNに簡単に組み込むことはできない。
本稿では、グラフ認識の伝播をIDデータに意図した任意のモデルで融合するロバストな積み重ねフレームワークを提案する。
論文 参考訳(メタデータ) (2022-06-16T22:46:33Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳(メタデータ) (2022-03-03T09:53:53Z) - TextRGNN: Residual Graph Neural Networks for Text Classification [13.912147013558846]
TextRGNNは改良されたGNN構造であり、畳み込みネットワークの深さを深くする残差接続を導入している。
我々の構造はより広いノード受容場を得ることができ、ノード特徴の過度な平滑化を効果的に抑制できる。
コーパスレベルであれテキストレベルであれ、分類精度を大幅に向上させ、幅広いテキスト分類データセット上でSOTA性能を達成することができる。
論文 参考訳(メタデータ) (2021-12-30T13:48:58Z) - Khmer Text Classification Using Word Embedding and Neural Networks [0.0]
Khmerテキストの様々な分類手法について論じる。
Khmerワード埋め込みモデルは、ワードベクトル表現を構築するために、30万のKhmerワードコーパスで訓練される。
複数クラス・複数ラベルのテキスト分類タスクに対して,ニュース記事データセット上での異なるアプローチの性能を評価する。
論文 参考訳(メタデータ) (2021-12-13T15:57:32Z) - Hierarchical Heterogeneous Graph Representation Learning for Short Text
Classification [60.233529926965836]
短文分類のためのグラフニューラルネットワーク(GNN)に基づく ShiNE と呼ばれる新しい手法を提案する。
まず,短文データセットを単語レベル成分グラフからなる階層的不均一グラフとしてモデル化する。
そして、類似した短いテキスト間の効果的なラベル伝搬を容易にするショート文書グラフを動的に学習する。
論文 参考訳(メタデータ) (2021-10-30T05:33:05Z) - GraphFormers: GNN-nested Transformers for Representation Learning on
Textual Graph [53.70520466556453]
階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。
提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。
さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
論文 参考訳(メタデータ) (2021-05-06T12:20:41Z) - Promoting Graph Awareness in Linearized Graph-to-Text Generation [72.83863719868364]
局所グラフ構造を符号化する線形化モデルの能力を検討する。
本研究は,モデルの暗黙のグラフ符号化の品質を高めるための解法である。
これらの消音足場は、低リソース設定における下流生成の大幅な改善につながることが分かりました。
論文 参考訳(メタデータ) (2020-12-31T18:17:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。