論文の概要: Research on Dual Channel News Headline Classification Based on ERNIE
Pre-training Model
- arxiv url: http://arxiv.org/abs/2202.06600v1
- Date: Mon, 14 Feb 2022 10:44:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-15 14:13:29.784894
- Title: Research on Dual Channel News Headline Classification Based on ERNIE
Pre-training Model
- Title（参考訳）: ERNIE事前学習モデルに基づくデュアルチャンネルニュース見出し分類に関する研究
- Authors: Junjie Li and Hui Cao
- Abstract要約: 提案モデルは従来のニューラルネットワークモデルと比較して,ニュース見出し分類の精度,精度,F1スコアを改善する。
大規模データ量でのニュース見出しテキストのマルチクラス化アプリケーションでは、うまく機能する。
- 参考スコア（独自算出の注目度）: 13.222137788045416
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The classification of news headlines is an important direction in the field
of NLP, and its data has the characteristics of compactness, uniqueness and
various forms. Aiming at the problem that the traditional neural network model
cannot adequately capture the underlying feature information of the data and
cannot jointly extract key global features and deep local features, a
dual-channel network model DC-EBAD based on the ERNIE pre-training model is
proposed. Use ERNIE to extract the lexical, semantic and contextual feature
information at the bottom of the text, generate dynamic word vector
representations fused with context, and then use the BiLSTM-AT network channel
to secondary extract the global features of the data and use the attention
mechanism to give key parts higher The weight of the DPCNN channel is used to
overcome the long-distance text dependence problem and obtain deep local
features. The local and global feature vectors are spliced, and finally passed
to the fully connected layer, and the final classification result is output
through Softmax. The experimental results show that the proposed model improves
the accuracy, precision and F1-score of news headline classification compared
with the traditional neural network model and the single-channel model under
the same conditions. It can be seen that it can perform well in the
multi-classification application of news headline text under large data volume.
- Abstract（参考訳）: ニュース見出しの分類はnlpの分野において重要な方向であり、そのデータはコンパクト性、ユニーク性、様々な形態の特徴を持っている。
従来のニューラルネットワークモデルでは,データの基盤となる特徴情報を適切に捉えることができず,重要なグローバルな特徴と深い局所的特徴を共同で抽出できないという問題に対して,ERNIE事前学習モデルに基づくデュアルチャネルネットワークモデルDC-EBADを提案する。
ERNIEを使用してテキストの下部の語彙的、意味的、文脈的特徴情報を抽出し、コンテキストに融合した動的ワードベクトル表現を生成し、次にBiLSTM-ATネットワークチャネルを使用してデータのグローバルな特徴を二次的に抽出し、注意機構を使用してキー部品を高くするDPCNNチャネルの重みは、長距離テキスト依存問題を克服し、深いローカル特徴を得る。
局所的および大域的特徴ベクトルはスプライシングされ、最終的に完全連結層に渡され、最終的な分類結果はsoftmaxを介して出力される。
実験の結果,従来のニューラルネットワークモデルと同一条件下でのシングルチャネルモデルと比較して,ニュースヘッドライン分類の精度,精度,f1スコアが向上した。
大規模データ量下でニュース見出しテキストの多分類アプリケーションでうまく機能することを示すことができる。
関連論文リスト
- CMTNet: Convolutional Meets Transformer Network for Hyperspectral Images Classification [3.821081081400729]
現在の畳み込みニューラルネットワーク(CNN)は、ハイパースペクトルデータの局所的な特徴に焦点を当てている。
Transformerフレームワークは、ハイパースペクトル画像からグローバルな特徴を抽出する。
本研究は、CMTNet(Convolutional Meet Transformer Network)を紹介する。
論文 参考訳（メタデータ） (2024-06-20T07:56:51Z) - FLIP: Towards Fine-grained Alignment between ID-based Models and Pretrained Language Models for CTR Prediction [49.510163437116645]
本稿では,クリックスルー率(CTR)予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。
具体的には、1つのモダリティ(トークンや特徴)のマスキングされたデータは、他のモダリティの助けを借りて回復し、特徴レベルの相互作用とアライメントを確立する必要がある。
3つの実世界のデータセットの実験により、FLIPはSOTAベースラインより優れており、様々なIDベースのモデルやPLMと高い互換性を持つことが示された。
論文 参考訳（メタデータ） (2023-10-30T11:25:03Z) - DeepDC: Deep Distance Correlation as a Perceptual Image Quality
Evaluator [53.57431705309919]
ImageNet Pre-trained Deep Neural Network (DNN)は、効果的な画像品質評価(IQA)モデルを構築するための顕著な転送性を示す。
我々は,事前学習DNN機能のみに基づく新しいフル参照IQA(FR-IQA)モデルを開発した。
5つの標準IQAデータセット上で,提案した品質モデルの優位性を示すため,包括的実験を行った。
論文 参考訳（メタデータ） (2022-11-09T14:57:27Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳（メタデータ） (2021-10-09T09:02:45Z) - Bidirectional LSTM-CRF Attention-based Model for Chinese Word
Segmentation [2.3991565023534087]
中国語単語セグメンテーションのための双方向LSTM-CRFアテンションベースモデルを提案する。
我々のモデルは、他のニューラルネットワークによるベースライン手法よりも優れている。
論文 参考訳（メタデータ） (2021-05-20T11:46:53Z) - Rank-R FNN: A Tensor-Based Learning Model for High-Order Data
Classification [69.26747803963907]
Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。
まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。
Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
論文 参考訳（メタデータ） (2021-04-11T16:37:32Z) - Train your classifier first: Cascade Neural Networks Training from upper
layers to lower layers [54.47911829539919]
我々は,高品質な分類器を探索するアルゴリズムとして見ることのできる,新しいトップダウン学習手法を開発した。
本研究では,自動音声認識(ASR)タスクと言語モデリングタスクについて検討した。
提案手法は,Wall Street Journal 上でのリカレントニューラルネットワーク ASR モデル,Switchboard 上での自己注意型 ASR モデル,WikiText-2 上での AWD-LSTM 言語モデルなど,一貫して改善されている。
論文 参考訳（メタデータ） (2021-02-09T08:19:49Z) - InfoBERT: Improving Robustness of Language Models from An Information
Theoretic Perspective [84.78604733927887]
BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。
近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。
本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
論文 参考訳（メタデータ） (2020-10-05T20:49:26Z) - Feature Interaction based Neural Network for Click-Through Rate
Prediction [5.095988654970358]
本稿では,3次元関係テンソルを用いて特徴相互作用をモデル化可能な特徴相互作用ベースニューラルネットワーク(FINN)を提案する。
我々のディープFINNモデルは、PNNやDeepFMのような最先端のディープモデルよりも優れていることを示す。
また、我々のモデルは、機能相互作用を効果的に学習し、実世界のデータセットでより良いパフォーマンスを達成することができることを示している。
論文 参考訳（メタデータ） (2020-06-07T03:53:24Z) - Abstractive Text Summarization based on Language Model Conditioning and
Locality Modeling [4.525267347429154]
BERT言語モデルに基づいてTransformerベースのニューラルモデルをトレーニングする。
さらに,BERTウィンドウサイズよりも長いテキストのチャンクワイズ処理が可能なBERTウィンドウ方式を提案する。
我々のモデルの結果は、CNN/Daily Mailデータセットのベースラインと最先端モデルと比較される。
論文 参考訳（メタデータ） (2020-03-29T14:00:17Z) - Cross-scale Attention Model for Acoustic Event Classification [45.15898265162008]
我々は,異なるスケールの特徴を明示的に統合して最終表現を形成する,クロススケールアテンション(CSA)モデルを提案する。
提案したCSAモデルは,現在最先端のディープラーニングアルゴリズムの性能を効果的に向上できることを示す。
論文 参考訳（メタデータ） (2019-12-27T07:28:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。