論文の概要: Stacked DeBERT: All Attention in Incomplete Data for Text Classification
- arxiv url: http://arxiv.org/abs/2001.00137v2
- Date: Thu, 14 Jan 2021 14:13:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-16 09:09:56.834490
- Title: Stacked DeBERT: All Attention in Incomplete Data for Text Classification
- Title（参考訳）: Stacked DeBERT: テキスト分類のための不完全データのすべての注意
- Authors: Gwenaelle Cunha Sergio and Minho Lee
- Abstract要約: 変換器から双方向表現を重畳するスタックドデノナイズ(Stacked Denoising Bidirectional Representations)を提案する。
本モデルでは, 感情や意図の分類作業において, 音声テキスト誤りのあるツイートやテキストに現れる非公式/不正テキストにおいて, F1スコアが向上し, 堅牢性が向上したことを示す。
- 参考スコア（独自算出の注目度）: 8.900866276512364
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In this paper, we propose Stacked DeBERT, short for Stacked Denoising
Bidirectional Encoder Representations from Transformers. This novel model
improves robustness in incomplete data, when compared to existing systems, by
designing a novel encoding scheme in BERT, a powerful language representation
model solely based on attention mechanisms. Incomplete data in natural language
processing refer to text with missing or incorrect words, and its presence can
hinder the performance of current models that were not implemented to withstand
such noises, but must still perform well even under duress. This is due to the
fact that current approaches are built for and trained with clean and complete
data, and thus are not able to extract features that can adequately represent
incomplete data. Our proposed approach consists of obtaining intermediate input
representations by applying an embedding layer to the input tokens followed by
vanilla transformers. These intermediate features are given as input to novel
denoising transformers which are responsible for obtaining richer input
representations. The proposed approach takes advantage of stacks of multilayer
perceptrons for the reconstruction of missing words' embeddings by extracting
more abstract and meaningful hidden feature vectors, and bidirectional
transformers for improved embedding representation. We consider two datasets
for training and evaluation: the Chatbot Natural Language Understanding
Evaluation Corpus and Kaggle's Twitter Sentiment Corpus. Our model shows
improved F1-scores and better robustness in informal/incorrect texts present in
tweets and in texts with Speech-to-Text error in the sentiment and intent
classification tasks.
- Abstract（参考訳）: 本稿では,変換器からの双方向エンコーダ表現を省略したStacked DeBERTを提案する。
この新しいモデルは、アテンション機構のみに基づく強力な言語表現モデルであるBERTにおける新しい符号化方式を設計することにより、既存のシステムと比較して不完全データのロバスト性を向上させる。
自然言語処理における不完全なデータは、欠落または不正確な単語を持つテキストを参照し、その存在は、そのようなノイズに耐えるべく実装されなかったが、デュストレス下でもうまく機能しなくてはならない現在のモデルの性能を妨げる可能性がある。
これは、現在のアプローチがクリーンで完全なデータで構築され、訓練されているため、不完全なデータを適切に表現できる特徴を抽出できないためである。
提案手法は,入力トークンに埋め込み層を適用し,バニラトランスを用いて中間入力表現を得る手法である。
これらの中間的な特徴は、よりリッチな入力表現を得る責任を持つ新規なデノイジン変換器への入力として与えられる。
提案手法では,より抽象的かつ有意義な特徴ベクトルを抽出し,多層パーセプトロンの積み重ねを利用して単語の埋め込みを再構成し,埋め込み表現を改善するための双方向トランスフォーマーを提案する。
本稿では,Chatbot Natural Language Understanding Evaluation CorpusとKaggleのTwitter Sentiment Corpusの2つのデータセットについて検討する。
本モデルでは, 感情と意図の分類作業において, 音声テキスト誤りのあるツイートやテキストに現れる非公式/不正テキストにおいて, F1スコアの改善とロバスト性の向上を示す。
関連論文リスト
- On Eliciting Syntax from Language Models via Hashing [19.872554909401316]
教師なし構文解析は、生のテキストから構文構造を推論することを目的としている。
本稿では,本機能を利用して生テキストから解析木を推定する可能性について検討する。
本手法は,事前学習した言語モデルから高品質な構文解析木を低コストで取得する上で,有効かつ効率的であることを示す。
論文 参考訳（メタデータ） (2024-10-05T08:06:19Z) - SenTest: Evaluating Robustness of Sentence Encoders [0.4194295877935868]
本研究は文エンコーダの堅牢性を評価することに焦点を当てる。
我々はその堅牢性を評価するためにいくつかの敵攻撃を用いる。
実験結果は文エンコーダの堅牢性を強く損なう。
論文 参考訳（メタデータ） (2023-11-29T15:21:35Z) - Pushdown Layers: Encoding Recursive Structure in Transformer Language
Models [86.75729087623259]
再帰は人間の言語の特徴であり、本質的には自己注意に挑戦する。
この作業では、新しいセルフアテンション層であるPushdown Layersを導入している。
プッシュダウン層を備えたトランスフォーマーは、劇的に改善され、3.5倍の高効率な構文一般化を実現した。
論文 参考訳（メタデータ） (2023-10-29T17:27:18Z) - Improving the Robustness of Summarization Systems with Dual Augmentation [68.53139002203118]
頑健な要約システムは、入力中の特定の単語の選択やノイズに関わらず、文書のギストをキャプチャできるべきである。
まず,単語レベルの同義語置換や雑音を含む摂動に対する要約モデルの頑健性について検討する。
SummAttackerを提案する。これは言語モデルに基づく対数サンプルを生成するための効率的な手法である。
論文 参考訳（メタデータ） (2023-06-01T19:04:17Z) - Syntax-guided Localized Self-attention by Constituency Syntactic
Distance [26.141356981833862]
本稿では,Transformerのための構文誘導型ローカライズ自己アテンションを提案する。
外部の選挙区から直接文法構造を組み込むことができる。
実験結果から,本モデルによる翻訳性能の向上が期待できることがわかった。
論文 参考訳（メタデータ） (2022-10-21T06:37:25Z) - WavThruVec: Latent speech representation as intermediate features for
neural speech synthesis [1.1470070927586016]
WavThruVecは、高次元のWav2Vec 2.0埋め込みを中間音声表現として使用することでボトルネックを解決する2段階アーキテクチャである。
提案モデルは,最先端のニューラルモデルの品質に適合するだけでなく,音声変換やゼロショット合成といったタスクを可能にする有用な特性も提示する。
論文 参考訳（メタデータ） (2022-03-31T10:21:08Z) - Sentence Bottleneck Autoencoders from Transformer Language Models [53.350633961266375]
我々は、事前訓練されたフリーズトランスフォーマー言語モデルから文レベルのオートエンコーダを構築する。
我々は、文ボトルネックと1層修飾トランスフォーマーデコーダのみを訓練しながら、マスク付き言語モデリングの目的を生成的・認知的言語として適応する。
本研究では,テキスト類似性タスク,スタイル転送,単一文分類タスクにおける事前学習されたトランスフォーマーからの表現をGLUEベンチマークで抽出する手法よりも,大規模な事前学習モデルよりも少ないパラメータを用いて,より高品質な文表現を実現することを示す。
論文 参考訳（メタデータ） (2021-08-31T19:39:55Z) - Controlling Hallucinations at Word Level in Data-to-Text Generation [10.59137381324694]
最先端のニューラルモデルには、アウトプットに誤解を招くステートメントが含まれている。
本稿では,単語レベルのラベルを利用して各トレーニングインスタンスの関連部分を学習できるマルチブランチデコーダを提案する。
我々のモデルは、生成したテキストの流布とコヒーレンスを維持しながら、幻覚を減らし制御することができる。
論文 参考訳（メタデータ） (2021-02-04T18:58:28Z) - Syntax-Enhanced Pre-trained Model [49.1659635460369]
BERTやRoBERTaなどの学習済みモデルを強化するために、テキストの構文構造を活用するという問題を研究する。
既存の手法では、事前学習段階または微調整段階のいずれかでテキストの構文を利用しており、両者の区別に苦しむ。
事前学習と微調整の両方の段階でテキストのシンタックスを利用するモデルを提示する。
論文 参考訳（メタデータ） (2020-12-28T06:48:04Z) - Word Shape Matters: Robust Machine Translation with Visual Embedding [78.96234298075389]
文字レベルNLPモデルの入力シンボルを新たに符号化する。
文字が印刷されたときの画像を通して各文字の形状をエンコードする。
我々はこの新たな戦略を視覚的埋め込みと呼び、NLPモデルの堅牢性を向上させることが期待されている。
論文 参考訳（メタデータ） (2020-10-20T04:08:03Z) - POINTER: Constrained Progressive Text Generation via Insertion-based
Generative Pre-training [93.79766670391618]
ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。
提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。
結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
論文 参考訳（メタデータ） (2020-05-01T18:11:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。