論文の概要: AWTE-BERT:Attending to Wordpiece Tokenization Explicitly on BERT for
Joint Intent Classification and SlotFilling
- arxiv url: http://arxiv.org/abs/2211.14829v1
- Date: Sun, 27 Nov 2022 13:49:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-29 15:02:25.286990
- Title: AWTE-BERT:Attending to Wordpiece Tokenization Explicitly on BERT for
Joint Intent Classification and SlotFilling
- Title（参考訳）: AWTE-BERT:共同入力分類とスロットフィリングのためのBERTによるワードピースのトークン化
- Authors: Yu Guo, Zhilong Xie, Xingyan Chen, Leilei Wang and Gang Wu
- Abstract要約: BERT (Bidirectional Representations from Transformers) は2つのタスクを共同で最適化する。
本稿では,ワードピーストークン化後の複数のサブトークン特徴を明示的にモデル化したBERTに基づく新しいジョイントモデルを提案する。
実験により,本モデルが意図分類精度,スロットフィリングF1,文レベルの意味的フレーム精度を大幅に向上することを確認した。
- 参考スコア（独自算出の注目度）: 5.055041969282158
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Intent classification and slot filling are two core tasks in natural language
understanding (NLU). The interaction nature of the two tasks makes the joint
models often outperform the single designs. One of the promising solutions,
called BERT (Bidirectional Encoder Representations from Transformers), achieves
the joint optimization of the two tasks. BERT adopts the wordpiece to tokenize
each input token into multiple sub-tokens, which causes a mismatch between the
tokens and the labels lengths. Previous methods utilize the hidden states
corresponding to the first sub-token as input to the classifier, which limits
performance improvement since some hidden semantic informations is discarded in
the fine-tune process. To address this issue, we propose a novel joint model
based on BERT, which explicitly models the multiple sub-tokens features after
wordpiece tokenization, thereby generating the context features that contribute
to slot filling. Specifically, we encode the hidden states corresponding to
multiple sub-tokens into a context vector via the attention mechanism. Then, we
feed each context vector into the slot filling encoder, which preserves the
integrity of the sentence. Experimental results demonstrate that our proposed
model achieves significant improvement on intent classification accuracy, slot
filling F1, and sentence-level semantic frame accuracy on two public benchmark
datasets. The F1 score of the slot filling in particular has been improved from
96.1 to 98.2 (2.1% absolute) on the ATIS dataset.
- Abstract（参考訳）: インテント分類とスロットフィリングは、自然言語理解(NLU)における2つの中核的なタスクである。
2つのタスクの相互作用の性質は、ジョイントモデルが単一設計よりも優れている。
BERT(Bidirectional Encoder Representations from Transformers)と呼ばれる有望なソリューションの1つは、2つのタスクを共同で最適化する。
bertはワードピースを採用し、各入力トークンを複数のサブトークンにトークン化することで、トークンとラベルの長さのミスマッチを引き起こす。
従来の方法では、分類器への入力として第1サブソートに対応する隠れた状態を使用するが、隠れた意味情報の一部が微調整プロセスで破棄されるため、性能改善が制限される。
本稿では,単語ピースのトークン化後の複数のサブトークン特徴を明示的にモデル化し,スロットフィリングに寄与するコンテキスト特徴を生成する,BERTに基づく新しいジョイントモデルを提案する。
具体的には,複数のサブトークンに対応する隠蔽状態を,アテンション機構を介してコンテキストベクトルに符号化する。
そして,各文脈ベクトルをスロット充填エンコーダに入力し,文の完全性を維持する。
実験の結果,提案モデルは2つのベンチマークデータセットにおいて,意図分類精度,スロット充填f1,文レベルの意味フレーム精度において有意な改善が得られた。
特にスロット充填のf1スコアは、atisデータセットの96.1から98.2(絶対値2.1%)に向上した。
関連論文リスト
- Empowering Character-level Text Infilling by Eliminating Sub-Tokens [34.37743927032878]
FIM-SEは"Fill-In-the-Middle"の略で、開始文字と終了文字の制約がある。
本稿では,FIM-SEについて紹介する。
論文 参考訳（メタデータ） (2024-05-27T12:21:48Z) - SEP: Self-Enhanced Prompt Tuning for Visual-Language Model [93.94454894142413]
SEP(Self-Enhanced Prompt Tuning)という新しいアプローチを導入する。
SEPは、テキストレベルの埋め込みと視覚レベルの埋め込みの両方を強化するために、差別的な事前知識を明示的に取り入れている。
様々なベンチマークやタスクの総合的な評価は、プロンプトチューニングにおけるSEPの有効性を確認している。
論文 参考訳（メタデータ） (2024-05-24T13:35:56Z) - Object Recognition as Next Token Prediction [99.40793702627396]
オブジェクト認識を次のトークン予測として提案する。
その考え方は、画像埋め込みからフォームラベルへのテキストトークンの自動回帰予測を行う言語デコーダを適用することである。
論文 参考訳（メタデータ） (2023-12-04T18:58:40Z) - RetroMAE v2: Duplex Masked Auto-Encoder For Pre-Training
Retrieval-Oriented Language Models [3.4523793651427113]
本稿では,[] と通常のトークンの両方のコンテキスト化埋め込みにおける意味表現能力の向上を目標とする,二重マスク付き自動エンコーダ DupMAE を提案する。
DupMAEは単純だが経験的競争力があり、デコードコストが小さいため、モデルの表現能力と転送可能性に大きく貢献する。
論文 参考訳（メタデータ） (2022-11-16T08:57:55Z) - Text Summarization with Oracle Expectation [88.39032981994535]
抽出要約は、文書の中で最も重要な文を識別し、連結することによって要約を生成する。
ほとんどの要約データセットは、文書文が要約に値するかどうかを示す金のラベルを持っていない。
本稿では,ソフトな予測に基づく文ラベルを生成する,シンプルで効果的なラベル付けアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-09-26T14:10:08Z) - Tokenwise Contrastive Pretraining for Finer Speech-to-BERT Alignment in
End-to-End Speech-to-Intent Systems [31.18865184576272]
この作業は、音声の埋め込みとBERTの埋め込みをトークン単位で整列させる、ずっと効率的できめ細かな方法で、これを行うためのステップです。
音声エンコーダからトークンレベルのコンテキスト埋め込みを抽出するために,クロスモーダルアテンション機構を用いた,シンプルながら斬新な手法を提案する。
音声を用いて意図認識を行うための事前訓練モデルの微調整により、2つの広く使用されているSLUデータセット上での最先端の性能が直接得られる。
論文 参考訳（メタデータ） (2022-04-11T15:24:25Z) - Speaker Embedding-aware Neural Diarization: a Novel Framework for
Overlapped Speech Diarization in the Meeting Scenario [51.5031673695118]
重なり合う音声のダイアリゼーションを単一ラベル予測問題として再構成する。
話者埋め込み認識型ニューラルダイアリゼーション(SEND)システムを提案する。
論文 参考訳（メタデータ） (2022-03-18T06:40:39Z) - Offensive Language Detection with BERT-based models, By Customizing
Attention Probabilities [0.0]
本稿では,攻撃言語検出タスクにおけるBERTモデルの性能向上手法を提案する。
我々は、注意マスクの入力を変更して、より効果的な単語埋め込みを作成することにより、注意確率をカスタマイズする。
最も良くなったのは、英語とペルシア語でそれぞれ2%と10%であった。
論文 参考訳（メタデータ） (2021-10-11T10:23:44Z) - Fast End-to-End Speech Recognition via a Non-Autoregressive Model and
Cross-Modal Knowledge Transferring from BERT [72.93855288283059]
LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。
モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
論文 参考訳（メタデータ） (2021-02-15T15:18:59Z) - R$^2$-Net: Relation of Relation Learning Network for Sentence Semantic
Matching [58.72111690643359]
文意味マッチングのための関係学習ネットワーク(R2-Net)を提案する。
最初にBERTを使用して、グローバルな視点から入力文をエンコードします。
次に、cnnベースのエンコーダは、ローカルな視点からキーワードやフレーズ情報をキャプチャするように設計されている。
関係情報抽出にラベルを十分に活用するために,関係分類タスクの自己教師付き関係性を導入する。
論文 参考訳（メタデータ） (2020-12-16T13:11:30Z) - Stacked DeBERT: All Attention in Incomplete Data for Text Classification [8.900866276512364]
変換器から双方向表現を重畳するスタックドデノナイズ(Stacked Denoising Bidirectional Representations)を提案する。
本モデルでは, 感情や意図の分類作業において, 音声テキスト誤りのあるツイートやテキストに現れる非公式/不正テキストにおいて, F1スコアが向上し, 堅牢性が向上したことを示す。
論文 参考訳（メタデータ） (2020-01-01T04:49:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。