Fugu-MT 論文翻訳(概要): Encoding Syntactic Knowledge in Transformer Encoder for Intent Detection and Slot Filling

論文の概要: Encoding Syntactic Knowledge in Transformer Encoder for Intent Detection and Slot Filling

arxiv url: http://arxiv.org/abs/2012.11689v1
Date: Mon, 21 Dec 2020 21:25:11 GMT
ステータス: 処理完了
システム内更新日: 2021-04-27 08:31:27.241410
Title: Encoding Syntactic Knowledge in Transformer Encoder for Intent Detection and Slot Filling
Title（参考訳）: インテント検出とスロットフィリングのためのトランスフォーマーエンコーダにおける構文知識の符号化
Authors: Jixuan Wang, Kai Wei, Martin Radfar, Weiwei Zhang, Clement Chung
Abstract要約: 本稿では,インテント検出とスロットフィリングのための構文知識を符号化したトランスフォーマーエンコーダアーキテクチャを提案する。シンタクティックな知識をトランスフォーマーエンコーダにエンコードし、マルチタスク学習を通じて各トークンの構文的パース祖先と部分音声を予測する。
参考スコア（独自算出の注目度）: 6.234581622120001
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We propose a novel Transformer encoder-based architecture with syntactical knowledge encoded for intent detection and slot filling. Specifically, we encode syntactic knowledge into the Transformer encoder by jointly training it to predict syntactic parse ancestors and part-of-speech of each token via multi-task learning. Our model is based on self-attention and feed-forward layers and does not require external syntactic information to be available at inference time. Experiments show that on two benchmark datasets, our models with only two Transformer encoder layers achieve state-of-the-art results. Compared to the previously best performed model without pre-training, our models achieve absolute F1 score and accuracy improvement of 1.59% and 0.85% for slot filling and intent detection on the SNIPS dataset, respectively. Our models also achieve absolute F1 score and accuracy improvement of 0.1% and 0.34% for slot filling and intent detection on the ATIS dataset, respectively, over the previously best performed model. Furthermore, the visualization of the self-attention weights illustrates the benefits of incorporating syntactic information during training.
Abstract（参考訳）: 本稿では,インテント検出とスロットフィリングのための構文知識を符号化したトランスフォーマーエンコーダアーキテクチャを提案する。具体的には、構文的知識をトランスフォーマーエンコーダにエンコードし、マルチタスク学習を通じて各トークンの構文的パース祖先と部分音声を予測する。本モデルは,自己着脱層とフィードフォワード層に基づいており,推論時に外部の構文情報を必要としない。実験により、2つのベンチマークデータセットにおいて、2つのトランスフォーマーエンコーダ層しか持たないモデルが最先端の結果を得ることが示された。事前学習を行わないモデルと比較すると,SNIPSデータセット上でのスロットフィリングとインテント検出において,絶対F1スコアと精度が1.59%,0.85%向上した。また,本モデルでは,atisデータセットのスロット充填率とインテント検出率について,従来の最良モデルと比較して,絶対的なf1スコアと0.1%,0.34%の精度向上を達成している。さらに, 自己着力重みの可視化は, 訓練中に統語的情報を取り込むことの利点を示す。

関連論文リスト

Improved Out-of-Scope Intent Classification with Dual Encoding and Threshold-based Re-Classification [6.975902383951604]
現在の手法は、予測不可能なアウトリーチ分布で困難に直面している。本稿では,これらの課題に対処するため,Dual for Threshold-Based Re-Classification (DETER)を提案する。我々のモデルは以前のベンチマークより優れており、未知のインテントに対するF1スコアの13%と5%に向上しています。
論文参考訳（メタデータ） (2024-05-30T11:46:42Z)
A Principled Hierarchical Deep Learning Approach to Joint Image Compression and Classification [27.934109301041595]
本研究は,エンコーダを誘導し,コンパクトで差別的で,一般的な拡張/変換に適した特徴を抽出する3段階共同学習戦略を提案する。 CIFAR-10では最大1.5%,CIFAR-100では3%,従来のE2Eクロスエントロピートレーニングでは3%の精度向上が得られた。
論文参考訳（メタデータ） (2023-10-30T15:52:18Z)
Leveraging Pretrained ASR Encoders for Effective and Efficient End-to-End Speech Intent Classification and Slot Filling [13.515248068374625]
本稿では,音声認識(ASR)で事前訓練されたエンコーダを用いて,エンド・ツー・エンド(E2E)コンバータ・トランスフォーマーモデルの初期化を提案する。 SLURPデータセットでは,90.14%の意図精度,82.27%のSLURP-F1が得られた。
論文参考訳（メタデータ） (2023-07-13T20:50:19Z)
Self-Distilled Masked Auto-Encoders are Efficient Video Anomaly Detectors [117.61449210940955]
ビデオフレームレベルで適用された軽量マスク付きオートエンコーダ(AE)に基づく効率的な異常事象検出モデルを提案する。動き勾配に基づく重みトークンへのアプローチを導入し、静的背景シーンから前景オブジェクトへ焦点を移す。トレーニングビデオの強化のために合成異常事象を生成し,マスク付きAEモデルを用いてオリジナルのフレームを共同で再構築する。
論文参考訳（メタデータ） (2023-06-21T06:18:05Z)
Convolutional Neural Networks for the classification of glitches in gravitational-wave data streams [52.77024349608834]
我々は、高度LIGO検出器のデータから過渡ノイズ信号(グリッチ)と重力波を分類する。どちらも、Gravity Spyデータセットを使用して、スクラッチからトレーニングされた、教師付き学習アプローチのモデルを使用します。また、擬似ラベルの自動生成による事前学習モデルの自己教師型アプローチについても検討する。
論文参考訳（メタデータ） (2023-03-24T11:12:37Z)
Decoder Tuning: Efficient Language Understanding as Decoding [84.68266271483022]
本稿では,タスク固有のデコーダネットワークを出力側で最適化するデコーダチューニング(DecT)を提案する。勾配ベースの最適化により、DecTは数秒以内にトレーニングでき、サンプル毎に1つのPクエリしか必要としない。我々は、広範囲にわたる自然言語理解実験を行い、DecTが200ドル以上のスピードアップで最先端のアルゴリズムを大幅に上回っていることを示す。
論文参考訳（メタデータ） (2022-12-16T11:15:39Z)
Confidence-Guided Data Augmentation for Deep Semi-Supervised Training [0.9968241071319184]
特徴空間の最も困難な領域からの学習を強調する半教師付き学習設定のための新しいデータ拡張手法を提案する。 CIFAR-100とSTL-10の2つのベンチマークRGBデータセットを用いて実験を行い、提案手法が精度とロバスト性の観点から分類性能を向上させることを示す。
論文参考訳（メタデータ） (2022-09-16T21:23:19Z)
Revisiting Classifier: Transferring Vision-Language Models for Video Recognition [102.93524173258487]
ダウンストリームタスクのためのタスク非依存の深層モデルから知識を伝達することは、コンピュータビジョン研究において重要なトピックである。本研究では,映像分類作業における知識の伝達に着目した。予測された言語モデルを用いて、効率的な翻訳学習のための適切なセマンティックターゲットを生成する。
論文参考訳（メタデータ） (2022-07-04T10:00:47Z)
E2S2: Encoding-Enhanced Sequence-to-Sequence Pretraining for Language Understanding and Generation [95.49128988683191]
シークエンス・ツー・シークエンス(seq2seq)学習は、大規模事前学習言語モデルにおいて一般的な方法である。本稿では,エンコーディング強化のseq2seq事前学習戦略,すなわちE2S2を提案する。 E2S2は、より効率的な自己教師付き情報をエンコーダに統合することで、Seq2seqモデルを改善する。
論文参考訳（メタデータ） (2022-05-30T08:25:36Z)
Relaxed Attention: A Simple Method to Boost Performance of End-to-End Automatic Speech Recognition [27.530537066239116]
トレーニング中のエンコーダ・デコーダの注意重みに対する均一分布の段階的注入である緩和注意の概念を導入する。ゆるやかな注意で訓練されたトランスフォーマーは、外部言語モデルを用いたデコーディングにおいて、標準ベースラインモデルよりも一貫して優れていた。 WSJでは,単語誤り率3.65%のトランスフォーマーに基づくエンドツーエンド音声認識のベンチマークを新たに設定した。
論文参考訳（メタデータ） (2021-07-02T21:01:17Z)
Autoencoding Variational Autoencoder [56.05008520271406]
我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
論文参考訳（メタデータ） (2020-12-07T14:16:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。