論文の概要: PIN: A Novel Parallel Interactive Network for Spoken Language Understanding

• arxiv url: http://arxiv.org/abs/2009.13431v1
• Date: Mon, 28 Sep 2020 15:59:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 22:00:39.537893
• Title: PIN: A Novel Parallel Interactive Network for Spoken Language Understanding
• Title（参考訳）: PIN: 音声言語理解のための新しい並列対話型ネットワーク
• Authors: Peilin Zhou, Zhiqi Huang, Fenglin Liu, Yuexian Zou
• Abstract要約: 既存の RNN ベースのアプローチでは、ID と SF のタスクは、それらの間の相関情報を利用するために、しばしば共同でモデル化される。 SNIPSとATISという2つのベンチマークデータセットによる実験は、我々のアプローチの有効性を実証している。 さらに,事前学習した言語モデルBERTが生成した発話の特徴埋め込みを用いて,提案手法はすべての比較手法の中で最先端の手法を実現する。
• 参考スコア（独自算出の注目度）: 68.53121591998483
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spoken Language Understanding (SLU) is an essential part of the spoken dialogue system, which typically consists of intent detection (ID) and slot filling (SF) tasks. Recently, recurrent neural networks (RNNs) based methods achieved the state-of-the-art for SLU. It is noted that, in the existing RNN-based approaches, ID and SF tasks are often jointly modeled to utilize the correlation information between them. However, we noted that, so far, the efforts to obtain better performance by supporting bidirectional and explicit information exchange between ID and SF are not well studied.In addition, few studies attempt to capture the local context information to enhance the performance of SF. Motivated by these findings, in this paper, Parallel Interactive Network (PIN) is proposed to model the mutual guidance between ID and SF. Specifically, given an utterance, a Gaussian self-attentive encoder is introduced to generate the context-aware feature embedding of the utterance which is able to capture local context information. Taking the feature embedding of the utterance, Slot2Intent module and Intent2Slot module are developed to capture the bidirectional information flow for ID and SF tasks. Finally, a cooperation mechanism is constructed to fuse the information obtained from Slot2Intent and Intent2Slot modules to further reduce the prediction bias.The experiments on two benchmark datasets, i.e., SNIPS and ATIS, demonstrate the effectiveness of our approach, which achieves a competitive result with state-of-the-art models. More encouragingly, by using the feature embedding of the utterance generated by the pre-trained language model BERT, our method achieves the state-of-the-art among all comparison approaches.
• Abstract（参考訳）: 音声言語理解(SLU)は、通常、意図検出(ID)とスロットフィリング(SF)タスクからなる音声対話システムにおいて不可欠な部分である。 近年、リカレントニューラルネットワーク(RNN)に基づく手法がSLUの最先端を達成している。 既存の RNN ベースのアプローチでは,ID と SF のタスクは,それらの相関情報を利用するために,しばしば共同でモデル化される。 しかし,これまでは,IDとSF間の双方向・明示的な情報交換を支援することで,より優れた性能を得るための取り組みが十分に研究されていない点に留意した。 そこで本研究では,IDとSFの相互誘導をモデル化するために,PIN(Parallel Interactive Network)を提案する。 具体的には、発話が与えられた場合、ガウスの自己注意エンコーダを導入して、ローカルコンテキスト情報をキャプチャ可能な発話のコンテキスト認識機能埋め込みを生成する。 Slot2IntentモジュールとIntent2Slotモジュールは、発話の機能を組み込んで、IDとSFタスクの双方向情報フローをキャプチャする。 最後に,Slot2IntentおよびIntent2Slotモジュールから得られた情報を融合して予測バイアスをさらに低減する協調機構を構築し,SNIPSとATISという2つのベンチマークデータセットを用いた実験により,最先端モデルによる競合的な結果が得られることを示す。 さらに,事前学習した言語モデルBERTが生成した発話の特徴埋め込みを用いて,提案手法はすべての比較手法の中で最先端の手法を実現する。

関連論文リスト

• Towards Spoken Language Understanding via Multi-level Multi-grained Contrastive Learning [50.1035273069458]
  音声言語理解(SLU)はタスク指向対話システムにおける中核的なタスクである。 本稿では,発話レベル,スロットレベル,単語レベルを含む3段階のコントラスト学習を実現するためのマルチレベルMMCLフレームワークを提案する。 本フレームワークは,2つの公開マルチインテリジェントSLUデータセットに対して,最先端の新たな結果を実現する。
  論文  参考訳（メタデータ） (2024-05-31T14:34:23Z)
• Slot Induction via Pre-trained Language Model Probing and Multi-level Contrastive Learning [62.839109775887025]
  トークンレベルのスロットアノテーションの明示的な知識なしでスロット境界を誘導することを目的としたスロットインジェクション(SI)タスク。 PLMから抽出した教師なし意味知識を活用するために、教師なし事前学習言語モデル(PLM)探索とコントラスト学習機構を活用することを提案する。 提案手法は,2つのNLUベンチマークデータセット上でトークンレベルの教師付きモデルとのギャップを埋めることができ,SIタスクに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-08-09T05:08:57Z)
• A Good Student is Cooperative and Reliable: CNN-Transformer Collaborative Learning for Semantic Segmentation [8.110815355364947]
  我々は,CNNベースのモデルとViTベースのモデルを同時に学習できるオンライン知識蒸留(KD)フレームワークを提案する。 提案手法は,最先端のオンライン蒸留法よりも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2023-07-24T07:46:06Z)
• Syntax-Aware Complex-Valued Neural Machine Translation [14.772317918560548]
  本稿では,構文情報を複合値デコーダアーキテクチャに組み込む手法を提案する。 提案モデルは,単語レベルと構文レベルのアテンションスコアを,アテンション機構を用いて,ソース側からターゲット側へ共同で学習する。 実験により,提案手法は2つのデータセット上でのBLEUスコアを大幅に改善できることを示した。
  論文  参考訳（メタデータ） (2023-07-17T15:58:05Z)
• Diverse and Faithful Knowledge-Grounded Dialogue Generation via Sequential Posterior Inference [82.28542500317445]
  本稿では,知識の選択と対話生成が可能な,逐次後推論(Sequential Posterior Inference, SPI)と呼ばれるエンドツーエンド学習フレームワークを提案する。 他の方法とは異なり、SPIは推論ネットワークを必要とせず、後部分布の単純な幾何学を仮定する。
  論文  参考訳（メタデータ） (2023-06-01T21:23:13Z)
• Co-Driven Recognition of Semantic Consistency via the Fusion of Transformer and HowNet Sememes Knowledge [6.184249194474601]
  本稿では,Transformer と HowNet のセメム知識の融合に基づく協調型意味的一貫性認識手法を提案する。 BiLSTMは概念的意味情報をエンコードし、意味的一貫性を推測するために利用される。
  論文  参考訳（メタデータ） (2023-02-21T09:53:19Z)
• Leveraging Advantages of Interactive and Non-Interactive Models for Vector-Based Cross-Lingual Information Retrieval [12.514666775853598]
  対話型モデルと非対話型モデルの利点を活用する新しいフレームワークを提案する。 非対話型アーキテクチャ上でモデルを構築できる半対話型機構を導入するが、各文書を関連付けられた多言語クエリと共にエンコードする。 本手法は,計算効率を維持しながら検索精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-11-03T03:03:19Z)
• InfoBERT: Improving Robustness of Language Models from An Information Theoretic Perspective [84.78604733927887]
  BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。 近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。 本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
  論文  参考訳（メタデータ） (2020-10-05T20:49:26Z)
• Cascaded Human-Object Interaction Recognition [175.60439054047043]
  マルチステージで粗大なHOI理解のためのカスケードアーキテクチャを提案する。 各段階で、インスタンスローカライゼーションネットワークは、HOI提案を段階的に洗練し、インタラクション認識ネットワークにフィードする。 慎重に設計された人間中心の関係機能により、これらの2つのモジュールは効果的な相互作用理解に向けて協調的に機能する。
  論文  参考訳（メタデータ） (2020-03-09T17:05:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。