論文の概要: Joint Multiple Intent Detection and Slot Filling via Self-distillation

• arxiv url: http://arxiv.org/abs/2108.08042v1
• Date: Wed, 18 Aug 2021 08:45:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-19 14:32:36.741291
• Title: Joint Multiple Intent Detection and Slot Filling via Self-distillation
• Title（参考訳）: 自己蒸留によるジョイントマルチインテント検出とスロット充填
• Authors: Lisong Chen, Peilin Zhou and Yuexian Zou
• Abstract要約: Intent Detection と slot fill は、自然言語理解(NLU)における2つの主要なタスクであり、発話からユーザのニーズを特定する。 これまでのほとんどの研究は、各発話が1つの意図にしか対応していないと仮定しており、多くの場合、ユーザーが発する発話が複数の意図を含む可能性があるという事実を無視している。 マルチインテリジェントNLUのための新しい自己蒸留結合型NLUモデル(SDJN)を提案する。
• 参考スコア（独自算出の注目度）: 29.17761742391222
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Intent detection and slot filling are two main tasks in natural language understanding (NLU) for identifying users' needs from their utterances. These two tasks are highly related and often trained jointly. However, most previous works assume that each utterance only corresponds to one intent, ignoring the fact that a user utterance in many cases could include multiple intents. In this paper, we propose a novel Self-Distillation Joint NLU model (SDJN) for multi-intent NLU. First, we formulate multiple intent detection as a weakly supervised problem and approach with multiple instance learning (MIL). Then, we design an auxiliary loop via self-distillation with three orderly arranged decoders: Initial Slot Decoder, MIL Intent Decoder, and Final Slot Decoder. The output of each decoder will serve as auxiliary information for the next decoder. With the auxiliary knowledge provided by the MIL Intent Decoder, we set Final Slot Decoder as the teacher model that imparts knowledge back to Initial Slot Decoder to complete the loop. The auxiliary loop enables intents and slots to guide mutually in-depth and further boost the overall NLU performance. Experimental results on two public multi-intent datasets indicate that our model achieves strong performance compared to others.
• Abstract（参考訳）: Intent Detection と slot fill は、自然言語理解(NLU)における2つの主要なタスクであり、発話からユーザのニーズを特定する。 この2つのタスクは高度に関連があり、しばしば共同でトレーニングされる。 しかし、以前の作品の多くは、各発話は一つの意図にしか対応しないと仮定しており、多くの場合、ユーザの発話には複数の意図が含まれる可能性があるという事実を無視している。 本稿では,多元NLUのための新しい自己蒸留結合型NLUモデル(SDJN)を提案する。 まず,マルチインテント検出を弱教師付き問題として定式化し,マルチインスタンス学習(MIL)によるアプローチを行う。 次に,初期スロットデコーダ,ミルインテントデコーダ,最終スロットデコーダの順に配置した3つのデコーダによる自己蒸留による補助ループを設計する。 各デコーダの出力は、次のデコーダの補助情報として機能する。 MIL Intent Decoderが提供する補助的知識を用いて、Final Slot Decoderを、ループを完了するためにInitial Slot Decoderに知識を与える教師モデルとして設定した。 補助ループにより、インテントとスロットが相互に奥行きを案内し、全体的なNLU性能をさらに向上させることができる。 2つの公開マルチインテリジェントデータセットに対する実験結果から,本モデルが他モデルと比較して高い性能を達成することが示された。

関連論文リスト

• Slot Induction via Pre-trained Language Model Probing and Multi-level Contrastive Learning [62.839109775887025]
  トークンレベルのスロットアノテーションの明示的な知識なしでスロット境界を誘導することを目的としたスロットインジェクション(SI)タスク。 PLMから抽出した教師なし意味知識を活用するために、教師なし事前学習言語モデル(PLM)探索とコントラスト学習機構を活用することを提案する。 提案手法は,2つのNLUベンチマークデータセット上でトークンレベルの教師付きモデルとのギャップを埋めることができ,SIタスクに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-08-09T05:08:57Z)
• Think Twice before Driving: Towards Scalable Decoders for End-to-End Autonomous Driving [74.28510044056706]
  既存のメソッドは通常、分離されたエンコーダ-デコーダパラダイムを採用する。 本研究は,この問題を2つの原則で緩和することを目的としている。 まず、エンコーダの特徴に基づいて、粗い将来の位置と行動を予測する。 そして、その位置と動作を条件に、将来のシーンを想像して、それに従って運転した場合にその影響を確認する。
  論文  参考訳（メタデータ） (2023-05-10T15:22:02Z)
• Explainable Slot Type Attentions to Improve Joint Intent Detection and Slot Filling [39.22929726787844]
  統合意図検出とスロット充填は自然言語理解(NLU)における重要な研究課題である 既存の統合インテントとスロットフィリングシステムは、全てのスロットタイプで機能を分析し、計算する。 i) 精度を向上させるために追加のスロットタイプ固有の特徴を生成することを学習し、(ii) 共同NLUモデルにおいて初めてスロットフィリング決定に関する説明を提供する、という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-10-19T00:56:10Z)
• String-based Molecule Generation via Multi-decoder VAE [56.465033997245776]
  可変オートエンコーダ(VAE)による文字列型分子生成の問題点について検討する。 本稿では,そのタスクに対するVAEの性能を改善するための,シンプルで効果的なアイデアを提案する。 実験では,提案するVAEモデルを用いて,領域外分布からサンプルを生成する。
  論文  参考訳（メタデータ） (2022-08-23T03:56:30Z)
• Safe Multi-Task Learning [3.508126539399186]
  我々は,すべてのタスク,プライベートエンコーダ,ゲート,プライベートデコーダによって共有される公開エンコーダで構成される,安全なマルチタスク学習(SMTL)モデルを提案する。 推論段階での保存コストを低減するため,公開エンコーダと対応するプライベートエンコーダのいずれかを選択することができるSMTLのライトバージョンが提案されている。
  論文  参考訳（メタデータ） (2021-11-20T14:21:02Z)
• SLIM: Explicit Slot-Intent Mapping with BERT for Joint Multi-Intent Detection and Slot Filling [26.037061005620263]
  タスク指向システムにおいて、発話レベルのインテント検出とトークンレベルのスロットフィリングは自然言語理解(NLU)のための2つの重要なタスクである。 本稿では,BERTに基づくマルチインテント検出とスロットフィリングを共同で学習する,SLIMと呼ばれるマルチインテントNLUフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-26T11:33:39Z)
• Scheduled Sampling in Vision-Language Pretraining with Decoupled Encoder-Decoder Network [99.03895740754402]
  本稿では,2つの切り離されたクロスモーダルエンコーダとデコーダが関与するエンコーダ・デコーダ構造の2ストリーム分離設計を提案する。 その代替として,2パス方式でエンコーダデコーダを事前学習することで,そのような不一致を緩和する一次サンプリング戦略を提案する。
  論文  参考訳（メタデータ） (2021-01-27T17:36:57Z)
• Two are Better than One: Joint Entity and Relation Extraction with Table-Sequence Encoders [13.999110725631672]
  2つの異なるエンコーダは、表現学習プロセスにおいて互いに助け合うように設計されている。 実験により,エム1エンコーダよりもエム2エンコーダの利点が確認された。
  論文  参考訳（メタデータ） (2020-10-08T09:10:55Z)
• Suppress and Balance: A Simple Gated Network for Salient Object Detection [89.88222217065858]
  両問題を同時に解くための単純なゲートネットワーク(GateNet)を提案する。 多レベルゲートユニットの助けを借りて、エンコーダからの貴重なコンテキスト情報をデコーダに最適に送信することができる。 さらに,提案したFold-ASPP操作(Fold-ASPP)に基づくアトラス空間ピラミッドプーリングを用いて,様々なスケールのサリアンオブジェクトを正確に位置決めする。
  論文  参考訳（メタデータ） (2020-07-16T02:00:53Z)
• Efficient Intent Detection with Dual Sentence Encoders [53.16532285820849]
  本稿では,USE や ConveRT などの事前訓練された二重文エンコーダによるインテント検出手法を提案する。 提案するインテント検出器の有用性と適用性を示し,完全なBERT-Largeモデルに基づくインテント検出器よりも優れた性能を示す。 コードだけでなく、新しい挑戦的な単一ドメイン意図検出データセットもリリースしています。
  論文  参考訳（メタデータ） (2020-03-10T15:33:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。