論文の概要: NLU++: A Multi-Label, Slot-Rich, Generalisable Dataset for Natural
Language Understanding in Task-Oriented Dialogue
- arxiv url: http://arxiv.org/abs/2204.13021v1
- Date: Wed, 27 Apr 2022 16:00:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-28 17:15:42.810939
- Title: NLU++: A Multi-Label, Slot-Rich, Generalisable Dataset for Natural
Language Understanding in Task-Oriented Dialogue
- Title（参考訳）: NLU++:タスク指向対話における自然言語理解のための汎用データセット
- Authors: I\~nigo Casanueva, Ivan Vuli\'c, Georgios Spithourakis, Pawe{\l}
Budzianowski
- Abstract要約: タスク指向対話(ToD)システムにおける自然言語理解(NLU)のための新しいデータセットであるNLU++を提案する。
NLU++は2つのドメイン(BANKINGとHOTELS)に分割されており、現在一般的に使用されているNLUデータセットよりもいくつかの重要な改善が行われている。
- 参考スコア（独自算出の注目度）: 53.54788957697192
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present NLU++, a novel dataset for natural language understanding (NLU) in
task-oriented dialogue (ToD) systems, with the aim to provide a much more
challenging evaluation environment for dialogue NLU models, up to date with the
current application and industry requirements. NLU++ is divided into two
domains (BANKING and HOTELS) and brings several crucial improvements over
current commonly used NLU datasets. \textbf{1)} NLU++ provides fine-grained
domain ontologies with a large set of challenging \textit{multi-intent}
sentences, introducing and validating the idea of \textit{intent modules} that
can be combined into complex intents that convey complex user goals, combined
with finer-grained and thus more challenging slot sets. \textbf{2)} The
ontology is divided into \textit{domain-specific} and \textit{generic} (i.e.,
domain-universal) intent modules that overlap across domains, promoting
cross-domain reusability of annotated examples. \textbf{3)} The dataset design
has been inspired by the problems observed in industrial ToD systems, and
\textbf{4)} it has been collected, filtered and carefully annotated by dialogue
NLU experts, yielding high-quality annotated data. Finally, we benchmark a
series of current state-of-the-art NLU models on NLU++; the results demonstrate
the challenging nature of the dataset, especially in low-data regimes, the
validity of `intent modularisation', and call for further research on ToD NLU.
- Abstract（参考訳）: 本稿では,タスク指向対話(ToD)システムにおける自然言語理解(NLU)のための新しいデータセットであるNLU++について述べる。
NLU++は2つのドメイン(BANKINGとHOTELS)に分割されており、現在の一般的なNLUデータセットよりもいくつかの重要な改善が行われている。
nlu++は、大きな挑戦的な \textit{multi-intent} 文セットを持つきめ細かいドメインオントロジーを提供し、複雑なユーザー目標を伝達する複雑なインテントに結合できる \textit{intent modules} の概念を導入し、検証する。
オントロジーは \textit{domain-specific} と \textit{generic} (ドメイン・ユニバーサル) のインテントモジュールに分割され、ドメイン間で重複し、アノテーション付き例のクロスドメイン再利用を促進する。
データセットの設計は、産業用ToDシステムで見られる問題にインスパイアされ、そして \textbf{4)} は、対話NLUの専門家によって収集され、フィルタリングされ、慎重に注釈付けされ、高品質な注釈付きデータが得られる。
最後に、NLU++上で現在最先端のNLUモデルをベンチマークし、特に低データ状態におけるデータセットの難易度、'インテリジェントなモジュール化'の有効性を示し、ToD NLUに関するさらなる研究を呼びかける。
関連論文リスト
- Towards Spoken Language Understanding via Multi-level Multi-grained Contrastive Learning [50.1035273069458]
音声言語理解(SLU)はタスク指向対話システムにおける中核的なタスクである。
本稿では,発話レベル,スロットレベル,単語レベルを含む3段階のコントラスト学習を実現するためのマルチレベルMMCLフレームワークを提案する。
本フレームワークは,2つの公開マルチインテリジェントSLUデータセットに対して,最先端の新たな結果を実現する。
論文 参考訳（メタデータ） (2024-05-31T14:34:23Z) - SQATIN: Supervised Instruction Tuning Meets Question Answering for Improved Dialogue NLU [21.805799634495486]
SQATIN は (i) 命令チューニングと (ii) 質問応答に基づく ID および VE タスクの定式化に基づく対話型 NLU のための新しいフレームワークである。
SQATINは対話型NLUの新たな状態を設定し、現在のモデルの性能を大幅に上回っている。
論文 参考訳（メタデータ） (2023-11-16T01:57:00Z) - DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain
Question Answering over Knowledge Base and Text [73.68051228972024]
大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。
検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
論文 参考訳（メタデータ） (2023-10-31T04:37:57Z) - Multi-Grained Multimodal Interaction Network for Entity Linking [65.30260033700338]
マルチモーダルエンティティリンクタスクは、マルチモーダル知識グラフへの曖昧な言及を解決することを目的としている。
MELタスクを解決するための新しいMulti-Grained Multimodal InteraCtion Network $textbf(MIMIC)$ frameworkを提案する。
論文 参考訳（メタデータ） (2023-07-19T02:11:19Z) - MULTI3NLU++: A Multilingual, Multi-Intent, Multi-Domain Dataset for
Natural Language Understanding in Task-Oriented Dialogue [115.32009638844059]
英語のみのNLU++データセットを拡張して、手動による翻訳を高、中、低リソース言語に含めます。
Multi3NLU++はそのマルチインテント特性のため、複雑で自然なユーザ目標を表現している。
我々はMulti3NLU++を用いて、インテント検出やスロットラベリングといった自然言語理解タスクに対して、最先端の多言語モデルをベンチマークする。
論文 参考訳（メタデータ） (2022-12-20T17:34:25Z) - Cross-Lingual Dialogue Dataset Creation via Outline-Based Generation [70.81596088969378]
言語間アウトラインに基づく対話データセット(COD)は、自然言語の理解を可能にする。
CODは、4つの異なる言語で対話状態の追跡とエンドツーエンドの対話モデリングと評価を可能にする。
論文 参考訳（メタデータ） (2022-01-31T18:11:21Z) - AutoNLU: An On-demand Cloud-based Natural Language Understanding System
for Enterprises [21.25334903155791]
Photoshopの様々な画像編集要求を処理するための実用的NLUモデルを構築した。
2つの公開ベンチマークで最先端の結果が得られる強力なキーフレーズ抽出モデルを構築した。
どちらの場合でも、エンドユーザは、データセットをAutoNLUが使用する共通フォーマットに変換するために、少量のコードを書くだけで済みます。
論文 参考訳（メタデータ） (2020-11-26T20:51:57Z) - Schema-Guided Natural Language Generation [13.11874946084068]
誘導自然言語生成(SG-NLG)の課題について紹介する。
SG-NLGでは、まだ自然言語プロンプトを生成することが目標であるが、SG-NLGでは、入力MRとコンテキスト情報を提供するリッチスキーマがペアリングされる。
このデータセットに基づいて、ニューラルネットワーク生成のためのさまざまな最先端モデルをトレーニングし、リッチスキーマ情報を含む多くのケースにおいて、私たちのモデルがより高い品質の出力を生成することができることを示す。
論文 参考訳（メタデータ） (2020-05-11T23:01:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。