論文の概要: Prior Knowledge Driven Label Embedding for Slot Filling in Natural Language Understanding

• arxiv url: http://arxiv.org/abs/2003.09831v1
• Date: Sun, 22 Mar 2020 07:27:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 05:05:19.522314
• Title: Prior Knowledge Driven Label Embedding for Slot Filling in Natural Language Understanding
• Title（参考訳）: 自然言語理解におけるスロット充填のための事前知識駆動ラベル埋め込み
• Authors: Su Zhu, Zijian Zhao, Rao Ma, and Kai Yu
• Abstract要約: 本稿では,新しいラベル埋め込み型スロットフィリングフレームワークを提案する。 スロットに関する様々な事前知識を組み込むために,3つの符号化手法について検討した。 単一ドメインおよびドメイン適応タスクの実験は、ラベルの埋め込みが大幅なパフォーマンス向上を実現することを示している。
• 参考スコア（独自算出の注目度）: 28.71402670240912
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Traditional slot filling in natural language understanding (NLU) predicts a one-hot vector for each word. This form of label representation lacks semantic correlation modelling, which leads to severe data sparsity problem, especially when adapting an NLU model to a new domain. To address this issue, a novel label embedding based slot filling framework is proposed in this paper. Here, distributed label embedding is constructed for each slot using prior knowledge. Three encoding methods are investigated to incorporate different kinds of prior knowledge about slots: atomic concepts, slot descriptions, and slot exemplars. The proposed label embeddings tend to share text patterns and reuses data with different slot labels. This makes it useful for adaptive NLU with limited data. Also, since label embedding is independent of NLU model, it is compatible with almost all deep learning based slot filling models. The proposed approaches are evaluated on three datasets. Experiments on single domain and domain adaptation tasks show that label embedding achieves significant performance improvement over traditional one-hot label representation as well as advanced zero-shot approaches.
• Abstract（参考訳）: 自然言語理解(NLU)における伝統的なスロットフィリングは、各単語の1ホットベクトルを予測する。 このようなラベル表現には意味的相関モデリングが欠如しており、特にnluモデルを新しいドメインに適応する場合、深刻なデータスパーシティ問題を引き起こす。 そこで本稿では,新しいラベル埋め込み型スロット充填フレームワークを提案する。 ここで、事前知識を用いて各スロットに分散ラベル埋め込みを構築する。 3つのエンコーディング手法を用いて、アトミック概念、スロット記述、スロット例の3種類の先行知識を組み込む。 提案したラベル埋め込みはテキストパターンを共有し、異なるスロットラベルでデータを再利用する傾向がある。 これにより、限られたデータを持つ適応的なNLUに役立ちます。 また、ラベル埋め込みはNLUモデルとは独立であるため、ほとんど全てのディープラーニングベースのスロットフィリングモデルと互換性がある。 提案手法は3つのデータセットで評価される。 単一ドメインとドメイン適応タスクにおける実験は、ラベル埋め込みが従来のワンホットラベル表現や先進的なゼロショットアプローチよりも大幅にパフォーマンスが向上することを示している。

関連論文リスト

• Description-Enhanced Label Embedding Contrastive Learning for Text Classification [65.01077813330559]
  モデル学習プロセスにおける自己監督型学習(SSL)と新しい自己監督型関係関係(R2)分類タスクの設計 テキスト分類とR2分類を最適化対象として扱うテキスト分類のための関係学習ネットワーク(R2-Net)の関係について検討する。 ラベルセマンティックラーニングのためのマルチアスペクト記述を得るためのWordNetからの外部知識。
  論文  参考訳（メタデータ） (2023-06-15T02:19:34Z)
• Label-Retrieval-Augmented Diffusion Models for Learning from Noisy Labels [61.97359362447732]
  ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。 本稿では,生成モデルの観点からラベルノイズ問題を再構成する。 我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
  論文  参考訳（メタデータ） (2023-05-31T03:01:36Z)
• Exploring Structured Semantic Prior for Multi Label Recognition with Incomplete Labels [60.675714333081466]
  不完全なラベルを持つマルチラベル認識(MLR)は非常に難しい。 最近の研究は、視覚言語モデルであるCLIPにおける画像とラベルの対応を探り、不十分なアノテーションを補うことを目指している。 我々は,MLRにおけるラベル管理の欠如を,構造化されたセマンティクスを導出することにより,不完全なラベルで修復することを提唱する。
  論文  参考訳（メタデータ） (2023-03-23T12:39:20Z)
• Label Name is Mantra: Unifying Point Cloud Segmentation across Heterogeneous Datasets [17.503843467554592]
  本稿では,異なるラベル集合を持つ異種データセットからの学習を支援する原理的アプローチを提案する。 我々の考えは、学習済みの言語モデルを用いて、ラベル名を用いて離散ラベルを連続的な潜在空間に埋め込むことである。 私たちのモデルは最先端の技術を大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2023-03-19T06:14:22Z)
• Enhancing Slot Tagging with Intent Features for Task Oriented Natural Language Understanding using BERT [0.0]
  本研究は,3つの手法を用いて意図ラベルの特徴を活用することによる,関節インテントとスロット検出モデルのスロットタギングタスクの効果について検討する。 我々は,音声言語データセットSNIPSとATISのベンチマークおよび大規模プライベートBixbyデータセットの評価を行った。
  論文  参考訳（メタデータ） (2022-05-19T17:41:04Z)
• Joining datasets via data augmentation in the label space for neural networks [6.036150783745836]
  ラベル空間におけるデータセットの結合を成功させるために,人工的に作成した知識グラフ,繰り返しニューラルネットワーク,ポリシー勾配を活用する新しい手法を提案する。 画像とテキストの分類における実験結果は,我々のアプローチの有効性を正当化するものである。
  論文  参考訳（メタデータ） (2021-06-17T06:08:11Z)
• Linguistically-Enriched and Context-Aware Zero-shot Slot Filling [6.06746295810681]
  スロット充填は、現代のタスク指向ダイアログシステムの最も重要な課題の1つです。 新たなドメイン(すなわち、トレーニングの見当たらない)がデプロイ後に出現する可能性がある。 モデルがシームレスに適応し、見えないドメインと見えないドメインの両方からスロットを埋めることは必須である。
  論文  参考訳（メタデータ） (2021-01-16T20:18:16Z)
• A Study on the Autoregressive and non-Autoregressive Multi-label Learning [77.11075863067131]
  本稿では,ラベルとラベルの依存関係を共同で抽出する自己アテンションに基づく変分エンコーダモデルを提案する。 したがって、ラベルラベルとラベル機能の両方の依存関係を保ちながら、すべてのラベルを並列に予測することができる。
  論文  参考訳（メタデータ） (2020-12-03T05:41:44Z)
• Coach: A Coarse-to-Fine Approach for Cross-domain Slot Filling [65.09621991654745]
  クロスドメインスロットフィリングはタスク指向ダイアログシステムにおいて重要なタスクである。 クロスドメインスロットフィリングのための粗粒度アプローチ(Coach)を提案する。 実験結果から,本モデルはスロット充填における最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-04-24T13:07:12Z)
• Density-Aware Graph for Deep Semi-Supervised Visual Recognition [102.9484812869054]
  半教師付き学習(SSL)は、視覚認識のためのディープニューラルネットワークの一般化能力を改善するために広く研究されている。 本稿では,周辺情報を容易に活用できる新しい密度対応グラフを構築することでSSL問題を解決することを提案する。
  論文  参考訳（メタデータ） (2020-03-30T02:52:40Z)
• Elastic CRFs for Open-ontology Slot Filling [32.17803768259441]
  スロットフィリングはタスク指向の対話システムにおいて重要なコンポーネントであり、(ユーザ)発話をスロットと呼ばれるセマンティックな概念にパースするために使用される。 本稿では,各スロットが自然言語記述の埋め込みによって表現される弾性条件乱数場(eCRF)という新しいモデルを提案する。 スロットに対する言語記述が利用可能であれば、eCRFによって新しいスロット値を検出することができる。
  論文  参考訳（メタデータ） (2018-11-04T07:38:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。