論文の概要: Linguistically-Enriched and Context-Aware Zero-shot Slot Filling

• arxiv url: http://arxiv.org/abs/2101.06514v1
• Date: Sat, 16 Jan 2021 20:18:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-28 05:38:49.051127
• Title: Linguistically-Enriched and Context-Aware Zero-shot Slot Filling
• Title（参考訳）: 言語学的・文脈的ゼロショットスロットフィリング
• Authors: A.B. Siddique, Fuad Jamour, Vagelis Hristidis
• Abstract要約: スロット充填は、現代のタスク指向ダイアログシステムの最も重要な課題の1つです。 新たなドメイン(すなわち、トレーニングの見当たらない)がデプロイ後に出現する可能性がある。 モデルがシームレスに適応し、見えないドメインと見えないドメインの両方からスロットを埋めることは必須である。
• 参考スコア（独自算出の注目度）: 6.06746295810681
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Slot filling is identifying contiguous spans of words in an utterance that correspond to certain parameters (i.e., slots) of a user request/query. Slot filling is one of the most important challenges in modern task-oriented dialog systems. Supervised learning approaches have proven effective at tackling this challenge, but they need a significant amount of labeled training data in a given domain. However, new domains (i.e., unseen in training) may emerge after deployment. Thus, it is imperative that these models seamlessly adapt and fill slots from both seen and unseen domains -- unseen domains contain unseen slot types with no training data, and even seen slots in unseen domains are typically presented in different contexts. This setting is commonly referred to as zero-shot slot filling. Little work has focused on this setting, with limited experimental evaluation. Existing models that mainly rely on context-independent embedding-based similarity measures fail to detect slot values in unseen domains or do so only partially. We propose a new zero-shot slot filling neural model, LEONA, which works in three steps. Step one acquires domain-oblivious, context-aware representations of the utterance word by exploiting (a) linguistic features; (b) named entity recognition cues; (c) contextual embeddings from pre-trained language models. Step two fine-tunes these rich representations and produces slot-independent tags for each word. Step three exploits generalizable context-aware utterance-slot similarity features at the word level, uses slot-independent tags, and contextualizes them to produce slot-specific predictions for each word. Our thorough evaluation on four diverse public datasets demonstrates that our approach consistently outperforms the SOTA models by 17.52%, 22.15%, 17.42%, and 17.95% on average for unseen domains on SNIPS, ATIS, MultiWOZ, and SGD datasets, respectively.
• Abstract（参考訳）: スロットフィリング(英: Slot fill)とは、ユーザの要求/問い合わせの特定のパラメータ(スロット)に対応する発話中の単語の連続したスパンを識別することである。 スロット充填は、現代のタスク指向ダイアログシステムにおいて最も重要な課題の1つである。 教師付き学習アプローチは、この課題に対処する上で有効であることが証明されているが、与えられたドメインに大量のラベル付きトレーニングデータが必要である。 しかし、新しいドメイン(すなわち、トレーニングでは見えない)がデプロイ後に出現する可能性がある。 したがって、これらのモデルは、目に見えないドメインと見えないドメインの両方のスロットをシームレスに適応し、埋めることが必須である。 この設定は一般にゼロショットスロットフィリングと呼ばれる。 この設定には、実験的な評価が限られている。 コンテキストに依存しない埋め込みベースの類似度測定を主に依存する既存のモデルは、未認識ドメインのスロット値の検出や部分的にしか行わない。 本稿では,新しいゼロショットスロット充填ニューラルモデルleonaを提案する。 ステップ1は、(a)言語的特徴、(b)名前付きエンティティ認識手がかり、(c)事前学習された言語モデルから文脈的埋め込みを活用して、発話語の文脈認識表現を取得する。 ステップ2 これらのリッチ表現を微調整し、各単語に対してスロット独立タグを生成する。 Step 3は、単語レベルでの一般化可能なコンテキスト対応発話-スロット類似機能を利用して、スロット非依存タグを使用して、各ワードに対してスロット固有の予測を生成する。 4つの異なるパブリックデータセットに対する徹底的な評価は、SNIPS、ATIS、MultiWOZ、SGDデータセットの未確認領域の平均で、我々のアプローチが17.52%、22.15%、17.42%、および17.95%のSOTAモデルより一貫して優れていることを示している。

関連論文リスト

• Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
  最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。 より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。 これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
  論文  参考訳（メタデータ） (2024-03-26T12:47:39Z)
• HierarchicalContrast: A Coarse-to-Fine Contrastive Learning Framework for Cross-Domain Zero-Shot Slot Filling [4.1940152307593515]
  ドメイン間のゼロショットスロットフィリングは、モデルを学ぶためにソースドメイン知識を活用する上で重要な役割を果たす。 既存のゼロショットスロット充填法では、ターゲット領域での一般化能力が制限されている。 ゼロショットスロットフィリングのための新しい階層型コントラスト学習フレームワーク(HiCL)を提案する。
  論文  参考訳（メタデータ） (2023-10-13T14:23:33Z)
• SeqGPT: An Out-of-the-box Large Language Model for Open Domain Sequence Understanding [103.34092301324425]
  大規模言語モデル(LLM)は、オープンドメインのNLPタスクに顕著な能力を示している。 本稿では、オープンドメインの自然言語理解に特化して強化された、バイリンガル(英語と中国語)のオープンソース自己回帰モデルSeqGPTを提案する。
  論文  参考訳（メタデータ） (2023-08-21T07:31:19Z)
• Vocabulary-informed Zero-shot and Open-set Learning [128.83517181045815]
  本稿では,教師付き,ゼロショット,一般化されたゼロショット,オープンセット認識の問題に対処する語彙インフォームド学習を提案する。 具体的には、(教師なしと教師なしの両方)語彙からの距離制約を取り入れた意味多様体に基づく認識のための重み付けされた最大縁フレームワークを提案する。 得られたモデルは、教師付き、ゼロショット、一般化されたゼロショット、および大きなオープンセット認識の改善を示し、Animal with AttributesとImageNetデータセットで最大310Kの語彙を持つ。
  論文  参考訳（メタデータ） (2023-01-03T08:19:22Z)
• Zero-Shot Learning for Joint Intent and Slot Labeling [11.82805641934772]
  共同ゼロショットインテント分類とスロットラベリングを有益に行うことができることを示す。 本稿では,単語と文の埋め込み空間を翻訳するNNアーキテクチャについて述べる。
  論文  参考訳（メタデータ） (2022-11-29T01:58:25Z)
• Structured Latent Embeddings for Recognizing Unseen Classes in Unseen Domains [108.11746235308046]
  本稿では,異なる領域からの画像を投影することで,ドメインに依存しない遅延埋め込みを学習する手法を提案する。 挑戦的なDomainNetとDomainNet-LSベンチマークの実験は、既存のメソッドよりもアプローチの方が優れていることを示している。
  論文  参考訳（メタデータ） (2021-07-12T17:57:46Z)
• Automatic Discovery of Novel Intents & Domains from Text Utterances [18.39942131996558]
  本稿では,ラベルのない大量のデータから新しいドメインや意図を自動的に発見する新しいフレームワークADVINを提案する。 ADVINは3つのベンチマークデータセットのベースラインと、商用音声処理エージェントからの実際のユーザ発話を大きく上回る。
  論文  参考訳（メタデータ） (2020-05-22T00:47:10Z)
• Coach: A Coarse-to-Fine Approach for Cross-domain Slot Filling [65.09621991654745]
  クロスドメインスロットフィリングはタスク指向ダイアログシステムにおいて重要なタスクである。 クロスドメインスロットフィリングのための粗粒度アプローチ(Coach)を提案する。 実験結果から,本モデルはスロット充填における最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-04-24T13:07:12Z)
• Unsupervised Domain Clusters in Pretrained Language Models [61.832234606157286]
  大規模事前学習型言語モデルでは,教師なしのドメインによってクラスタ化される文表現を暗黙的に学習する。 このようなモデルに基づくドメインデータ選択手法を提案する。 我々は5つの異なる領域にわたるニューラルネットワーク翻訳のためのデータ選択手法を評価する。
  論文  参考訳（メタデータ） (2020-04-05T06:22:16Z)
• MT-BioNER: Multi-task Learning for Biomedical Named Entity Recognition using Deep Bidirectional Transformers [1.7403133838762446]
  異なるスロットタイプをカバーする複数のデータセットを用いたスロットタグの訓練をマルチタスク学習問題として検討する。 生物医学領域における実験結果から,提案手法は従来のスロットタグシステムよりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-01-24T07:16:32Z)
• Elastic CRFs for Open-ontology Slot Filling [32.17803768259441]
  スロットフィリングはタスク指向の対話システムにおいて重要なコンポーネントであり、(ユーザ)発話をスロットと呼ばれるセマンティックな概念にパースするために使用される。 本稿では,各スロットが自然言語記述の埋め込みによって表現される弾性条件乱数場(eCRF)という新しいモデルを提案する。 スロットに対する言語記述が利用可能であれば、eCRFによって新しいスロット値を検出することができる。
  論文  参考訳（メタデータ） (2018-11-04T07:38:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。