論文の概要: Slot Induction via Pre-trained Language Model Probing and Multi-level Contrastive Learning

• arxiv url: http://arxiv.org/abs/2308.04712v1
• Date: Wed, 9 Aug 2023 05:08:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-10 15:01:32.108829
• Title: Slot Induction via Pre-trained Language Model Probing and Multi-level Contrastive Learning
• Title（参考訳）: 事前学習型言語モデルによるスロット誘導とマルチレベルコントラスト学習
• Authors: Hoang H. Nguyen, Chenwei Zhang, Ye Liu, Philip S. Yu
• Abstract要約: トークンレベルのスロットアノテーションの明示的な知識なしでスロット境界を誘導することを目的としたスロットインジェクション(SI)タスク。 PLMから抽出した教師なし意味知識を活用するために、教師なし事前学習言語モデル(PLM)探索とコントラスト学習機構を活用することを提案する。 提案手法は,2つのNLUベンチマークデータセット上でトークンレベルの教師付きモデルとのギャップを埋めることができ,SIタスクに有効であることが示されている。
• 参考スコア（独自算出の注目度）: 62.839109775887025
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advanced methods in Natural Language Understanding for Task-oriented Dialogue (TOD) Systems (e.g., intent detection and slot filling) require a large amount of annotated data to achieve competitive performance. In reality, token-level annotations (slot labels) are time-consuming and difficult to acquire. In this work, we study the Slot Induction (SI) task whose objective is to induce slot boundaries without explicit knowledge of token-level slot annotations. We propose leveraging Unsupervised Pre-trained Language Model (PLM) Probing and Contrastive Learning mechanism to exploit (1) unsupervised semantic knowledge extracted from PLM, and (2) additional sentence-level intent label signals available from TOD. Our approach is shown to be effective in SI task and capable of bridging the gaps with token-level supervised models on two NLU benchmark datasets. When generalized to emerging intents, our SI objectives also provide enhanced slot label representations, leading to improved performance on the Slot Filling tasks.
• Abstract（参考訳）: タスク指向対話(TOD)システムにおける最近の高度な手法(例えば、意図の検出とスロットフィリング)は、競争性能を達成するために大量の注釈データを必要とする。 実際、トークンレベルのアノテーション(スロットラベル)は時間がかかり、取得が困難です。 本研究では,トークンレベルのスロットアノテーションを明示せずにスロット境界を誘導することを目的としたスロット誘導(si)タスクについて検討する。 我々は,(1) PLMから抽出した教師なし意味知識と(2)TODから利用可能な文レベルの意図ラベル信号を活用するために,教師なし事前訓練言語モデル(PLM)探索とコントラスト学習機構を活用することを提案する。 提案手法は,2つのNLUベンチマークデータセット上でトークンレベルの教師付きモデルとのギャップを埋めることができ,SIタスクに有効であることが示されている。 新たなインテントに一般化されると、我々のSI目的はスロットラベルの表現も強化され、スロットフィリングタスクのパフォーマンスが向上する。

関連論文リスト

• Unified Unsupervised Salient Object Detection via Knowledge Transfer [29.324193170890542]
  非教師なしサルエントオブジェクト検出(USOD)は、アノテーションのない性質のために注目を集めている。 本稿では,汎用USODタスクのための統一USODフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-23T05:50:02Z)
• Introducing "Forecast Utterance" for Conversational Data Science [2.3894779000840503]
  本稿では,Forecast Utteranceという新しいコンセプトを紹介する。 次に,これらの発話からユーザの予測目標を自動的かつ正確に解釈することに集中する。 具体的には、各スロットが目標予測タスクの特定の側面に対応するスロット充足問題として、タスクをフレーム化する。 1) エンティティ抽出 (EE) と 2) 質問応答 (QA) の2つの手法を用いる。
  論文  参考訳（メタデータ） (2023-09-07T17:41:41Z)
• Transfer-Free Data-Efficient Multilingual Slot Labeling [82.02076369811402]
  スロットラベリングはタスク指向対話(ToD)システムの中核的なコンポーネントである。 固有データ不足の問題を緩和するために、多言語ToDに関する現在の研究は、十分な英語の注釈付きデータが常に利用可能であると仮定している。 標準的な多言語文エンコーダを効果的なスロットラベリングに変換する2段階のスロットラベリング手法(TWOSL)を提案する。
  論文  参考訳（メタデータ） (2023-05-22T22:47:32Z)
• Automated Few-shot Classification with Instruction-Finetuned Language Models [76.69064714392165]
  我々は、AuT-Fewが最先端の数ショット学習方法より優れていることを示す。 AuT-Few は RAFT few-shot ベンチマークにおいて,データセット間で最高のランク付け手法であることを示す。
  論文  参考訳（メタデータ） (2023-05-21T21:50:27Z)
• Toward Open-domain Slot Filling via Self-supervised Co-training [2.7178968279054936]
  スロットフィリングは現代の会話システムにおいて重要なタスクの1つである。 本研究では,SCotと呼ばれる自己教師付き協調学習フレームワークを提案する。 評価の結果,SCotはSGDおよびMultiWoZデータセットで45.57%,37.56%,最先端モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-03-24T04:51:22Z)
• Bi-directional Joint Neural Networks for Intent Classification and Slot Filling [5.3361357265365035]
  目的分類とスロットフィリングのための双方向ジョイントモデルを提案する。 本モデルでは,意図分類の精度,スロットフィリングF1,文レベルのセマンティックフレームの精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-02-26T06:35:21Z)
• Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for Open-Set Semi-Supervised Learning [101.28281124670647]
  オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。 我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。 我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
  論文  参考訳（メタデータ） (2021-08-12T09:14:44Z)
• PIN: A Novel Parallel Interactive Network for Spoken Language Understanding [68.53121591998483]
  既存の RNN ベースのアプローチでは、ID と SF のタスクは、それらの間の相関情報を利用するために、しばしば共同でモデル化される。 SNIPSとATISという2つのベンチマークデータセットによる実験は、我々のアプローチの有効性を実証している。 さらに,事前学習した言語モデルBERTが生成した発話の特徴埋め込みを用いて,提案手法はすべての比較手法の中で最先端の手法を実現する。
  論文  参考訳（メタデータ） (2020-09-28T15:59:31Z)
• An Information Bottleneck Approach for Controlling Conciseness in Rationale Extraction [84.49035467829819]
  我々は,情報ボトルネック(IB)の目的を最適化することで,このトレードオフをよりよく管理できることを示す。 我々の完全教師なしのアプローチは、文上のスパース二項マスクを予測する説明器と、抽出された合理性のみを考慮したエンドタスク予測器を共同で学習する。
  論文  参考訳（メタデータ） (2020-05-01T23:26:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。