論文の概要: CG-BERT: Conditional Text Generation with BERT for Generalized Few-shot Intent Detection

• arxiv url: http://arxiv.org/abs/2004.01881v1
• Date: Sat, 4 Apr 2020 07:31:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-16 22:45:32.259197
• Title: CG-BERT: Conditional Text Generation with BERT for Generalized Few-shot Intent Detection
• Title（参考訳）: CG-BERT:汎用Few-shotインテント検出のためのBERTを用いた条件テキスト生成
• Authors: Congying Xia, Chenwei Zhang, Hoang Nguyen, Jiawei Zhang, Philip Yu
• Abstract要約: 我々は、自然言語理解における意図検出タスク、すなわち一般化Few-Shot Intent Detection(GFSID)のより現実的で困難な問題設定を定式化する。 GFSIDは、十分なラベル付きデータを持つ既存の意図と、クラス毎にいくつかの例しか持たない斬新な意図の両方からなる共同ラベル空間を識別することを目的としている。 目的ラベルに条件付きテキストを生成する新しいモデルである条件付きテキスト生成(CG-BERT)を提案する。
• 参考スコア（独自算出の注目度）: 23.07379081534242
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we formulate a more realistic and difficult problem setup for the intent detection task in natural language understanding, namely Generalized Few-Shot Intent Detection (GFSID). GFSID aims to discriminate a joint label space consisting of both existing intents which have enough labeled data and novel intents which only have a few examples for each class. To approach this problem, we propose a novel model, Conditional Text Generation with BERT (CG-BERT). CG-BERT effectively leverages a large pre-trained language model to generate text conditioned on the intent label. By modeling the utterance distribution with variational inference, CG-BERT can generate diverse utterances for the novel intents even with only a few utterances available. Experimental results show that CG-BERT achieves state-of-the-art performance on the GFSID task with 1-shot and 5-shot settings on two real-world datasets.
• Abstract（参考訳）: 本稿では,自然言語理解における意図検出タスク,すなわち一般化Few-Shot Intent Detection (GFSID)について,より現実的で困難な問題を定式化する。 GFSIDは、十分なラベル付きデータを持つ既存の意図と、クラス毎にいくつかの例しか持たない新しい意図の両方からなる共同ラベル空間を識別することを目的としている。 そこで本研究では,BERT (CG-BERT) を用いた条件文生成モデルを提案する。 CG-BERTは、インテントラベルに条件付きテキストを生成するために、大規模な事前学習言語モデルを効果的に活用する。 変動推論を用いて発話分布をモデル化することにより、cg-bertは少数の発話しか利用できない場合でも、新たな意図に対する多様な発話を生成することができる。 実験結果から,CG-BERTは実世界の2つのデータセットに対して,1ショットと5ショットの設定で,GFSIDタスクの最先端性能を実現することがわかった。

関連論文リスト

• Integrating Self-supervised Speech Model with Pseudo Word-level Targets from Visually-grounded Speech Model [57.78191634042409]
  擬似単語レベルのターゲットを学習プロセスに統合するフレームワークであるPseudo-Word HuBERT(PW-HuBERT)を提案する。 4つの音声言語理解(SLU)ベンチマークによる実験結果から,意味情報の収集におけるモデルの有用性が示唆された。
  論文  参考訳（メタデータ） (2024-02-08T16:55:21Z)
• Task Conditioned BERT for Joint Intent Detection and Slot-filling [4.564638655448509]
  本稿では,これらの課題を一つの統一モデルとして解決することで,異なるタスク間でパラメータ支援データの転送が可能になるという仮説を考察する。 提案した原理モデルはTransformerエンコーダに基づいており、複数のタスクで訓練され、ターゲットの推論にモデルを条件付けるリッチな入力によって活用される。
  論文  参考訳（メタデータ） (2023-08-11T14:47:27Z)
• TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
  Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。 分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
  論文  参考訳（メタデータ） (2023-06-06T03:37:41Z)
• Exploring the Limits of Natural Language Inference Based Setup for Few-Shot Intent Detection [13.971616443394474]
  汎用的なFewショットインテント検出は、より現実的だが難しいセットアップである。 自然言語推論に基づくシンプルで効果的な手法を用いる。 提案手法は,1ショットと5ショットのインテント検出タスクにおいて,最先端の処理結果を実現する。
  論文  参考訳（メタデータ） (2021-12-14T14:47:23Z)
• Effectiveness of Pre-training for Few-shot Intent Classification [33.557100231606505]
  本報告では,数発の意図分類における事前学習の有効性について検討する。 公開データセットからラベル付き発話の小さなセットで、BERTをきめ細やかに調整することは、非常に効果的で効率的である。 IntentBERTは、新規ドメイン上の数ショットの意図分類のために、既存の事前訓練モデルの性能を容易に上回ることができる。
  論文  参考訳（メタデータ） (2021-09-13T09:00:09Z)
• Learning Disentangled Intent Representations for Zero-shot Intent Detection [13.19024497857648]
  DIR(Disentangled Representations)を学習するために、見知らぬクラスラベルを利用するクラス変換フレームワークを提案する。 本枠組みでは,意図の区別をモデルが学習することを奨励するマルチタスク学習の目標を提案する。 2つの実世界のデータセットの実験は、提案されたフレームワークがベースラインシステムに一貫した改善をもたらすことを示している。
  論文  参考訳（メタデータ） (2020-12-03T06:41:09Z)
• KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation [100.79870384880333]
  知識に富んだテキストを生成するための知識基盤事前学習(KGPT)を提案する。 我々は、その効果を評価するために、3つの設定、すなわち、完全教師付き、ゼロショット、少数ショットを採用します。 ゼロショット設定では、WebNLG上で30 ROUGE-L以上を達成するが、他の全てのベースラインは失敗する。
  論文  参考訳（メタデータ） (2020-10-05T19:59:05Z)
• BURT: BERT-inspired Universal Representation from Twin Structure [89.82415322763475]
  BURT (BERT inspired Universal Representation from Twin Structure) は任意の粒度の入力シーケンスに対して普遍的で固定サイズの表現を生成することができる。 提案するBURTは,Siameseネットワークを採用し,自然言語推論データセットから文レベル表現を学習し,パラフレーズ化データセットから単語/フレーズレベル表現を学習する。 我々は,STSタスク,SemEval2013 Task 5(a) など,テキスト類似性タスクの粒度によってBURTを評価する。
  論文  参考訳（メタデータ） (2020-04-29T04:01:52Z)
• AGIF: An Adaptive Graph-Interactive Framework for Joint Multiple Intent Detection and Slot Filling [69.59096090788125]
  本稿では,多目的検出とスロットフィリングを併用する適応グラフ対話フレームワーク(AGIF)を提案する。 スロットとインテントの強い相関関係をモデル化するために,インテント-スロットグラフ相互作用層を導入する。 このような相互作用層が各トークンに適応的に適用され、関連する意図情報を自動抽出する利点がある。
  論文  参考訳（メタデータ） (2020-04-21T15:07:34Z)
• Efficient Intent Detection with Dual Sentence Encoders [53.16532285820849]
  本稿では,USE や ConveRT などの事前訓練された二重文エンコーダによるインテント検出手法を提案する。 提案するインテント検出器の有用性と適用性を示し,完全なBERT-Largeモデルに基づくインテント検出器よりも優れた性能を示す。 コードだけでなく、新しい挑戦的な単一ドメイン意図検出データセットもリリースしています。
  論文  参考訳（メタデータ） (2020-03-10T15:33:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。