論文の概要: New Intent Discovery with Pre-training and Contrastive Learning

• arxiv url: http://arxiv.org/abs/2205.12914v1
• Date: Wed, 25 May 2022 17:07:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-26 15:04:35.118006
• Title: New Intent Discovery with Pre-training and Contrastive Learning
• Title（参考訳）: 事前学習とコントラスト学習による新しいインテント発見
• Authors: Yuwei Zhang, Haode Zhang, Li-Ming Zhan, Xiao-Ming Wu, Albert Y.S. Lam
• Abstract要約: 新しい意図発見は、ユーザ発話から新しい意図カテゴリーを明らかにして、サポート対象クラスのセットを拡張することを目的としている。 既存のアプローチは通常、大量のラベル付き発話に依存する。 本稿では,クラスタリングのためのラベルなしデータにおける自己超越的信号を活用するために,新たなコントラスト損失を提案する。
• 参考スコア（独自算出の注目度）: 21.25371293641141
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: New intent discovery aims to uncover novel intent categories from user utterances to expand the set of supported intent classes. It is a critical task for the development and service expansion of a practical dialogue system. Despite its importance, this problem remains under-explored in the literature. Existing approaches typically rely on a large amount of labeled utterances and employ pseudo-labeling methods for representation learning and clustering, which are label-intensive, inefficient, and inaccurate. In this paper, we provide new solutions to two important research questions for new intent discovery: (1) how to learn semantic utterance representations and (2) how to better cluster utterances. Particularly, we first propose a multi-task pre-training strategy to leverage rich unlabeled data along with external labeled data for representation learning. Then, we design a new contrastive loss to exploit self-supervisory signals in unlabeled data for clustering. Extensive experiments on three intent recognition benchmarks demonstrate the high effectiveness of our proposed method, which outperforms state-of-the-art methods by a large margin in both unsupervised and semi-supervised scenarios. The source code will be available at \url{https://github.com/zhang-yu-wei/MTP-CLNN}.
• Abstract（参考訳）: 新しい意図発見は、ユーザ発話から新しい意図カテゴリーを明らかにすることを目的として、サポート対象クラスのセットを拡張する。 実践的な対話システムの開発とサービス拡張のための重要な課題である。 その重要性にもかかわらず、この問題は文学では未解明のままである。 既存のアプローチは通常、大量のラベル付き発話に依存し、ラベル集約的で非効率で不正確な表現学習やクラスタリングに擬似ラベル方式を用いる。 本稿では,(1)意味的発話表現の学習方法,(2)クラスタ的発話の改善方法という,新たな意図発見のための2つの重要な研究課題に対する新たな解決策を提案する。 特に,まず,リッチなラベル付きデータと外部ラベル付きデータを併用して表現学習を行うマルチタスク事前学習戦略を提案する。 そして,クラスタリングのためのラベルなしデータにおける自己超越的信号を利用するために,新たなコントラスト損失を設計する。 3つのインテント認識ベンチマークに関する広範囲な実験により,提案手法の有効性が実証された。 ソースコードは \url{https://github.com/zhang-yu-wei/MTP-CLNN} で入手できる。

関連論文リスト

• Description-Enhanced Label Embedding Contrastive Learning for Text Classification [65.01077813330559]
  モデル学習プロセスにおける自己監督型学習(SSL)と新しい自己監督型関係関係(R2)分類タスクの設計 テキスト分類とR2分類を最適化対象として扱うテキスト分類のための関係学習ネットワーク(R2-Net)の関係について検討する。 ラベルセマンティックラーニングのためのマルチアスペクト記述を得るためのWordNetからの外部知識。
  論文  参考訳（メタデータ） (2023-06-15T02:19:34Z)
• IDAS: Intent Discovery with Abstractive Summarization [16.731183915325584]
  目的発見における近年の競合手法は,抽象的な要約に基づく発話のクラスタリングによってより優れることを示す。 我々は、大規模言語モデルに促すことで、記述的発話ラベルの集合を収集するIDASアプローチに貢献する。 発話とそのノイズラベルは、凍結した事前訓練されたエンコーダによって符号化され、その後クラスタ化され、潜伏した意図を回復する。
  論文  参考訳（メタデータ） (2023-05-31T12:19:40Z)
• PromptCAL: Contrastive Affinity Learning via Auxiliary Prompts for Generalized Novel Category Discovery [39.03732147384566]
  Generalized Novel Category Discovery (GNCD) 設定は、既知のクラスや新しいクラスから来るラベルなしのトレーニングデータを分類することを目的としている。 本稿では,この課題に対処するために,PromptCALと呼ばれる補助視覚プロンプトを用いたコントラスト親和性学習法を提案する。 提案手法は,クラストークンと視覚的プロンプトのための既知のクラスと新しいクラスのセマンティッククラスタリングを改善するために,信頼性の高いペアワイズサンプル親和性を発見する。
  論文  参考訳（メタデータ） (2022-12-11T20:06:14Z)
• Novel Class Discovery without Forgetting [72.52222295216062]
  我々は NCDwF: Novel Class Discovery without Forgetting の新たな実用的問題設定を特定し,定式化する。 ラベルのないデータから新しいカテゴリのインスタンスを段階的に発見する機械学習モデルを提案する。 CIFAR-10, CIFAR-100, ImageNet-1000に基づく実験プロトコルを導入し, 知識保持と新しいクラス発見のトレードオフを測定する。
  論文  参考訳（メタデータ） (2022-07-21T17:54:36Z)
• Active Refinement for Multi-Label Learning: A Pseudo-Label Approach [84.52793080276048]
  MLL(Multi-label Learning)は、あるインスタンスと関連するラベルを一連の概念から関連付けることを目的としている。 MLLの以前の研究は、主に概念セットが修正されると思われる設定に焦点を当てていた。 多くの現実世界のアプリケーションは、新しい要求を満たすために新しい概念をセットに導入する必要がある。
  論文  参考訳（メタデータ） (2021-09-29T19:17:05Z)
• Open-Set Representation Learning through Combinatorial Embedding [62.05670732352456]
  ラベル付きクラスとラベルなしクラスの両方の例に基づく表現学習を通じて、データセットにおける新しい概念を識別することに興味がある。 異種ラベル空間上の複数の教師付きメタクラス分類器によって与えられる構成知識を用いて、自然に未知のクラス内のサンプルをクラスタリングする学習手法を提案する。 提案アルゴリズムは,未確認クラスの識別性の向上と,新しいクラスに一般化可能な既知のクラス表現の学習を併用して,新しい概念を探索する。
  論文  参考訳（メタデータ） (2021-06-29T11:51:57Z)
• Discovering New Intents with Deep Aligned Clustering [19.11073686645496]
  限定された既知の意図データを用いて新しい意図を発見するための効果的な方法であるDeep Aligned Clusteringを提案する。 未知の新たな意図によって、低信頼な意図的クラスタを排除し、意図的カテゴリの数を予測する。 2つのベンチマークデータセットの実験は、私たちの方法がより堅牢であり、最先端の方法よりも大幅に改善されることを示しています。
  論文  参考訳（メタデータ） (2020-12-16T14:32:06Z)
• Dynamic Semantic Matching and Aggregation Network for Few-shot Intent Detection [69.2370349274216]
  利用可能な注釈付き発話が不足しているため、インテント検出は困難である。 セマンティック成分はマルチヘッド自己認識によって発話から蒸留される。 本手法はラベル付きインスタンスとラベルなしインスタンスの両方の表現を強化するための総合的なマッチング手段を提供する。
  論文  参考訳（メタデータ） (2020-10-06T05:16:38Z)
• Towards Cross-Granularity Few-Shot Learning: Coarse-to-Fine Pseudo-Labeling with Visual-Semantic Meta-Embedding [13.063136901934865]
  少ないショットラーニングは、テスト時に少数のサンプルしか持たない、新しいカテゴリに迅速に適応することを目的としている。 本稿では,より困難なシナリオ,すなわちクロスグラニュラリティ・グラニュラリティ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラ 画像埋め込みの類似性に応じて,各粗いクラスを擬似微細クラスにグリーディクラスタリングすることで,詳細なデータ分布を近似する。
  論文  参考訳（メタデータ） (2020-07-11T03:44:21Z)
• Automatically Discovering and Learning New Visual Categories with Ranking Statistics [145.89790963544314]
  我々は,他のクラスをラベル付けした画像コレクションにおいて,新しいクラスを発見する問題に対処する。 汎用クラスタリングモデルを学び、後者を用いて、非競合データ中の新しいクラスを識別する。 我々は,標準分類ベンチマークに対するアプローチと,新しいカテゴリー発見法の性能を,有意なマージンで評価した。
  論文  参考訳（メタデータ） (2020-02-13T18:53:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。