論文の概要: An Explicit-Joint and Supervised-Contrastive Learning Framework for
Few-Shot Intent Classification and Slot Filling
- arxiv url: http://arxiv.org/abs/2110.13691v1
- Date: Tue, 26 Oct 2021 13:28:28 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-27 13:52:31.395380
- Title: An Explicit-Joint and Supervised-Contrastive Learning Framework for
Few-Shot Intent Classification and Slot Filling
- Title（参考訳）: Few-Shot Intent Classification and Slot Fillingのための明示的・教師付きコントラスト学習フレームワーク
- Authors: Han Liu, Feng Zhang, Xiaotong Zhang, Siyang Zhao and Xianchao Zhang
- Abstract要約: Intent Classification (IC) と slot fill (SF) はタスク指向対話システムにおいて重要なビルディングブロックである。
クラスごとのトレーニングサンプルの数が非常に少ない場合、IC/SFモデルはほとんど機能しない。
そこで本稿では,数ショットの意図分類とスロットフィリングのための,明示的かつ教師付きコントラスト学習フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 12.85364483952161
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Intent classification (IC) and slot filling (SF) are critical building blocks
in task-oriented dialogue systems. These two tasks are closely-related and can
flourish each other. Since only a few utterances can be utilized for
identifying fast-emerging new intents and slots, data scarcity issue often
occurs when implementing IC and SF. However, few IC/SF models perform well when
the number of training samples per class is quite small. In this paper, we
propose a novel explicit-joint and supervised-contrastive learning framework
for few-shot intent classification and slot filling. Its highlights are as
follows. (i) The model extracts intent and slot representations via
bidirectional interactions, and extends prototypical network to achieve
explicit-joint learning, which guarantees that IC and SF tasks can mutually
reinforce each other. (ii) The model integrates with supervised contrastive
learning, which ensures that samples from same class are pulled together and
samples from different classes are pushed apart. In addition, the model follows
a not common but practical way to construct the episode, which gets rid of the
traditional setting with fixed way and shot, and allows for unbalanced
datasets. Extensive experiments on three public datasets show that our model
can achieve promising performance.
- Abstract（参考訳）: Intent Classification (IC) と slot fill (SF) はタスク指向対話システムにおいて重要なビルディングブロックである。
これら2つのタスクは密接に関連しており、互いに繁栄することができる。
高速に出現する新しい意図やスロットを特定するために、わずかな発話しか利用できないため、ICやSFを実装する際にデータ不足の問題が発生することが多い。
しかし、クラスごとのトレーニングサンプルの数が非常に少ない場合、IC/SFモデルはほとんど機能しない。
本稿では,数ショットの意図分類とスロットフィリングのための,新しい明示的結合と教師付きコントラスト学習フレームワークを提案する。
ハイライトは以下の通り。
(i)このモデルは双方向インタラクションを通じて意図やスロット表現を抽出し、プロトタイプネットワークを拡張して明示的な協調学習を実現し、icとsfのタスクが相互に強化できることを保証する。
(ii)このモデルは教師付きコントラスト学習と統合され、同じクラスからのサンプルがまとめられ、異なるクラスからのサンプルが押しつぶされるようにする。
さらに、このモデルは、伝統的な設定を固定的な方法とショットで取り除き、バランスのとれないデータセットを可能にする、エピソードを構築するための一般的で実用的な方法に従う。
3つのパブリックデータセットに関する広範な実験は、モデルが有望なパフォーマンスを達成できることを示しています。
関連論文リスト
- Co-guiding for Multi-intent Spoken Language Understanding [53.30511968323911]
本稿では,2つのタスク間の相互指導を実現するための2段階のフレームワークを実装した,コガイドネットと呼ばれる新しいモデルを提案する。
第1段階では,単一タスクによる教師付きコントラスト学習を提案し,第2段階ではコガイドによる教師付きコントラスト学習を提案する。
マルチインテリジェントSLU実験の結果,我々のモデルは既存のモデルよりも大きなマージンで優れていることがわかった。
論文 参考訳（メタデータ） (2023-11-22T08:06:22Z) - Constructing Sample-to-Class Graph for Few-Shot Class-Incremental
Learning [10.111587226277647]
FSCIL(Few-shot class-incremental Learning)は、いくつかのデータサンプルから新しい概念を継続的に学習するマシンラーニングモデルの構築を目的とする。
本稿では,FSCILのためのS2Cグラフ学習手法を提案する。
論文 参考訳（メタデータ） (2023-10-31T08:38:14Z) - Joint Multiple Intent Detection and Slot Filling with Supervised
Contrastive Learning and Self-Distillation [4.123763595394021]
複数の意図の検出とスロットフィリングは、音声言語理解における基本的かつ重要なタスクである。
インテントを同時に検出し、スロットを抽出できるジョイントモデルが好ましい。
本稿では,これらの課題に対処して複数の意図の検出とスロットフィリングを行う手法を提案する。
論文 参考訳（メタデータ） (2023-08-28T15:36:33Z) - A Unified Framework for Multi-intent Spoken Language Understanding with
prompting [14.17726194025463]
Prompt-based Spoken Language Understanding (PromptSLU) フレームワークについて述べる。
詳細は、音声をタスク固有のプロンプトテンプレートに入力として簡潔に充填し、キー-値ペアシーケンスの出力形式を共有することにより、IDとSFが完成する。
実験の結果,我々のフレームワークは2つの公開データセット上で,最先端のベースラインよりも優れていた。
論文 参考訳（メタデータ） (2022-10-07T05:58:05Z) - Memorizing Complementation Network for Few-Shot Class-Incremental
Learning [109.4206979528375]
本稿では,新しいタスクにおいて,異なる記憶された知識を補う複数のモデルをアンサンブルするために,MCNet(Memorizing Complementation Network)を提案する。
原型スムージング・ハードマイニング・トリプルト(PSHT)の損失を現時点の課題だけでなく,従来の分布からも引き離すために開発した。
論文 参考訳（メタデータ） (2022-08-11T02:32:41Z) - Learning What Not to Segment: A New Perspective on Few-Shot Segmentation [63.910211095033596]
近年では、FSS ( few-shot segmentation) が広く開発されている。
本稿では,問題を緩和するための新鮮で直接的な知見を提案する。
提案されたアプローチのユニークな性質を踏まえて、より現実的で挑戦的な設定にまで拡張する。
論文 参考訳（メタデータ） (2022-03-15T03:08:27Z) - Partner-Assisted Learning for Few-Shot Image Classification [54.66864961784989]
人間の視覚能力を模倣し、徹底的な人間のアノテーションを必要とせずに効果的なモデルを学ぶために、わずかなショットラーニングが研究されている。
本稿では,新しいクラスのプロトタイプをラベル付きサンプルから推定できるように,要素表現を得るためのトレーニング戦略の設計に焦点をあてる。
本稿では,まずパートナーエンコーダのペアワイド類似性をモデル化し,ソフトアンカーとして機能する特徴を抽出し,その出力をソフトアンカーと整列させ,分類性能を最大化しようとする2段階トレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-15T22:46:19Z) - Neighborhood Contrastive Learning for Novel Class Discovery [79.14767688903028]
我々は,クラスタリング性能に重要な識別表現を学習するために,Neighborhood Contrastive Learningという新しいフレームワークを構築した。
これらの2つの成分がクラスタリング性能に大きく寄与し、我々のモデルが最先端の手法よりも大きなマージンで優れていることを実験的に実証した。
論文 参考訳（メタデータ） (2021-06-20T17:34:55Z) - Few-shot Action Recognition with Prototype-centered Attentive Learning [88.10852114988829]
2つの新しい構成要素からなるプロトタイプ中心型注意学習(pal)モデル。
まず,従来のクエリ中心学習目標を補完するために,プロトタイプ中心のコントラスト学習損失を導入する。
第二に、PALは注意深いハイブリッド学習機構を統合しており、アウトレーヤの負の影響を最小限に抑えることができる。
論文 参考訳（メタデータ） (2021-01-20T11:48:12Z) - Learning to Classify Intents and Slot Labels Given a Handful of Examples [22.783338548129983]
インテント分類(IC)とスロットフィリング(SF)は、ほとんどのゴール指向対話システムにおいて中核的なコンポーネントである。
超低リソースシナリオにおいて、トレーニング時に見えないクラスにおいて、ICモデルとSFモデルの性能を研究・改善するために、新しい数ショット学習タスクである、数ショットのIC/SFを提案する。
モデル非依存型メタラーニング(MAML)とプロトタイプネットワークという2つの一般的な数ショット学習アルゴリズムが,このベンチマークの微調整ベースラインを上回っていることを示す。
論文 参考訳（メタデータ） (2020-04-22T18:54:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。