論文の概要: Learning to Bridge Metric Spaces: Few-shot Joint Learning of Intent Detection and Slot Filling

• arxiv url: http://arxiv.org/abs/2106.07343v1
• Date: Tue, 25 May 2021 15:07:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-20 16:04:31.351406
• Title: Learning to Bridge Metric Spaces: Few-shot Joint Learning of Intent Detection and Slot Filling
• Title（参考訳）: 距離空間を橋渡しするための学習: インテント検出とスロット充填の少数共同学習
• Authors: Yutai Hou, Yongkui Lai, Cheng Chen, Wanxiang Che, Ting Liu
• Abstract要約: そこで本研究では,データリッチドメイン上で意図とスロットの計量空間をブリッジする学習手法を提案する。 われわれのモデルは、1ショットと5ショット設定で強いベースラインをはるかに上回っている。
• 参考スコア（独自算出の注目度）: 29.218780709974244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we investigate few-shot joint learning for dialogue language understanding. Most existing few-shot models learn a single task each time with only a few examples. However, dialogue language understanding contains two closely related tasks, i.e., intent detection and slot filling, and often benefits from jointly learning the two tasks. This calls for new few-shot learning techniques that are able to capture task relations from only a few examples and jointly learn multiple tasks. To achieve this, we propose a similarity-based few-shot learning scheme, named Contrastive Prototype Merging network (ConProm), that learns to bridge metric spaces of intent and slot on data-rich domains, and then adapt the bridged metric space to the specific few-shot domain. Experiments on two public datasets, Snips and FewJoint, show that our model significantly outperforms the strong baselines in one and five shots settings.
• Abstract（参考訳）: 本稿では,対話言語理解のための数ショット共同学習について検討する。 既存の少数ショットモデルのほとんどは、わずか数例で1つのタスクを毎回学習する。 しかし、対話言語理解には、意図の検出とスロットフィリングという2つの密接に関連するタスクが含まれており、しばしば2つのタスクを共同で学習する利点がある。 これは、いくつかの例からタスク関係をキャプチャし、共同で複数のタスクを学習できる、新しいマイナショット学習テクニックを提唱するものだ。 これを実現するために,データリッチな領域にインテントとスロットの計量空間を橋渡しし,橋渡しされた距離空間を特定のマイナショット領域に適応させる,類似性に基づくマイナショット学習スキームconpromを提案する。 SnipsとFewJointという2つの公開データセットの実験では、我々のモデルは1枚と5枚のショット設定で強いベースラインを大幅に上回っている。

関連論文リスト

• Leveraging knowledge distillation for partial multi-task learning from multiple remote sensing datasets [2.1178416840822023]
  ターゲットタスクの1つにトレーニング例をアノテートする部分的マルチタスク学習は、リモートセンシングにおいて有望なアイデアである。 本稿では, 知識蒸留を用いて, 代替課題における基礎的真理の必要性を代替し, その性能を向上させることを提案する。
  論文  参考訳（メタデータ） (2024-05-24T09:48:50Z)
• YOLOR-Based Multi-Task Learning [12.5920336941241]
  マルチタスク学習(MTL)は、単一のモデルを用いて複数のタスクを学習し、一般化と共有セマンティクスを前提として、これらすべてのタスクを共同で改善することを目的としている。 マルチタスクに特化したネットワークアーキテクチャYOLOR(You Only Learn One Representation)の構築を提案する。 本手法は,低パラメータ数を維持しつつ,事前学習を行わずに,全てのタスクにおける競合性能を実現する。
  論文  参考訳（メタデータ） (2023-09-29T01:42:21Z)
• Pre-training Multi-task Contrastive Learning Models for Scientific Literature Understanding [52.723297744257536]
  事前学習言語モデル(LM)は、科学文献理解タスクにおいて有効であることを示す。 文献理解タスク間の共通知識共有を容易にするために,マルチタスクのコントラスト学習フレームワークであるSciMultを提案する。
  論文  参考訳（メタデータ） (2023-05-23T16:47:22Z)
• A Unified Framework for Multi-intent Spoken Language Understanding with prompting [14.17726194025463]
  Prompt-based Spoken Language Understanding (PromptSLU) フレームワークについて述べる。 詳細は、音声をタスク固有のプロンプトテンプレートに入力として簡潔に充填し、キー-値ペアシーケンスの出力形式を共有することにより、IDとSFが完成する。 実験の結果,我々のフレームワークは2つの公開データセット上で,最先端のベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2022-10-07T05:58:05Z)
• Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
  本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。 タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。 これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
  論文  参考訳（メタデータ） (2022-04-16T00:56:12Z)
• On the Efficiency of Integrating Self-supervised Learning and Meta-learning for User-defined Few-shot Keyword Spotting [51.41426141283203]
  ユーザ定義キーワードスポッティングは、ユーザが定義する新しい音声用語を検出するタスクである。 これまでの研究は、自己教師付き学習モデルを取り入れたり、メタ学習アルゴリズムを適用しようとするものだった。 この結果から,HuBERTとMatching Networkを組み合わせることで,最適な結果が得られることがわかった。
  論文  参考訳（メタデータ） (2022-04-01T10:59:39Z)
• Low Resource Multi-Task Sequence Tagging -- Revisiting Dynamic Conditional Random Fields [67.51177964010967]
  異なるタスクに対するラベルシーケンス間の依存関係を利用する低リソースマルチタスクシーケンスタグの異なるモデルを比較した。 タスク予測間の相互依存性の明示的モデリングは、通常のマルチタスクモデルと同様にシングルタスクよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-05-01T07:11:34Z)
• Learning to Learn to Disambiguate: Meta-Learning for Few-Shot Word Sense Disambiguation [26.296412053816233]
  単語感覚の曖昧さを解消するメタラーニングフレームワークを提案する。 ゴールは、少数のラベル付きインスタンスから目に見えない単語をあいまいにすることを学ぶことである。 このシナリオにいくつかの一般的なメタ学習アプローチを拡張し、その強みと弱点を分析します。
  論文  参考訳（メタデータ） (2020-04-29T17:33:31Z)
• Adversarial Continual Learning [99.56738010842301]
  本稿では,タスク不変およびタスク特化機能に対する不整合表現を学習するハイブリッド連続学習フレームワークを提案する。 本モデルでは,タスク固有のスキルの忘れを防止するためにアーキテクチャの成長と,共有スキルを維持するための経験的リプレイアプローチを組み合わせる。
  論文  参考訳（メタデータ） (2020-03-21T02:08:17Z)
• Meta-Learning across Meta-Tasks for Few-Shot Learning [107.44950540552765]
  我々は,メタ・ラーニングを支援するために,メタ・タスク間の関係を活用すべきであり,これらのタスクを戦略的にサンプリングするべきだと論じている。 2種類のメタタスクペアで定義された関係を考察し、それらを活用するための異なる戦略を提案する。
  論文  参考訳（メタデータ） (2020-02-11T09:25:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。