論文の概要: Joint Multiple Intent Detection and Slot Filling with Supervised
Contrastive Learning and Self-Distillation
- arxiv url: http://arxiv.org/abs/2308.14654v1
- Date: Mon, 28 Aug 2023 15:36:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-29 13:14:17.804284
- Title: Joint Multiple Intent Detection and Slot Filling with Supervised
Contrastive Learning and Self-Distillation
- Title（参考訳）: 教師付きコントラスト学習と自己蒸留による統合的複数意図検出とスロット充填
- Authors: Nguyen Anh Tu, Hoang Thi Thu Uyen, Tu Minh Phuong, Ngo Xuan Bach
- Abstract要約: 複数の意図の検出とスロットフィリングは、音声言語理解における基本的かつ重要なタスクである。
インテントを同時に検出し、スロットを抽出できるジョイントモデルが好ましい。
本稿では,これらの課題に対処して複数の意図の検出とスロットフィリングを行う手法を提案する。
- 参考スコア（独自算出の注目度）: 4.123763595394021
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multiple intent detection and slot filling are two fundamental and crucial
tasks in spoken language understanding. Motivated by the fact that the two
tasks are closely related, joint models that can detect intents and extract
slots simultaneously are preferred to individual models that perform each task
independently. The accuracy of a joint model depends heavily on the ability of
the model to transfer information between the two tasks so that the result of
one task can correct the result of the other. In addition, since a joint model
has multiple outputs, how to train the model effectively is also challenging.
In this paper, we present a method for multiple intent detection and slot
filling by addressing these challenges. First, we propose a bidirectional joint
model that explicitly employs intent information to recognize slots and slot
features to detect intents. Second, we introduce a novel method for training
the proposed joint model using supervised contrastive learning and
self-distillation. Experimental results on two benchmark datasets MixATIS and
MixSNIPS show that our method outperforms state-of-the-art models in both
tasks. The results also demonstrate the contributions of both bidirectional
design and the training method to the accuracy improvement. Our source code is
available at https://github.com/anhtunguyen98/BiSLU
- Abstract（参考訳）: マルチインテント検出とスロット充填は、音声言語理解における2つの基本的かつ重要なタスクである。
2つのタスクが密接に関連しているという事実から、各タスクを独立して実行する個々のモデルに対して、意図を検知し、同時にスロットを抽出できるジョイントモデルが好ましい。
ジョイントモデルの精度は、2つのタスク間で情報を転送するモデルの能力に大きく依存し、1つのタスクの結果がもう1つのタスクの結果を補正できる。
さらに、関節モデルには複数の出力があるため、モデルを効果的に訓練する方法も困難である。
本稿では,これらの課題に対処して複数の意図の検出とスロットフィリングを行う手法を提案する。
まず,インテント情報を用いてスロットやスロットの特徴を認識し,インテントを検出する双方向ジョイントモデルを提案する。
第2に,教師付きコントラスト学習と自己蒸留を用いた共同モデルの学習方法を提案する。
MixATISとMixSNIPSの2つのベンチマークデータセットの実験結果から,本手法が両タスクの最先端モデルより優れていることが示された。
また, 双方向設計とトレーニング手法の双方が精度向上に寄与していることも示す。
ソースコードはhttps://github.com/anhtunguyen98/bisluで入手できます。
関連論文リスト
- Twin-Merging: Dynamic Integration of Modular Expertise in Model Merging [21.918559935122786]
モデルマージは、複数のタスク固有のモデルを、余分なトレーニングなしで単一のマルチタスクモデルに結合する、有望な方法である。
従来のモデルマージ手法は、微調整されたモデルに比べて大きな性能差を示すことが多い。
共有されたタスク固有の知識と排他的なタスク固有の知識の両方が、パフォーマンスのマージには不可欠であるが、排他的な知識を直接マージすることは、全体的なパフォーマンスを妨げていることを示す。
本稿では,1)知識を共有コンポーネントと排他コンポーネントにモジュール化し,冗長性を低減し効率を向上する圧縮,(2)共有およびタスク固有の知識を動的にマージする,という2つの主要な段階を包含する手法を提案する。
論文 参考訳（メタデータ） (2024-06-17T02:31:55Z) - Harnessing Diffusion Models for Visual Perception with Meta Prompts [68.78938846041767]
本稿では,視覚知覚タスクの拡散モデルを用いた簡易かつ効果的な手法を提案する。
学習可能な埋め込み(メタプロンプト)を事前学習した拡散モデルに導入し、知覚の適切な特徴を抽出する。
提案手法は,NYU 深度 V2 と KITTI の深度推定タスク,および CityScapes のセマンティックセグメンテーションタスクにおいて,新しい性能記録を実現する。
論文 参考訳（メタデータ） (2023-12-22T14:40:55Z) - Co-guiding for Multi-intent Spoken Language Understanding [53.30511968323911]
本稿では,2つのタスク間の相互指導を実現するための2段階のフレームワークを実装した,コガイドネットと呼ばれる新しいモデルを提案する。
第1段階では,単一タスクによる教師付きコントラスト学習を提案し,第2段階ではコガイドによる教師付きコントラスト学習を提案する。
マルチインテリジェントSLU実験の結果,我々のモデルは既存のモデルよりも大きなマージンで優れていることがわかった。
論文 参考訳（メタデータ） (2023-11-22T08:06:22Z) - Joint Salient Object Detection and Camouflaged Object Detection via
Uncertainty-aware Learning [47.253370009231645]
本稿では,SOD と Camouflaged Object Detection (COD) の矛盾する情報を探るため,不確実性を考慮した学習パイプラインを提案する。
我々の解決策は、最先端の性能と情報的不確実性の推定の両方につながる。
論文 参考訳（メタデータ） (2023-07-10T15:49:37Z) - Partner-Assisted Learning for Few-Shot Image Classification [54.66864961784989]
人間の視覚能力を模倣し、徹底的な人間のアノテーションを必要とせずに効果的なモデルを学ぶために、わずかなショットラーニングが研究されている。
本稿では,新しいクラスのプロトタイプをラベル付きサンプルから推定できるように,要素表現を得るためのトレーニング戦略の設計に焦点をあてる。
本稿では,まずパートナーエンコーダのペアワイド類似性をモデル化し,ソフトアンカーとして機能する特徴を抽出し,その出力をソフトアンカーと整列させ,分類性能を最大化しようとする2段階トレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-15T22:46:19Z) - Distribution Alignment: A Unified Framework for Long-tail Visual
Recognition [52.36728157779307]
長尾視覚認識のための分散アライメント戦略を提案する。
次に,二段階学習における一般化された再重み付け法を導入して,事前のクラスバランスをとる。
提案手法は, 4つの認識タスクすべてにおいて, 単純で統一されたフレームワークを用いて最先端の結果を得る。
論文 参考訳（メタデータ） (2021-03-30T14:09:53Z) - Joint Intent Detection And Slot Filling Based on Continual Learning
Model [18.961950574045648]
連続学習関連モデル (CLIM) を提案し, 特徴の異なる意味情報を考察した。
実験結果はCLIMがATISおよびSnipsのスロット満ちることおよび意図の検出で達成することを示します。
論文 参考訳（メタデータ） (2021-02-22T11:10:35Z) - Diverse Knowledge Distillation for End-to-End Person Search [81.4926655119318]
人物検索は、画像ギャラリーから特定の人物をローカライズし識別することを目的としている。
最近の手法は2つのグループ、すなわち2段階とエンドツーエンドのアプローチに分類できる。
ボトルネックを解消するために、多様な知識蒸留を備えたシンプルで強力なエンドツーエンドネットワークを提案します。
論文 参考訳（メタデータ） (2020-12-21T09:04:27Z) - A Co-Interactive Transformer for Joint Slot Filling and Intent Detection [61.109486326954205]
音声言語理解システム(SLU)を構築する上では,インテント検出とスロットフィリングが主要な2つのタスクである。
以前の研究では、2つのタスクを個別にモデル化するか、インテントからスロットへの単一の情報フローのみを考慮していた。
本稿では,2つのタスク間の相互影響を同時に検討するコ・インターアクティブ・トランスフォーマーを提案する。
論文 参考訳（メタデータ） (2020-10-08T10:16:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。