論文の概要: Co-guiding for Multi-intent Spoken Language Understanding
- arxiv url: http://arxiv.org/abs/2312.03716v1
- Date: Wed, 22 Nov 2023 08:06:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-11 03:21:04.396917
- Title: Co-guiding for Multi-intent Spoken Language Understanding
- Title（参考訳）: マルチインテント音声言語理解のためのコガイド
- Authors: Bowen Xing and Ivor W. Tsang
- Abstract要約: 本稿では,2つのタスク間の相互指導を実現するための2段階のフレームワークを実装した,コガイドネットと呼ばれる新しいモデルを提案する。
第1段階では,単一タスクによる教師付きコントラスト学習を提案し,第2段階ではコガイドによる教師付きコントラスト学習を提案する。
マルチインテリジェントSLU実験の結果,我々のモデルは既存のモデルよりも大きなマージンで優れていることがわかった。
- 参考スコア（独自算出の注目度）: 53.30511968323911
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent graph-based models for multi-intent SLU have obtained promising
results through modeling the guidance from the prediction of intents to the
decoding of slot filling. However, existing methods (1) only model the
unidirectional guidance from intent to slot, while there are bidirectional
inter-correlations between intent and slot; (2) adopt homogeneous graphs to
model the interactions between the slot semantics nodes and intent label nodes,
which limit the performance. In this paper, we propose a novel model termed
Co-guiding Net, which implements a two-stage framework achieving the mutual
guidances between the two tasks. In the first stage, the initial estimated
labels of both tasks are produced, and then they are leveraged in the second
stage to model the mutual guidances. Specifically, we propose two heterogeneous
graph attention networks working on the proposed two heterogeneous semantics
label graphs, which effectively represent the relations among the semantics
nodes and label nodes. Besides, we further propose Co-guiding-SCL Net, which
exploits the single-task and dual-task semantics contrastive relations. For the
first stage, we propose single-task supervised contrastive learning, and for
the second stage, we propose co-guiding supervised contrastive learning, which
considers the two tasks' mutual guidances in the contrastive learning
procedure. Experiment results on multi-intent SLU show that our model
outperforms existing models by a large margin, obtaining a relative improvement
of 21.3% over the previous best model on MixATIS dataset in overall accuracy.
We also evaluate our model on the zero-shot cross-lingual scenario and the
results show that our model can relatively improve the state-of-the-art model
by 33.5% on average in terms of overall accuracy for the total 9 languages.
- Abstract（参考訳）: 近年のマルチインテントsluのグラフベースモデルでは,スロット充填の復号化に対する意図予測からガイダンスのモデル化により有望な結果が得られた。
しかし,既存の手法は(1)インテントからスロットへの一方向誘導のみをモデル化し,(2)インテントとスロットの間には双方向の相互相関が存在する;(2)スロットセマンティクスノードとインテントラベルノード間の相互作用をモデル化するために同質なグラフを採用し,性能を制限している。
本稿では,この2つのタスク間の相互ガイダンスを実現する2段階フレームワークを実装した,コガイドネットと呼ばれる新しいモデルを提案する。
第1段階では、両タスクの初期推定ラベルが生成され、その後第2段階で活用され、相互指導をモデル化する。
具体的には,提案する2つの異種セマンティクスラベルグラフに対して,セマンティクスノードとラベルノードの関係を効果的に表現する2つの異種グラフアテンションネットワークを提案する。
さらに,シングルタスクとデュアルタスクのセマンティクスを対比的に利用する共誘導sclネットを提案する。
第1段階では,単タスク教師ありコントラスト学習を提案し,第2段階では,コントラスト学習手順における2つのタスクの相互指導を考慮した共同ガイド型教師ありコントラスト学習を提案する。
マルチインテントslu実験の結果,本モデルが既存のモデルよりも高いマージンを示し,これまでのmixatisデータセットのベストモデルと比較して21.3%の相対的改善率を得た。
また,ゼロショット・クロスランガルのシナリオをモデルとして評価した結果,全9言語に対して平均33.5%の精度で最先端のモデルを改善できることが示唆された。
関連論文リスト
- Towards Spoken Language Understanding via Multi-level Multi-grained Contrastive Learning [50.1035273069458]
音声言語理解(SLU)はタスク指向対話システムにおける中核的なタスクである。
本稿では,発話レベル,スロットレベル,単語レベルを含む3段階のコントラスト学習を実現するためのマルチレベルMMCLフレームワークを提案する。
本フレームワークは,2つの公開マルチインテリジェントSLUデータセットに対して,最先端の新たな結果を実現する。
論文 参考訳（メタデータ） (2024-05-31T14:34:23Z) - S^2Former-OR: Single-Stage Bi-Modal Transformer for Scene Graph Generation in OR [50.435592120607815]
外科手術のシーングラフ生成(SGG)は、手術室(OR)におけるホモロジー認知知能の増強に不可欠である
これまでの研究は主に多段階学習に依存しており、生成したセマンティックシーングラフはポーズ推定とオブジェクト検出を伴う中間プロセスに依存している。
本研究では,S2Former-OR(S2Former-OR)と呼ばれるORにおけるSGGのための新しいシングルステージバイモーダルトランスフォーマフレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-22T11:40:49Z) - Robust Training of Federated Models with Extremely Label Deficiency [84.00832527512148]
フェデレーション半教師付き学習(FSSL)は、ラベル不足を伴う分散データを用いて機械学習モデルを協調訓練するための強力なパラダイムとして登場した。
我々は,ラベル付きおよびラベルなしデータの異なる視点から洞察を提供することにより相互指導を強化するために,ツインサイトと呼ばれる新しいツインモデルパラダイムを提案する。
4つのベンチマークデータセットに関する包括的な実験は、Twin-sightが様々な実験環境において最先端の手法を著しく上回っていることを示す重要な証拠となる。
論文 参考訳（メタデータ） (2024-02-22T10:19:34Z) - Joint Multiple Intent Detection and Slot Filling with Supervised
Contrastive Learning and Self-Distillation [4.123763595394021]
複数の意図の検出とスロットフィリングは、音声言語理解における基本的かつ重要なタスクである。
インテントを同時に検出し、スロットを抽出できるジョイントモデルが好ましい。
本稿では,これらの課題に対処して複数の意図の検出とスロットフィリングを行う手法を提案する。
論文 参考訳（メタデータ） (2023-08-28T15:36:33Z) - A Dynamic Graph Interactive Framework with Label-Semantic Injection for
Spoken Language Understanding [43.48113981442722]
本稿では,まずラベルのセマンティック情報を利用して,モデルに付加的な信号を与え,よりリッチな事前情報を与える,DGIFというフレームワークを提案する。
本稿では,ラベルセマンティクスの注入に基づく対話型グラフ構築手法を提案する。
論文 参考訳（メタデータ） (2022-11-08T05:57:46Z) - Co-guiding Net: Achieving Mutual Guidances between Multiple Intent
Detection and Slot Filling via Heterogeneous Semantics-Label Graphs [39.76268402567324]
本稿では,2つのタスク間のテキスト間ガイダンスを実現するための2段階フレームワークを実装したCo- Guideiding Netという新しいモデルを提案する。
具体的には、提案した2つのテクスチャセマンティクス-ラベルグラフに作用する2つのテクスチャセマンティクスグラフアテンションネットワークを提案する。
実験結果から,MixATISデータセットの先行モデルよりも19.3%の相対的な改善が得られた。
論文 参考訳（メタデータ） (2022-10-19T08:34:51Z) - On the Role of Bidirectionality in Language Model Pre-Training [85.14614350372004]
本研究では,次のトークン予測,テキスト入力,ゼロショットプライミング,微調整における双方向性の役割について検討する。
最大6.7Bのパラメータを持つモデルをトレーニングし、スケールで一貫性のある相違点を見つけます。
論文 参考訳（メタデータ） (2022-05-24T02:25:05Z) - Bi-directional Joint Neural Networks for Intent Classification and Slot
Filling [5.3361357265365035]
目的分類とスロットフィリングのための双方向ジョイントモデルを提案する。
本モデルでは,意図分類の精度,スロットフィリングF1,文レベルのセマンティックフレームの精度を大幅に向上させる。
論文 参考訳（メタデータ） (2022-02-26T06:35:21Z) - Cascaded Human-Object Interaction Recognition [175.60439054047043]
マルチステージで粗大なHOI理解のためのカスケードアーキテクチャを提案する。
各段階で、インスタンスローカライゼーションネットワークは、HOI提案を段階的に洗練し、インタラクション認識ネットワークにフィードする。
慎重に設計された人間中心の関係機能により、これらの2つのモジュールは効果的な相互作用理解に向けて協調的に機能する。
論文 参考訳（メタデータ） (2020-03-09T17:05:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。