論文の概要: A Two-Stage Prediction-Aware Contrastive Learning Framework for Multi-Intent NLU
- arxiv url: http://arxiv.org/abs/2405.02925v1
- Date: Sun, 5 May 2024 13:09:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-07 17:40:45.789280
- Title: A Two-Stage Prediction-Aware Contrastive Learning Framework for Multi-Intent NLU
- Title（参考訳）: マルチインテントNLUのための2段階予測型コントラスト学習フレームワーク
- Authors: Guanhua Chen, Yutong Yao, Derek F. Wong, Lidia S. Chao,
- Abstract要約: NLU(Multi-intent Natural Language Understanding)は、単一発話における複数の意図から生じるモデルの混乱によって、非常に難しい課題を提示する。
以前の作業では、異なる多目的ラベル間のマージンを増やすために、モデルを対照的に訓練した。
マルチインテリジェントNLUのための2段階予測対応コントラスト学習フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 41.45522079026888
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-intent natural language understanding (NLU) presents a formidable challenge due to the model confusion arising from multiple intents within a single utterance. While previous works train the model contrastively to increase the margin between different multi-intent labels, they are less suited to the nuances of multi-intent NLU. They ignore the rich information between the shared intents, which is beneficial to constructing a better embedding space, especially in low-data scenarios. We introduce a two-stage Prediction-Aware Contrastive Learning (PACL) framework for multi-intent NLU to harness this valuable knowledge. Our approach capitalizes on shared intent information by integrating word-level pre-training and prediction-aware contrastive fine-tuning. We construct a pre-training dataset using a word-level data augmentation strategy. Subsequently, our framework dynamically assigns roles to instances during contrastive fine-tuning while introducing a prediction-aware contrastive loss to maximize the impact of contrastive learning. We present experimental results and empirical analysis conducted on three widely used datasets, demonstrating that our method surpasses the performance of three prominent baselines on both low-data and full-data scenarios.
- Abstract（参考訳）: NLU(Multi-intent Natural Language Understanding)は、単一発話における複数の意図から生じるモデルの混乱によって、非常に難しい課題を提示する。
以前の研究では、異なるマルチインテントラベル間のマージンを増やすためにモデルを対照的に訓練したが、それはマルチインテントNLUのニュアンスにはあまり適していない。
共有インテント間の豊富な情報は無視され、特に低データシナリオにおいて、より良い埋め込みスペースを構築するのに有益である。
我々は、この貴重な知識を活用するために、マルチインテリジェントNLUのための2段階予測認識コントラスト学習(PACL)フレームワークを導入する。
提案手法は,単語レベルの事前学習と予測対応のコントラスト微調整を組み合わせることで,共有意図情報に重きを置いている。
単語レベルのデータ拡張戦略を用いて事前学習データセットを構築する。
提案フレームワークは,コントラスト学習の影響を最大化するために,予測認識型コントラスト損失を導入しながら,コントラスト微調整中のインスタンスに動的にロールを割り当てる。
本稿では,3つの広く使用されているデータセットに対して実験結果と実験分析を行い,本手法が低データシナリオとフルデータシナリオの両方において,3つの顕著なベースラインの性能を上回ることを示す。
関連論文リスト
- C$^{2}$INet: Realizing Incremental Trajectory Prediction with Prior-Aware Continual Causal Intervention [10.189508227447401]
複雑なシナリオにおけるマルチエージェントの軌道予測は、自律運転のようなアプリケーションには不可欠である。
既存の手法は、しばしば環境バイアスを見落とし、一般化の低さにつながる。
一般化可能なマルチエージェント軌道予測のための連続因果干渉法(C$2$INet)を提案する。
論文 参考訳（メタデータ） (2024-11-19T08:01:20Z) - Towards Spoken Language Understanding via Multi-level Multi-grained Contrastive Learning [50.1035273069458]
音声言語理解(SLU)はタスク指向対話システムにおける中核的なタスクである。
本稿では,発話レベル,スロットレベル,単語レベルを含む3段階のコントラスト学習を実現するためのマルチレベルMMCLフレームワークを提案する。
本フレームワークは,2つの公開マルチインテリジェントSLUデータセットに対して,最先端の新たな結果を実現する。
論文 参考訳（メタデータ） (2024-05-31T14:34:23Z) - TrACT: A Training Dynamics Aware Contrastive Learning Framework for Long-tail Trajectory Prediction [7.3292387742640415]
本稿では,よりリッチなトレーニングダイナミックス情報を,原型的コントラスト学習フレームワークに組み込むことを提案する。
我々は,2つの大規模自然主義データセットを用いたアプローチの実証評価を行った。
論文 参考訳（メタデータ） (2024-04-18T23:12:46Z) - Separating common from salient patterns with Contrastive Representation
Learning [2.250968907999846]
コントラスト分析は、2つのデータセット間の変動の共通要因を分離することを目的としている。
変分オートエンコーダに基づく現在のモデルは意味表現の学習において性能が劣っている。
コントラスト分析に適合した意味表現表現を学習するためのコントラスト学習の活用を提案する。
論文 参考訳（メタデータ） (2024-02-19T08:17:13Z) - Co-guiding for Multi-intent Spoken Language Understanding [53.30511968323911]
本稿では,2つのタスク間の相互指導を実現するための2段階のフレームワークを実装した,コガイドネットと呼ばれる新しいモデルを提案する。
第1段階では,単一タスクによる教師付きコントラスト学習を提案し,第2段階ではコガイドによる教師付きコントラスト学習を提案する。
マルチインテリジェントSLU実験の結果,我々のモデルは既存のモデルよりも大きなマージンで優れていることがわかった。
論文 参考訳（メタデータ） (2023-11-22T08:06:22Z) - Hybrid Contrastive Constraints for Multi-Scenario Ad Ranking [38.666592866591344]
マルチシナリオ広告ランキングは、複数のドメインやチャネルからのデータを活用して、統一されたランキングモデルをトレーニングすることを目的としている。
マルチシナリオ広告ランキングのためのHybrid Contrastive Constrained Approach (HC2)を提案する。
論文 参考訳（メタデータ） (2023-02-06T09:15:39Z) - A Multi-level Supervised Contrastive Learning Framework for Low-Resource
Natural Language Inference [54.678516076366506]
自然言語推論(NLI)は、自然言語理解において、ますます重要な課題である。
本稿では,低リソースな自然言語推論のためのマルチSCLという,マルチレベルの教師付きコントラスト学習フレームワークを提案する。
論文 参考訳（メタデータ） (2022-05-31T05:54:18Z) - Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。
これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。
そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
論文 参考訳（メタデータ） (2021-09-24T07:20:13Z) - Divide-and-Conquer for Lane-Aware Diverse Trajectory Prediction [71.97877759413272]
軌道予測は、自動運転車が行動を計画し実行するための安全クリティカルなツールです。
近年の手法は,WTAやベスト・オブ・マニーといったマルチコース学習の目標を用いて,強力なパフォーマンスを実現している。
我々の研究は、軌道予測、学習出力、そして運転知識を使って制約を課すことによるより良い予測における2つの重要な課題に対処する。
論文 参考訳（メタデータ） (2021-04-16T17:58:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。