論文の概要: HC$^2$L: Hybrid and Cooperative Contrastive Learning for Cross-lingual Spoken Language Understanding

• arxiv url: http://arxiv.org/abs/2405.06204v1
• Date: Fri, 10 May 2024 02:40:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-13 16:47:25.872217
• Title: HC$^2$L: Hybrid and Cooperative Contrastive Learning for Cross-lingual Spoken Language Understanding
• Title（参考訳）: HC$^2$L:対話型音声理解のためのハイブリッド・協調型コントラスト学習
• Authors: Bowen Xing, Ivor W. Tsang,
• Abstract要約: 言語間言語理解のための最先端モデルでは、言語間非教師付きコントラスト学習を行う。 この問題に対処するために,ハイブリッド・協調型コントラスト学習を提案する。
• 参考スコア（独自算出の注目度）: 45.12153788010354
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: State-of-the-art model for zero-shot cross-lingual spoken language understanding performs cross-lingual unsupervised contrastive learning to achieve the label-agnostic semantic alignment between each utterance and its code-switched data. However, it ignores the precious intent/slot labels, whose label information is promising to help capture the label-aware semantics structure and then leverage supervised contrastive learning to improve both source and target languages' semantics. In this paper, we propose Hybrid and Cooperative Contrastive Learning to address this problem. Apart from cross-lingual unsupervised contrastive learning, we design a holistic approach that exploits source language supervised contrastive learning, cross-lingual supervised contrastive learning and multilingual supervised contrastive learning to perform label-aware semantics alignments in a comprehensive manner. Each kind of supervised contrastive learning mechanism includes both single-task and joint-task scenarios. In our model, one contrastive learning mechanism's input is enhanced by others. Thus the total four contrastive learning mechanisms are cooperative to learn more consistent and discriminative representations in the virtuous cycle during the training process. Experiments show that our model obtains consistent improvements over 9 languages, achieving new state-of-the-art performance.
• Abstract（参考訳）: ゼロショット言語間言語理解のための最先端モデルでは、言語間非教師付きコントラスト学習を行い、各発話とそのコード切替データ間のラベルに依存しないセマンティックアライメントを実現する。 しかし、ラベル情報がラベル認識のセマンティクス構造をキャプチャし、教師付きコントラスト学習を活用して、ソースおよびターゲット言語のセマンティクスを改善することを約束している重要なインテント/スロットラベルを無視している。 本稿では,この問題に対処するためのハイブリッド・協調型コントラスト学習を提案する。 言語間非教師ありコントラスト学習とは別に,言語間教師ありコントラスト学習,言語間教師ありコントラスト学習,多言語教師ありコントラスト学習を活用し,ラベル認識セマンティクスアライメントを包括的に実施する包括的アプローチを設計する。 教師付きコントラスト学習機構には、シングルタスクとジョイントタスクの両方のシナリオが含まれる。 本モデルでは,1つのコントラスト学習機構の入力を他者によって強化する。 このように、合計4つのコントラスト学習メカニズムは、トレーニングプロセス中に、より一貫性があり差別的な表現を学習するために協調的である。 実験の結果、我々のモデルは9つの言語で一貫した改善を達成し、新しい最先端性能を実現していることがわかった。

関連論文リスト

• Self-Supervised Representation Learning with Spatial-Temporal Consistency for Sign Language Recognition [96.62264528407863]
  本研究では,空間的時間的整合性を通じてリッチな文脈を探索する自己教師付きコントラスト学習フレームワークを提案する。 動きと関節のモーダル性の相補性に着想を得て,手話モデルに一階動作情報を導入する。 提案手法は,4つの公開ベンチマークの広範な実験により評価され,新しい最先端性能と顕著なマージンを実現している。
  論文  参考訳（メタデータ） (2024-06-15T04:50:19Z)
• Incorporating Lexical and Syntactic Knowledge for Unsupervised Cross-Lingual Transfer [4.944761231728674]
  我々は"Lexicon-Syntax Enhanced Multilingual BERT"と呼ばれる新しいフレームワークを提案する。 我々は、ベースモデルとしてMultilingual BERTを使用し、学習能力を高めるために2つの手法を用いています。 実験の結果、このフレームワークはゼロショット・クロスランガル転送のすべてのベースラインを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2024-04-25T14:10:52Z)
• mCL-NER: Cross-Lingual Named Entity Recognition via Multi-view Contrastive Learning [54.523172171533645]
  CrossNERは多言語コーパスの不足により不均一な性能から生じる課題に直面している。 言語横断的名前付きエンティティ認識(mCL-NER)のためのマルチビューコントラスト学習を提案する。 40言語にまたがるXTREMEベンチマーク実験では、従来のデータ駆動型およびモデルベースアプローチよりもmCL-NERの方が優れていることを示した。
  論文  参考訳（メタデータ） (2023-08-17T16:02:29Z)
• Improving Self-training for Cross-lingual Named Entity Recognition with Contrastive and Prototype Learning [80.08139343603956]
  言語横断的な実体認識において、自己学習は言語的ギャップを埋めるために一般的に用いられる。 本研究では,表現学習と擬似ラベル改善を組み合わせることで,言語間NERの自己学習を改善することを目的とする。 提案手法,すなわちContProtoは主に,(1)コントラスト型自己学習と(2)プロトタイプベース擬似ラベルの2つのコンポーネントから構成される。
  論文  参考訳（メタデータ） (2023-05-23T02:52:16Z)
• VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning [56.47303426167584]
  複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。 具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。 トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
  論文  参考訳（メタデータ） (2023-04-17T12:23:41Z)
• Improving Neural Cross-Lingual Summarization via Employing Optimal Transport Distance for Knowledge Distillation [8.718749742587857]
  言語間の要約モデルは、2つの言語のトークン間での自己認識機構に依存している。 本稿では,言語間要約のための知識蒸留に基づく新しいフレームワークを提案する。 提案手法は,高解像度および低出力の条件下での最先端モデルよりも優れる。
  論文  参考訳（メタデータ） (2021-12-07T03:45:02Z)
• Robust Mutual Learning for Semi-supervised Semantic Segmentation [23.54885398483688]
  従来のアプローチを2つの側面で改善する頑健な相互学習を提案する。 モデル結合を緩和するためには、強いデータ拡張、モデルノイズ、異種ネットワークアーキテクチャが不可欠であることを示す。 提案した頑健な相互学習は、低データ状態におけるセマンティックセグメンテーションにおける最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-06-01T16:22:01Z)
• Multilingual Transfer Learning for Code-Switched Language and Speech Neural Modeling [12.497781134446898]
  本稿では,言語非依存なマルチタスク学習手法を提案することにより,言語理論のデータ不足と限界に対処する。 まず,メタラーニングに基づくメタトランスファー学習を提案する。そこでは,高音源単言語音声データから,コードスイッチング領域への情報抽出を行う。 第2に,他の言語で学習した有用な知識を得ることにより,コードスイッチングデータを効果的に表現するための,多言語メタエム手法を提案する。 第3に,言語モデルへの伝達学習戦略として構文情報を統合するために,マルチタスク学習を導入する。
  論文  参考訳（メタデータ） (2021-04-13T14:49:26Z)
• InfoXLM: An Information-Theoretic Framework for Cross-Lingual Language Model Pre-Training [135.12061144759517]
  本稿では,言語間言語モデルの事前学習を定式化する情報理論フレームワークを提案する。 コントラスト学習に基づく新しい事前学習課題を提案する。 単言語コーパスと並列コーパスの両方を活用することで、事前訓練されたモデルの言語間変換性を向上させるために、プレテキストを共同で訓練する。
  論文  参考訳（メタデータ） (2020-07-15T16:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。