論文の概要: Multi-level Contrastive Learning for Cross-lingual Spoken Language Understanding

• arxiv url: http://arxiv.org/abs/2205.03656v1
• Date: Sat, 7 May 2022 13:44:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-10 13:55:24.395867
• Title: Multi-level Contrastive Learning for Cross-lingual Spoken Language Understanding
• Title（参考訳）: 言語間理解のための多レベルコントラスト学習
• Authors: Shining Liang, Linjun Shou, Jian Pei, Ming Gong, Wanli Zuo, Xianglin Zuo, Daxin Jiang
• Abstract要約: コントラスト学習のための難解なサンプルを, あらゆるレベルで生成するコードスイッチング手法を開発した。 言語間知識伝達にラベルセマンティクスを利用するラベル認識ジョイントモデルを開発した。
• 参考スコア（独自算出の注目度）: 90.87454350016121
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Although spoken language understanding (SLU) has achieved great success in high-resource languages, such as English, it remains challenging in low-resource languages mainly due to the lack of high quality training data. The recent multilingual code-switching approach samples some words in an input utterance and replaces them by expressions in some other languages of the same meaning. The multilingual code-switching approach achieves better alignments of representations across languages in zero-shot cross-lingual SLU. Surprisingly, all existing multilingual code-switching methods disregard the inherent semantic structure in SLU, i.e., most utterances contain one or more slots, and each slot consists of one or more words. In this paper, we propose to exploit the "utterance-slot-word" structure of SLU and systematically model this structure by a multi-level contrastive learning framework at the utterance, slot, and word levels. We develop novel code-switching schemes to generate hard negative examples for contrastive learning at all levels. Furthermore, we develop a label-aware joint model to leverage label semantics for cross-lingual knowledge transfer. Our experimental results show that our proposed methods significantly improve the performance compared with the strong baselines on two zero-shot cross-lingual SLU benchmark datasets.
• Abstract（参考訳）: 音声言語理解(slu)は、英語などの高リソース言語で大きな成功を収めているが、主に高品質なトレーニングデータがないため、低リソース言語では依然として困難である。 最近の多言語コード切り換えアプローチでは、入力発話中のいくつかの単語をサンプリングし、同じ意味の他の言語で表現に置き換える。 多言語コードスイッチングアプローチは、ゼロショット言語間SLUにおける言語間の表現のアライメントを改善する。 驚くべきことに、既存のマルチリンガルコードスイッチングメソッドはすべて、sluに固有の意味構造、すなわち、ほとんどの発話には1つ以上のスロットが含まれており、各スロットは1つ以上の単語で構成されている。 本稿では,SLUの「発話スロットワード」構造を利用して,発話,スロット,単語レベルでの多レベルコントラスト学習フレームワークを用いて,この構造を体系的にモデル化する。 コントラスト学習のための難解なサンプルを, あらゆるレベルで生成するコードスイッチング手法を開発した。 さらに,言語間知識伝達にラベルセマンティクスを活用するラベル認識ジョイントモデルを開発した。 実験の結果,提案手法は2つのゼロショット・クロスランガルSLUベンチマークの強いベースラインと比較して,性能を著しく向上することがわかった。

関連論文リスト

• xCoT: Cross-lingual Instruction Tuning for Cross-lingual Chain-of-Thought Reasoning [36.34986831526529]
  CoT(Chain-of-Thought)は、大規模言語モデルにおける推論を誘発する強力なテクニックとして登場した。 本稿では,ハイソース言語から低リソース言語へ知識を伝達するための言語間命令微調整フレームワーク(xCOT)を提案する。
  論文  参考訳（メタデータ） (2024-01-13T10:53:53Z)
• Are Structural Concepts Universal in Transformer Language Models? Towards Interpretable Cross-Lingual Generalization [27.368684663279463]
  本稿では,言語間の概念対応を明確に整合させ,言語間の一般化を促進する可能性について検討する。 言語構文の側面をテストベッドとして,43言語を解析した結果,高い整合性を示した。 本稿では,メタラーニングに基づく概念空間の整合学習手法を提案する。
  論文  参考訳（メタデータ） (2023-10-19T14:50:51Z)
• A Multi-level Supervised Contrastive Learning Framework for Low-Resource Natural Language Inference [54.678516076366506]
  自然言語推論(NLI)は、自然言語理解において、ますます重要な課題である。 本稿では,低リソースな自然言語推論のためのマルチSCLという,マルチレベルの教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-31T05:54:18Z)
• Exposing Cross-Lingual Lexical Knowledge from Multilingual Sentence Encoders [85.80950708769923]
  本稿では,多言語言語モデルを用いて,それらのパラメータに格納された言語間語彙の知識量を探索し,元の多言語LMと比較する。 また、この知識を付加的に微調整した多言語モデルにより公開する新しい手法も考案した。 標準ベンチマークの大幅な向上を報告します。
  論文  参考訳（メタデータ） (2022-04-30T13:23:16Z)
• GL-CLeF: A Global-Local Contrastive Learning Framework for Cross-lingual Spoken Language Understanding [74.39024160277809]
  この問題に対処するために,グローバルローカルコントラスト学習フレームワーク(GL-CLeF)を提案する。 具体的には、比較学習を採用し、二言語辞書を活用して、同じ発話の多言語ビューを構築する。 GL-CLeFは最高のパフォーマンスを達成し、言語間の類似した文の表現をうまくプルする。
  論文  参考訳（メタデータ） (2022-04-18T13:56:58Z)
• Meta-X$_{NLG}$: A Meta-Learning Approach Based on Language Clustering for Zero-Shot Cross-Lingual Transfer and Generation [11.155430893354769]
  本稿では,類型的に多様な言語から共有可能な構造を学習するためのメタラーニングフレームワークを提案する。 まず、まず言語表現に基づいて言語をクラスタ化し、各クラスタのセントロイド言語を識別する。 メタ学習アルゴリズムは、全てのセントロイド言語で訓練され、ゼロショット設定で他の言語で評価される。
  論文  参考訳（メタデータ） (2022-03-19T05:22:07Z)
• Call Larisa Ivanovna: Code-Switching Fools Multilingual NLU Models [1.827510863075184]
  NLU(Multilingual natural Language understanding)の新たなベンチマークには、意図とスロットを付加した複数の言語での単言語文が含まれる。 既存のベンチマークでは、文法構造が複雑であるため、収集やラベル付けが困難であるコードスイッチ付き発話が欠如している。 我々の研究は、可塑性で自然な発声音声を生成するための認識された手法を採用し、それらを用いて合成コード発声テストセットを作成する。
  論文  参考訳（メタデータ） (2021-09-29T11:15:00Z)
• CoSDA-ML: Multi-Lingual Code-Switching Data Augmentation for Zero-Shot Cross-Lingual NLP [68.2650714613869]
  我々は,mBERTを微調整するための多言語コードスイッチングデータを生成するためのデータ拡張フレームワークを提案する。 既存の研究と比較すると,本手法は訓練にバイリンガル文を頼らず,複数の対象言語に対して1つの学習プロセスしか必要としない。
  論文  参考訳（メタデータ） (2020-06-11T13:15:59Z)
• Multi-SimLex: A Large-Scale Evaluation of Multilingual and Cross-Lingual Lexical Semantic Similarity [67.36239720463657]
  Multi-SimLexは、12の異なる言語のデータセットをカバーする大規模な語彙リソースと評価ベンチマークである。 各言語データセットは、意味的類似性の語彙的関係に注釈付けされ、1,888のセマンティック・アライメント・コンセプト・ペアを含む。 言語間の概念の整合性のため、66の言語間セマンティック類似性データセットを提供する。
  論文  参考訳（メタデータ） (2020-03-10T17:17:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。