論文の概要: Learning Disentangled Semantic Representations for Zero-Shot Cross-Lingual Transfer in Multilingual Machine Reading Comprehension

• arxiv url: http://arxiv.org/abs/2204.00996v1
• Date: Sun, 3 Apr 2022 05:26:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-06 09:35:40.051698
• Title: Learning Disentangled Semantic Representations for Zero-Shot Cross-Lingual Transfer in Multilingual Machine Reading Comprehension
• Title（参考訳）: 多言語機械読解におけるゼロショット言語間伝達のための意味表現の学習
• Authors: injuan Wu, Shaojuan Wu, Xiaowang Zhang, Deyi Xiong, Shizhan Chen, Zhiqiang Zhuang, Zhiyong Feng
• Abstract要約: マルチリンガル事前学習モデルは、機械読取理解(MRC)において、リッチリソース言語から低リソース言語への移行知識をゼロショットで得ることができる 本稿では,シメセマンティック・ディスタングルメント・モデル(SSDM)を用いた,多言語事前学習モデルで学習した表現の構文から意味論を解離させる新しい多言語MRCフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 40.38719019711233
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multilingual pre-trained models are able to zero-shot transfer knowledge from rich-resource to low-resource languages in machine reading comprehension (MRC). However, inherent linguistic discrepancies in different languages could make answer spans predicted by zero-shot transfer violate syntactic constraints of the target language. In this paper, we propose a novel multilingual MRC framework equipped with a Siamese Semantic Disentanglement Model (SSDM) to disassociate semantics from syntax in representations learned by multilingual pre-trained models. To explicitly transfer only semantic knowledge to the target language, we propose two groups of losses tailored for semantic and syntactic encoding and disentanglement. Experimental results on three multilingual MRC datasets (i.e., XQuAD, MLQA, and TyDi QA) demonstrate the effectiveness of our proposed approach over models based on mBERT and XLM-100. Code is available at:https://github.com/wulinjuan/SSDM_MRC.
• Abstract（参考訳）: 多言語事前学習モデルは、機械読取理解(MRC)において、リッチリソースから低リソース言語への転送知識をゼロショット化することができる。 しかし、異なる言語における固有の言語的不一致は、ゼロショット転送によって予測される回答スパンが対象言語の構文的制約に反する可能性がある。 本稿では,シメセマンティック・ディスタングルメント・モデル(SSDM)を用いた,多言語事前学習モデルで学習した表現の構文から意味論を解離させる新しい多言語MRCフレームワークを提案する。 意味的知識のみを対象言語に明示的に転送するために,意味的および構文的エンコーディングと不等角化に適した2つの損失群を提案する。 3つの多言語MRCデータセット(XQuAD,MLQA,TyDi QA)の実験結果から,mBERTとXLM-100に基づくモデルに対する提案手法の有効性が示された。 コードは、https://github.com/wulinjuan/SSDM_MRCで入手できる。

関連論文リスト

• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Parameter-Efficient Cross-lingual Transfer of Vision and Language Models via Translation-based Alignment [31.885608173448368]
  CLIPのような事前訓練された視覚と言語モデルは、画像とテキストを英語のテキストに焦点を合わせることに顕著な成功を収めた。 異なる言語間のパフォーマンスの格差は、不均一なリソース可用性のために観測されている。 翻訳に基づくアライメント手法を用いて,多言語差を緩和するパラメータ効率のよい多言語間移動学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-02T14:09:02Z)
• A Simple and Effective Method to Improve Zero-Shot Cross-Lingual Transfer Learning [6.329304732560936]
  既存のゼロショットのクロスリンガル転送法は、並列コーパスやバイリンガル辞書に依存している。 意味喪失のない仮想多言語埋め込みに英語の埋め込みを移すための埋め込み・プッシュ・アテンション・プル・ロバスト・ターゲットを提案する。
  論文  参考訳（メタデータ） (2022-10-18T15:36:53Z)
• Cross-Lingual Text Classification with Multilingual Distillation and Zero-Shot-Aware Training [21.934439663979663]
  多言語事前学習言語モデル(MPLM)に基づくマルチブランチ多言語言語モデル(MBLM) 教師学習フレームワークを用いた高性能単言語モデルからの知識の伝達に基づく方法 2つの言語横断型分類タスクの結果から,MPLMの教師付きデータのみを用いることで,教師付き性能とゼロショット性能が向上することが示された。
  論文  参考訳（メタデータ） (2022-02-28T09:51:32Z)
• Cross-lingual Machine Reading Comprehension with Language Branch Knowledge Distillation [105.41167108465085]
  言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。 本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。 LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。 複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
  論文  参考訳（メタデータ） (2020-10-27T13:12:17Z)
• How Phonotactics Affect Multilingual and Zero-shot ASR Performance [74.70048598292583]
  Transformer encoder-decoderモデルは、トレーニング中に提示された言語のIPA転写において、多言語データをうまく活用することが示されている。 我々は,エンコーダデコーダをAMとLMを分離したハイブリッドASRシステムに置き換える。 交叉音韻律のモデル化による利得は限定的であり,強すぎるモデルがゼロショット転送を損なう可能性があることを示す。
  論文  参考訳（メタデータ） (2020-10-22T23:07:24Z)
• XCOPA: A Multilingual Dataset for Causal Commonsense Reasoning [68.57658225995966]
  XCOPA (Cross-lingual Choice of Plausible Alternatives) は11言語における因果コモンセンス推論のための多言語データセットである。 提案手法は,翻訳に基づく転送と比較して,現在の手法の性能が低下していることを明らかにする。
  論文  参考訳（メタデータ） (2020-05-01T12:22:33Z)
• Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation [81.7786241489002]
  ニューラルネットワーク翻訳(NMT)の多言語モデルは理論的には魅力的であるが、しばしばバイリンガルモデルに劣る。 我々は,多言語NMTが言語ペアをサポートするためにより強力なモデリング能力を必要とすることを論じる。 未知のトレーニング言語ペアの翻訳を強制するために,ランダムなオンライン翻訳を提案する。
  論文  参考訳（メタデータ） (2020-04-24T17:21:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。