Fugu-MT 論文翻訳(概要): Enhancing Cross-lingual Transfer by Manifold Mixup

論文の概要: Enhancing Cross-lingual Transfer by Manifold Mixup

arxiv url: http://arxiv.org/abs/2205.04182v1
Date: Mon, 9 May 2022 10:49:07 GMT
ステータス: 処理完了
システム内更新日: 2022-05-10 13:52:35.390594
Title: Enhancing Cross-lingual Transfer by Manifold Mixup
Title（参考訳）: マニホールドミックスアップによる言語間伝達の促進
Authors: Huiyun Yang, Huadong Chen, Hao Zhou, Lei Li
Abstract要約: 本稿では,表現の相違を適応的に校正し,対象言語に対して妥協された表現を与える,言語間多様体混合(X-Mixup)法を提案する。 XTREMEベンチマークの実験では、X-Mixupは複数のテキスト理解タスクにおいて、強いベースラインと比較して1.8%のパフォーマンス向上を達成した。
参考スコア（独自算出の注目度）: 20.013373322918394
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Based on large-scale pre-trained multilingual representations, recent cross-lingual transfer methods have achieved impressive transfer performances. However, the performance of target languages still lags far behind the source language. In this paper, our analyses indicate such a performance gap is strongly associated with the cross-lingual representation discrepancy. To achieve better cross-lingual transfer performance, we propose the cross-lingual manifold mixup (X-Mixup) method, which adaptively calibrates the representation discrepancy and gives a compromised representation for target languages. Experiments on the XTREME benchmark show X-Mixup achieves 1.8% performance gains on multiple text understanding tasks, compared with strong baselines, and significantly reduces the cross-lingual representation discrepancy.
Abstract（参考訳）: 大規模事前学習された多言語表現に基づき、近年の言語間転送方式は印象的な転送性能を達成している。しかし、ターゲット言語のパフォーマンスは依然としてソース言語に及ばない。本稿では,このような性能差が言語間表現の相違と強く関連していることを示す。そこで本研究では,表現の不一致を適応的にコーディネートし,対象言語に対する妥協表現を与えるクロスリンガル多様体混合法(x-mixup法)を提案する。 XTREMEベンチマークの実験では、X-Mixupは複数のテキスト理解タスクで1.8%の性能向上を達成した。

関連論文リスト

CrossIn: An Efficient Instruction Tuning Approach for Cross-Lingual Knowledge Alignment [38.35458193262633]
英語中心のモデルは、通常他の言語では準最適である。そこで本研究では,言語間命令チューニングデータの混合合成を利用したCrossInという新しい手法を提案する。
論文参考訳（メタデータ） (2024-04-18T06:20:50Z)
Self-Augmentation Improves Zero-Shot Cross-Lingual Transfer [92.80671770992572]
言語間移動は多言語NLPにおける中心的なタスクである。このタスクの以前の作業では、並列コーパス、バイリンガル辞書、その他の注釈付きアライメントデータを使用していた。ゼロショットの言語間移動を改善するため, 単純で効果的なSALT法を提案する。
論文参考訳（メタデータ） (2023-09-19T19:30:56Z)
Optimal Transport Posterior Alignment for Cross-lingual Semantic Parsing [68.47787275021567]
言語間のセマンティックパーシングは、高いソース言語(例えば英語)から少ないトレーニングデータを持つ低リソース言語へのパーシング能力を伝達する。そこで本稿では,最適輸送を用いた係り受け変数間の言語間相違を明示的に最小化することで,言語間セマンティック解析のための新しい手法を提案する。
論文参考訳（メタデータ） (2023-07-09T04:52:31Z)
DiTTO: A Feature Representation Imitation Approach for Improving Cross-Lingual Transfer [15.062937537799005]
ゼロショット転送を改善するためのドメインとしての言語。我々のアプローチであるDiTTOは、標準のゼロショット微調整法よりも大幅に優れていることを示す。我々のモデルは、数ショット設定であっても、標準的な微調整法よりも言語間移動がより良くできる。
論文参考訳（メタデータ） (2023-03-04T08:42:50Z)
Model and Data Transfer for Cross-Lingual Sequence Labelling in Zero-Resource Settings [10.871587311621974]
我々は、ゼロショット設定に適用された高容量多言語言語モデルが、データベースのクロスランガルトランスファーアプローチより一貫して優れていることを実験的に実証した。この結果の詳細な分析は、言語使用における重要な違いによる可能性があることを示唆している。また,高容量多言語言語モデルが利用できない場合,データに基づく多言語間移動アプローチが競争力のある選択肢であることも示唆した。
論文参考訳（メタデータ） (2022-10-23T05:37:35Z)
A Simple and Effective Method to Improve Zero-Shot Cross-Lingual Transfer Learning [6.329304732560936]
既存のゼロショットのクロスリンガル転送法は、並列コーパスやバイリンガル辞書に依存している。意味喪失のない仮想多言語埋め込みに英語の埋め込みを移すための埋め込み・プッシュ・アテンション・プル・ロバスト・ターゲットを提案する。
論文参考訳（メタデータ） (2022-10-18T15:36:53Z)
Unsupervised Cross-lingual Adaptation for Sequence Tagging and Beyond [58.80417796087894]
多言語事前訓練言語モデル(mPTLM)による言語間適応は、主にゼロショットアプローチと翻訳に基づくアプローチの2行からなる。本稿では、ゼロショットアプローチと翻訳に基づくアプローチを統合し、適応性能を向上させるための新しいフレームワークを提案する。
論文参考訳（メタデータ） (2020-10-23T13:47:01Z)
Mixed-Lingual Pre-training for Cross-lingual Summarization [54.4823498438831]
言語間の要約は、ソース言語の記事に対する対象言語の要約を作成することを目的としている。本稿では,翻訳のような言語間タスクと,マスク付き言語モデルのようなモノリンガルタスクの両方を活用する混合言語事前学習に基づくソリューションを提案する。本モデルでは,2.82(中国語)と1.15(中国語,英語)のROUGE-1スコアを最先端の結果に対して改善する。
論文参考訳（メタデータ） (2020-10-18T00:21:53Z)
From Zero to Hero: On the Limitations of Zero-Shot Cross-Lingual Transfer with Multilingual Transformers [62.637055980148816]
言語モデリングの目的によって事前訓練された多言語トランスフォーマーは、NLPの事実上のデフォルト転送パラダイムとなっている。膨大な多言語変換器による言語間変換は,リソースリーンシナリオや遠方言語では著しく効果が低いことを示す。
論文参考訳（メタデータ） (2020-05-01T22:04:58Z)
Translation Artifacts in Cross-lingual Transfer Learning [51.66536640084888]
機械翻訳は、既存の言語間モデルに顕著な影響を与える微妙なアーティファクトを導入することができることを示す。自然言語の推論では、前提と仮説を独立に翻訳することで、それらの間の語彙的重複を減らすことができる。また、XNLIでは、それぞれ4.3点と2.8点の翻訳とゼロショットのアプローチを改善している。
論文参考訳（メタデータ） (2020-04-09T17:54:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。