論文の概要: Boosting Cross-Lingual Transfer via Self-Learning with Uncertainty Estimation

• arxiv url: http://arxiv.org/abs/2109.00194v1
• Date: Wed, 1 Sep 2021 05:26:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-02 14:30:55.125585
• Title: Boosting Cross-Lingual Transfer via Self-Learning with Uncertainty Estimation
• Title（参考訳）: 不確実性推定による自己学習による言語間移動の促進
• Authors: Liyan Xu, Xuchao Zhang, Xujiang Zhao, Haifeng Chen, Feng Chen, Jinho D. Choi
• Abstract要約: 最近の多言語事前訓練型言語モデルは、目覚ましいゼロショット性能を実現している。 対象言語のラベルのないデータをさらに活用する自己学習フレームワークを提案する。 我々は,NER(Nond Entity Recognition)とNLI(Natural Language Inference)の2つの言語間タスクについて,40言語を網羅した不確実性で評価した。
• 参考スコア（独自算出の注目度）: 34.97086123805344
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent multilingual pre-trained language models have achieved remarkable zero-shot performance, where the model is only finetuned on one source language and directly evaluated on target languages. In this work, we propose a self-learning framework that further utilizes unlabeled data of target languages, combined with uncertainty estimation in the process to select high-quality silver labels. Three different uncertainties are adapted and analyzed specifically for the cross lingual transfer: Language Heteroscedastic/Homoscedastic Uncertainty (LEU/LOU), Evidential Uncertainty (EVI). We evaluate our framework with uncertainties on two cross-lingual tasks including Named Entity Recognition (NER) and Natural Language Inference (NLI) covering 40 languages in total, which outperforms the baselines significantly by 10 F1 on average for NER and 2.5 accuracy score for NLI.
• Abstract（参考訳）: 近年の多言語事前学習型言語モデルでは,1つのソース言語でのみ微調整され,対象言語で直接評価されるなど,目覚ましいゼロショット性能を実現している。 本研究では,対象言語のラベルなしデータと,高品質なシルバーラベルの選択過程における不確実性推定を組み合わせた自己学習フレームワークを提案する。 言語ヘテロセダスティック/ホモセダスティック不確実性(LEU/LOU)、エビデンシャル不確実性(EVI)の3つの異なる不確実性に適応し分析する。 我々は,NERにおける平均10F1,NLIにおける2.5精度スコアにおいて,40言語を網羅するNERと自然言語推論(NLI)の2つの言語間タスクに対する不確実性を評価した。

関連論文リスト

• ConNER: Consistency Training for Cross-lingual Named Entity Recognition [96.84391089120847]
  言語間の名前付きエンティティ認識は、対象言語のデータの不足に悩まされる。 言語間NERのための新しい一貫性トレーニングフレームワークとしてConNERを提案する。
  論文  参考訳（メタデータ） (2022-11-17T07:57:54Z)
• CROP: Zero-shot Cross-lingual Named Entity Recognition with Multilingual Labeled Sequence Translation [113.99145386490639]
  言語間NERは、整列した言語間表現や機械翻訳結果を通じて、言語間で知識を伝達することができる。 ゼロショット言語間NERを実現するために,クロスランガル・エンティティ・プロジェクション・フレームワーク(CROP)を提案する。 多言語ラベル付きシーケンス翻訳モデルを用いて、タグ付けされたシーケンスをターゲット言語に投影し、ターゲットの原文にラベル付けする。
  論文  参考訳（メタデータ） (2022-10-13T13:32:36Z)
• Understanding and Mitigating the Uncertainty in Zero-Shot Translation [92.25357943169601]
  ゼロショット翻訳の不確実性の観点から、オフターゲット問題を理解し、緩和することを目的としている。 そこで本研究では,モデルトレーニングのためのトレーニングデータを認知するための,軽量かつ補完的な2つのアプローチを提案する。 提案手法は,強いMNMTベースライン上でのゼロショット翻訳の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2022-05-20T10:29:46Z)
• Por Qu\'e N\~ao Utiliser Alla Spr{\aa}k? Mixed Training with Gradient Optimization in Few-Shot Cross-Lingual Transfer [2.7213511121305465]
  本研究では,ソースデータとターゲットデータの両方を学習する1ステップ混合学習手法を提案する。 我々は1つのモデルを使って全てのターゲット言語を同時に処理し、過度に言語固有のモデルを避ける。 提案手法は,全タスクの最先端性能と目標適応性能を高いマージンで向上させる。
  論文  参考訳（メタデータ） (2022-04-29T04:05:02Z)
• From Good to Best: Two-Stage Training for Cross-lingual Machine Reading Comprehension [51.953428342923885]
  モデル性能を向上させるための2段階のアプローチを開発する。 我々は、トップk予測が正確な答えを含む確率を最大化するために、ハードラーニング(HL)アルゴリズムを設計する。 第2段階では, 正解と他の候補との微妙な違いを学習するために, 解答を意識したコントラスト学習機構が開発された。
  論文  参考訳（メタデータ） (2021-12-09T07:31:15Z)
• AmericasNLI: Evaluating Zero-shot Natural Language Understanding of Pretrained Multilingual Models in Truly Low-resource Languages [75.08199398141744]
  我々は、XNLI(Conneau et al)の拡張である AmericasNLI を提示する。 は、アメリカ大陸の10の原住民の言語である。 XLM-Rで実験を行い、複数のゼロショットおよび翻訳ベースのアプローチをテストします。 XLM-Rのゼロショット性能は全10言語で低調であり、平均性能は38.62%である。
  論文  参考訳（メタデータ） (2021-04-18T05:32:28Z)
• Towards Multi-Sense Cross-Lingual Alignment of Contextual Embeddings [41.148892848434585]
  本稿では,バイリンガル辞書からのクロスリンガル信号のみを活用して,文脈埋め込みを感覚レベルで整列する新しい枠組みを提案する。 我々はまず,単語感覚を明示的にモデル化するために,新しい感覚認識型クロスエントロピー損失を提案する。 次に,言語間モデル事前学習のための感覚認識型クロスエントロピー損失と,複数の言語対に対する事前訓練型クロス言語モデルの上に,感覚アライメントの目的を提案する。
  論文  参考訳（メタデータ） (2021-03-11T04:55:35Z)
• Self-Learning for Zero Shot Neural Machine Translation [13.551731309506874]
  本研究は、並列データを共有するピボット言語を仮定せずに学習するゼロショットNMTモデリング手法を提案する。 教師なしNMTと比較して、ドメインミスマッチ設定でも一貫した改善が観察される。
  論文  参考訳（メタデータ） (2021-03-10T09:15:19Z)
• Cross-lingual Spoken Language Understanding with Regularized Representation Alignment [71.53159402053392]
  外部リソースを使わずに言語間で単語レベルの表現と文レベルの表現を整列する正規化手法を提案する。 言語間言語理解タスクの実験により、我々のモデルは、数ショットとゼロショットの両方のシナリオにおいて、最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-30T08:56:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。