論文の概要: Improving Cross-Lingual Reading Comprehension with Self-Training
- arxiv url: http://arxiv.org/abs/2105.03627v1
- Date: Sat, 8 May 2021 08:04:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-13 10:04:22.700870
- Title: Improving Cross-Lingual Reading Comprehension with Self-Training
- Title（参考訳）: 自己学習による言語横断読解の改善
- Authors: Wei-Cheng Huang, Chien-yu Huang, Hung-yi Lee
- Abstract要約: 現在の最新モデルは、いくつかのベンチマークで人間のパフォーマンスを上回っています。
前作では、ゼロショットのクロスリンガル読解のための事前訓練された多言語モデルの能力を明らかにしている。
本稿では,ラベルのないデータを利用して性能を向上する。
- 参考スコア（独自算出の注目度）: 62.73937175625953
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Substantial improvements have been made in machine reading comprehension,
where the machine answers questions based on a given context. Current
state-of-the-art models even surpass human performance on several benchmarks.
However, their abilities in the cross-lingual scenario are still to be
explored. Previous works have revealed the abilities of pre-trained
multilingual models for zero-shot cross-lingual reading comprehension. In this
paper, we further utilized unlabeled data to improve the performance. The model
is first supervised-trained on source language corpus, and then self-trained
with unlabeled target language data. The experiment results showed improvements
for all languages, and we also analyzed how self-training benefits
cross-lingual reading comprehension in qualitative aspects.
- Abstract（参考訳）: マシンが与えられたコンテキストに基づいて質問に答える機械読解において、実質的な改善がなされている。
現在の最先端のモデルは、いくつかのベンチマークで人間のパフォーマンスを超えている。
しかし、言語横断のシナリオにおけるそれらの能力はまだ検討されている。
従来の研究は、ゼロショットのクロスリンガル読解のための事前学習された多言語モデルの能力を明らかにしている。
本稿では,ラベルのないデータを利用して性能を向上する。
モデルはまずソース言語コーパスに基づいて教師あり、次にラベルなしのターゲット言語データで自己学習される。
実験の結果,すべての言語が改善され,質的側面から言語間理解に自己学習がどう役立つかを検討した。
関連論文リスト
- Evaluating and explaining training strategies for zero-shot cross-lingual news sentiment analysis [8.770572911942635]
いくつかの低リソース言語で新しい評価データセットを導入する。
我々は、機械翻訳の使用を含む、様々なアプローチを実験する。
言語間の相似性は言語間移動の成功を予測するのに十分ではないことを示す。
論文 参考訳（メタデータ） (2024-09-30T07:59:41Z) - Automatic Discrimination of Human and Neural Machine Translation in
Multilingual Scenarios [4.631167282648452]
我々は人間と機械の翻訳を自動で識別するタスクに取り組む。
複数言語と多言語事前学習言語モデルを考慮した多言語環境で実験を行う。
論文 参考訳（メタデータ） (2023-05-31T11:41:24Z) - Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of
Multilingual Language Models [73.11488464916668]
本研究では,多言語事前学習プロセスのダイナミクスについて検討する。
我々は,XLM-Rプレトレーニング全体から抽出したチェックポイントを,一連の言語的タスクを用いて探索する。
分析の結果,より複雑なものよりも低レベルな言語スキルが得られ,早期に高い言語性能が得られることがわかった。
論文 参考訳（メタデータ） (2022-05-24T03:35:00Z) - From Good to Best: Two-Stage Training for Cross-lingual Machine Reading
Comprehension [51.953428342923885]
モデル性能を向上させるための2段階のアプローチを開発する。
我々は、トップk予測が正確な答えを含む確率を最大化するために、ハードラーニング(HL)アルゴリズムを設計する。
第2段階では, 正解と他の候補との微妙な違いを学習するために, 解答を意識したコントラスト学習機構が開発された。
論文 参考訳（メタデータ） (2021-12-09T07:31:15Z) - Bilingual Alignment Pre-training for Zero-shot Cross-lingual Transfer [33.680292990007366]
本稿では,埋め込みの整合性を向上し,ゼロショットの言語間転送性能を向上させることを目的とする。
本稿では,従来の知識として統計アライメント情報を用いて,バイリンガル単語予測を導出するアライメント言語モデル(Alignment Language Model, AlignLM)を提案する。
その結果、AlignLMはMLQAおよびXNLIデータセット上でゼロショット性能を大幅に改善できることが示された。
論文 参考訳（メタデータ） (2021-06-03T10:18:43Z) - Cross-lingual Spoken Language Understanding with Regularized
Representation Alignment [71.53159402053392]
外部リソースを使わずに言語間で単語レベルの表現と文レベルの表現を整列する正規化手法を提案する。
言語間言語理解タスクの実験により、我々のモデルは、数ショットとゼロショットの両方のシナリオにおいて、最先端の手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2020-09-30T08:56:53Z) - InfoXLM: An Information-Theoretic Framework for Cross-Lingual Language
Model Pre-Training [135.12061144759517]
本稿では,言語間言語モデルの事前学習を定式化する情報理論フレームワークを提案する。
コントラスト学習に基づく新しい事前学習課題を提案する。
単言語コーパスと並列コーパスの両方を活用することで、事前訓練されたモデルの言語間変換性を向上させるために、プレテキストを共同で訓練する。
論文 参考訳（メタデータ） (2020-07-15T16:58:01Z) - Exploring Fine-tuning Techniques for Pre-trained Cross-lingual Models
via Continual Learning [74.25168207651376]
訓練済みの言語モデルから下流の言語間タスクへの微調整は、有望な結果を示している。
ダウンストリームタスクに微調整する場合、継続学習を活用して、事前学習したモデルの言語間能力を維持する。
提案手法は、ゼロショット言語間タグ付けや名前付きエンティティ認識タスクにおいて、他の微調整ベースラインよりも優れた性能を実現する。
論文 参考訳（メタデータ） (2020-04-29T14:07:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。