論文の概要: Cross-lingual Transfer of Monolingual Models

• arxiv url: http://arxiv.org/abs/2109.07348v1
• Date: Wed, 15 Sep 2021 15:00:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-16 15:16:21.827500
• Title: Cross-lingual Transfer of Monolingual Models
• Title（参考訳）: 単言語モデルの言語間伝達
• Authors: Evangelia Gogoulou, Ariel Ekgren, Tim Isbister, Magnus Sahlgren
• Abstract要約: 本稿では,ドメイン適応に基づくモノリンガルモデルの言語間移動手法を提案する。 我々は、4つの異なる言語から英語へのそのような移動の効果について研究する。
• 参考スコア（独自算出の注目度）: 2.332247755275824
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies in zero-shot cross-lingual learning using multilingual models have falsified the previous hypothesis that shared vocabulary and joint pre-training are the keys to cross-lingual generalization. Inspired by this advancement, we introduce a cross-lingual transfer method for monolingual models based on domain adaptation. We study the effects of such transfer from four different languages to English. Our experimental results on GLUE show that the transferred models outperform the native English model independently of the source language. After probing the English linguistic knowledge encoded in the representations before and after transfer, we find that semantic information is retained from the source language, while syntactic information is learned during transfer. Additionally, the results of evaluating the transferred models in source language tasks reveal that their performance in the source domain deteriorates after transfer.
• Abstract（参考訳）: 多言語モデルを用いたゼロショット言語間学習の最近の研究は、共通語彙と共同事前学習が言語間一般化の鍵であるという以前の仮説を偽っている。 この進歩に触発されて,ドメイン適応に基づく単言語モデルの言語間移動手法を提案する。 4つの異なる言語から英語への変換の効果について検討する。 グルーを用いた実験の結果,トランスファーモデルが母国英語モデルよりも母国英語モデルに勝っていることがわかった。 トランスファー前後の表現にエンコードされた英語の言語知識を検索すると、意味情報はソース言語から保持され、構文情報はトランスファー中に学習される。 さらに、ソース言語タスクにおけるトランスファーモデルの評価結果から、トランスファー後のソースドメインのパフォーマンスが低下していることが分かる。

関連論文リスト

• PreAlign: Boosting Cross-Lingual Transfer by Early Establishment of Multilingual Alignment [68.20851615263953]
  大規模な言語モデルは、英語中心の事前訓練にもかかわらず、合理的な多言語能力を示す。 これらのモデルにおける自発的な多言語アライメントは弱く、不満足な言語間移動と知識共有をもたらす。 言語モデル事前学習に先立って多言語アライメントを確立するフレームワークであるPreAlignを提案する。
  論文  参考訳（メタデータ） (2024-07-23T06:59:53Z)
• Self-Translate-Train: Enhancing Cross-Lingual Transfer of Large Language Models via Inherent Capability [31.025371443719404]
  自己翻訳-トレイン(Self-Translate-Train)は、大規模言語モデルがトレーニングデータをターゲット言語に翻訳し、自身の生成されたデータに基づいてモデルを微調整する手法である。 自己翻訳-トレインがゼロショット転送より優れていることを示すことによって、LLMの言語間機能を引き出すためのより良い手法のさらなる探索を奨励する。
  論文  参考訳（メタデータ） (2024-06-29T14:40:23Z)
• Unknown Script: Impact of Script on Cross-Lingual Transfer [2.5398014196797605]
  言語間移動は、言語間で知識を伝達する効果的な方法となっている。 対象言語とそのスクリプトが事前訓練されたモデルの一部ではない場合を考える。 この結果から, 共通スクリプト, 言語類似性, モデルサイズよりも, トークン化の重要性が示唆された。
  論文  参考訳（メタデータ） (2024-04-29T15:48:01Z)
• Measuring Cross-lingual Transfer in Bytes [9.011910726620538]
  多様な言語からのモデルが、言語横断的な設定で対象言語と類似して動作することを示す。 また,この移行が言語汚染や言語近接と関係がないという証拠も発見された。 我々の実験は、事前学習中に学習した言語に依存しない表現の量を測定する新しい可能性を開いた。
  論文  参考訳（メタデータ） (2024-04-12T01:44:46Z)
• Model and Data Transfer for Cross-Lingual Sequence Labelling in Zero-Resource Settings [10.871587311621974]
  我々は、ゼロショット設定に適用された高容量多言語言語モデルが、データベースのクロスランガルトランスファーアプローチより一貫して優れていることを実験的に実証した。 この結果の詳細な分析は、言語使用における重要な違いによる可能性があることを示唆している。 また,高容量多言語言語モデルが利用できない場合,データに基づく多言語間移動アプローチが競争力のある選択肢であることも示唆した。
  論文  参考訳（メタデータ） (2022-10-23T05:37:35Z)
• Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of Multilingual Language Models [73.11488464916668]
  本研究では,多言語事前学習プロセスのダイナミクスについて検討する。 我々は,XLM-Rプレトレーニング全体から抽出したチェックポイントを,一連の言語的タスクを用いて探索する。 分析の結果,より複雑なものよりも低レベルな言語スキルが得られ,早期に高い言語性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-05-24T03:35:00Z)
• Language Contamination Explains the Cross-lingual Capabilities of English Pretrained Models [79.38278330678965]
  一般的な英語事前学習コーパスには、かなりの量の非英語テキストが含まれていることが判明した。 これにより、大規模なデータセットで数十億の外国語トークンが生成される。 そして、これらの少数の非英語データでさえ、それらに基づいて訓練されたモデルの言語間移動を促進することを実証する。
  論文  参考訳（メタデータ） (2022-04-17T23:56:54Z)
• Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language Model [58.27176041092891]
  最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。 本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。 提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
  論文  参考訳（メタデータ） (2020-11-23T16:00:42Z)
• XCOPA: A Multilingual Dataset for Causal Commonsense Reasoning [68.57658225995966]
  XCOPA (Cross-lingual Choice of Plausible Alternatives) は11言語における因果コモンセンス推論のための多言語データセットである。 提案手法は,翻訳に基づく転送と比較して,現在の手法の性能が低下していることを明らかにする。
  論文  参考訳（メタデータ） (2020-05-01T12:22:33Z)
• Translation Artifacts in Cross-lingual Transfer Learning [51.66536640084888]
  機械翻訳は、既存の言語間モデルに顕著な影響を与える微妙なアーティファクトを導入することができることを示す。 自然言語の推論では、前提と仮説を独立に翻訳することで、それらの間の語彙的重複を減らすことができる。 また、XNLIでは、それぞれ4.3点と2.8点の翻訳とゼロショットのアプローチを改善している。
  論文  参考訳（メタデータ） (2020-04-09T17:54:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。