論文の概要: Exploring the Relationship between Alignment and Cross-lingual Transfer in Multilingual Transformers

• arxiv url: http://arxiv.org/abs/2306.02790v1
• Date: Mon, 5 Jun 2023 11:35:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 15:31:50.800443
• Title: Exploring the Relationship between Alignment and Cross-lingual Transfer in Multilingual Transformers
• Title（参考訳）: 多言語変換器におけるアライメントと言語間移動の関係の探索
• Authors: F\'elix Gaschi, Patricio Cerda, Parisa Rastin and Yannick Toussaint
• Abstract要約: 多言語言語モデルは、明示的な言語間訓練データなしで言語間移動を実現することができる。 この転送を改善する一般的な方法の1つは、微調整の前に調整ステップを実行することである。 しかし、言語やタスク間で結果が常に改善されるわけではないことが判明した。
• 参考スコア（独自算出の注目度）: 0.6882042556551609
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Without any explicit cross-lingual training data, multilingual language models can achieve cross-lingual transfer. One common way to improve this transfer is to perform realignment steps before fine-tuning, i.e., to train the model to build similar representations for pairs of words from translated sentences. But such realignment methods were found to not always improve results across languages and tasks, which raises the question of whether aligned representations are truly beneficial for cross-lingual transfer. We provide evidence that alignment is actually significantly correlated with cross-lingual transfer across languages, models and random seeds. We show that fine-tuning can have a significant impact on alignment, depending mainly on the downstream task and the model. Finally, we show that realignment can, in some instances, improve cross-lingual transfer, and we identify conditions in which realignment methods provide significant improvements. Namely, we find that realignment works better on tasks for which alignment is correlated with cross-lingual transfer when generalizing to a distant language and with smaller models, as well as when using a bilingual dictionary rather than FastAlign to extract realignment pairs. For example, for POS-tagging, between English and Arabic, realignment can bring a +15.8 accuracy improvement on distilmBERT, even outperforming XLM-R Large by 1.7. We thus advocate for further research on realignment methods for smaller multilingual models as an alternative to scaling.
• Abstract（参考訳）: 明示的な言語間トレーニングデータがないと、多言語言語モデルは言語間転送を実現できる。 この変換を改善する一般的な方法の1つは、微調整前、すなわち翻訳文から一対の単語に類似した表現を構築するようモデルを訓練することである。 しかし、このような再編成手法は、言語やタスク間で結果が常に改善されるとは限らないため、アライメント表現が言語間転送に真に有益であるかどうかという疑問が提起された。 我々は、アライメントが言語、モデル、ランダムシード間の言語間移動と著しく相関していることを示す。 その結果,下流タスクとモデルに主に依存し,微調整がアライメントに大きな影響を与えることが分かった。 最後に,リグメンテーションが言語間伝達を改善できる例を示し,リグメンテーション法が著しい改善をもたらす条件を同定する。 すなわち、遠い言語やより小さなモデルに一般化する場合や、FastAlignではなくバイリンガル辞書を使って、アライメントペアを抽出する場合に、アライメントが言語間移動と相関するタスクにおいて、よりうまく機能することがわかった。 例えば、POSタグ付けでは、英語とアラビア語の区別により、 distilmBERT の精度は +15.8 向上し、XLM-R Large を 1.7 で上回る。 そこで我々は,スケーリングの代替として,より小型の多言語モデルに対する階層化手法のさらなる研究を提唱する。

関連論文リスト

• How Transliterations Improve Crosslingual Alignment [48.929677368744606]
  近年の研究では、アライメント目的を用いた多言語事前学習言語モデル(mPLM)が言語横断アライメントを改善することが示されている。 本稿では, 言語間のアライメントを明示的に評価し, 翻訳に基づくアプローチにおける重要な要素を同定し, 性能向上に寄与する。
  論文  参考訳（メタデータ） (2024-09-25T20:05:45Z)
• PreAlign: Boosting Cross-Lingual Transfer by Early Establishment of Multilingual Alignment [68.20851615263953]
  大規模な言語モデルは、英語中心の事前訓練にもかかわらず、合理的な多言語能力を示す。 これらのモデルにおける自発的な多言語アライメントは弱く、不満足な言語間移動と知識共有をもたらす。 言語モデル事前学習に先立って多言語アライメントを確立するフレームワークであるPreAlignを提案する。
  論文  参考訳（メタデータ） (2024-07-23T06:59:53Z)
• Optimal Transport Posterior Alignment for Cross-lingual Semantic Parsing [68.47787275021567]
  言語間のセマンティックパーシングは、高いソース言語(例えば英語)から少ないトレーニングデータを持つ低リソース言語へのパーシング能力を伝達する。 そこで本稿では,最適輸送を用いた係り受け変数間の言語間相違を明示的に最小化することで,言語間セマンティック解析のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-07-09T04:52:31Z)
• VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning [56.47303426167584]
  複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。 具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。 トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
  論文  参考訳（メタデータ） (2023-04-17T12:23:41Z)
• Improving Zero-Shot Multilingual Translation with Universal Representations and Cross-Mappings [23.910477693942905]
  改良されたゼロショット翻訳では、普遍的な表現と横断的な関係を学習する必要がある。 エンコーダによって出力される表現の差をモデル化するための最適理論に基づく状態距離を提案する。 本稿では,モデルが一貫した予測を行うのに役立つ合意に基づくトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-10-28T02:47:05Z)
• Improving Zero-Shot Cross-Lingual Transfer Learning via Robust Training [45.48003947488825]
  私達は2つの広く利用された強い訓練方法を研究します:反対の訓練およびランダム化された平滑化。 実験の結果,ロバストトレーニングにより,テキスト分類におけるゼロショット言語間転送が改善されることがわかった。
  論文  参考訳（メタデータ） (2021-04-17T21:21:53Z)
• Word Alignment by Fine-tuning Embeddings on Parallel Corpora [96.28608163701055]
  並列コーパス上の単語アライメントには、翻訳語彙の学習、言語処理ツールの言語間変換、翻訳出力の自動評価や解析など、幅広い応用がある。 近年,複数言語で訓練された言語モデル(LM)から抽出した事前学習された単語埋め込みが,並列データに対する明示的な訓練がなくても,単語アライメントタスクにおける競合的な結果が得られることを示す研究も行われている。 本稿では,事前学習したLMの活用と,アライメント品質の向上を目的とした並列テキストによる微調整,提案という2つのアプローチの結婚方法を検討する。
  論文  参考訳（メタデータ） (2021-01-20T17:54:47Z)
• VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
  我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。 独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。 提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
  論文  参考訳（メタデータ） (2020-10-30T03:41:38Z)
• Cross-lingual Alignment Methods for Multilingual BERT: A Comparative Study [2.101267270902429]
  ゼロショット設定におけるmBERTの転送能力に異なる言語間監督形態と様々なアライメント手法がどう影響するかを解析する。 並列コーパスの監督は概ね辞書アライメントよりも優れている。
  論文  参考訳（メタデータ） (2020-09-29T20:56:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。