論文の概要: Why Better Cross-Lingual Alignment Fails for Better Cross-Lingual Transfer: Case of Encoders

• arxiv url: http://arxiv.org/abs/2603.18863v1
• Date: Thu, 19 Mar 2026 13:10:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-20 17:19:06.153021
• Title: Why Better Cross-Lingual Alignment Fails for Better Cross-Lingual Transfer: Case of Encoders
• Title（参考訳）: 言語間アライメントが言語間アライメントに優れている理由:エンコーダの場合
• Authors: Yana Veitsman, Yihong Liu, Hinrich Schütze,
• Abstract要約: 明示的なアライメント手法は,トークンレベルのダウンストリームのパフォーマンス向上に失敗することが多い。 XLM-Rエンコーダモデルを4つの異なる言語ペアで解析し,POSタグ分類と文分類のいずれにおいても微調整を行う。
• 参考スコア（独自算出の注目度）: 49.098124747769276
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Better cross-lingual alignment is often assumed to yield better cross-lingual transfer. However, explicit alignment techniques -- despite increasing embedding similarity -- frequently fail to improve token-level downstream performance. In this work, we show that this mismatch arises because alignment and downstream task objectives are largely orthogonal, and because the downstream benefits from alignment vary substantially across languages and task types. We analyze four XLM-R encoder models aligned on different language pairs and fine-tuned for either POS Tagging or Sentence Classification. Using representational analyses, including embedding distances, gradient similarities, and gradient magnitudes for both task and alignment losses, we find that: (1) embedding distances alone are unreliable predictors of improvements (or degradations) in task performance and (2) alignment and task gradients are often close to orthogonal, indicating that optimizing one objective may contribute little to optimizing the other. Taken together, our findings explain why ``better'' alignment often fails to translate into ``better'' cross-lingual transfer. Based on these insights, we provide practical guidelines for combining cross-lingual alignment with task-specific fine-tuning, highlighting the importance of careful loss selection.
• Abstract（参考訳）: より優れた言語間アライメントは、しばしばより優れた言語間移動をもたらすと仮定される。 しかし、明示的なアライメントテクニック -- 埋め込みの類似性が増大しているにも関わらず -- は、トークンレベルのダウンストリームのパフォーマンスを改善することができないことが多い。 本研究では、このミスマッチは、アライメントとダウンストリームタスクの目的が概ね直交していることと、アライメントによる下流の利点が言語やタスクタイプによって大きく異なることから生じることを示す。 XLM-Rエンコーダモデルを4つの異なる言語ペアで解析し,POSタグ分類と文分類のいずれにおいても微調整を行う。 1) 組込み距離単独はタスク性能の改善(あるいは劣化)の信頼できない予測因子であり,(2) 配向とタスク勾配はしばしば直交に近づき,一方の目的の最適化が他方の目的の最適化にほとんど寄与しないことを示す。 まとめると、我々の発見は ``better'' のアライメントが ``better'' の言語間移動に翻訳に失敗する理由を説明している。 これらの知見に基づいて,言語間アライメントとタスク固有の微調整を組み合わせるための実践的ガイドラインを提供し,注意深い損失選択の重要性を強調した。

関連論文リスト

• How Transliterations Improve Crosslingual Alignment [48.929677368744606]
  近年の研究では、アライメント目的を用いた多言語事前学習言語モデル(mPLM)が言語横断アライメントを改善することが示されている。 本稿では, 言語間のアライメントを明示的に評価し, 翻訳に基づくアプローチにおける重要な要素を同定し, 性能向上に寄与する。
  論文  参考訳（メタデータ） (2024-09-25T20:05:45Z)
• Exploring the Relationship between Alignment and Cross-lingual Transfer in Multilingual Transformers [0.6882042556551609]
  多言語言語モデルは、明示的な言語間訓練データなしで言語間移動を実現することができる。 この転送を改善する一般的な方法の1つは、微調整の前に調整ステップを実行することである。 しかし、言語やタスク間で結果が常に改善されるわけではないことが判明した。
  論文  参考訳（メタデータ） (2023-06-05T11:35:40Z)
• Dual-Alignment Pre-training for Cross-lingual Sentence Embedding [79.98111074307657]
  本稿では,言語間文埋め込みのためのDAP(Dual-alignment pre-training)フレームワークを提案する。 そこで本研究では,一方の文脈化トークン表現を用いて翻訳相手を再構成する,新しい表現翻訳学習(RTL)タスクを提案する。 我々の手法は文の埋め込みを大幅に改善できる。
  論文  参考訳（メタデータ） (2023-05-16T03:53:30Z)
• VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning [56.47303426167584]
  複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。 具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。 トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
  論文  参考訳（メタデータ） (2023-04-17T12:23:41Z)
• Using Optimal Transport as Alignment Objective for fine-tuning Multilingual Contextualized Embeddings [7.026476782041066]
  我々は,マルチリンガルな文脈化表現を改善するために,微調整時のアライメント目的として最適輸送(OT)を提案する。 このアプローチでは、微調整の前に単語アライメントペアを必要とせず、教師なしの方法で文脈内の単語アライメントを学習する。
  論文  参考訳（メタデータ） (2021-10-06T16:13:45Z)
• Sequential Reptile: Inter-Task Gradient Alignment for Multilingual Learning [61.29879000628815]
  知識伝達を最大化するためには,タスク間の勾配の整合が不可欠であることを示す。 本稿では,タスク間の勾配を効率よく調整する,シンプルで効果的な手法を提案する。 様々なマルチタスク学習やゼロショット言語間移動タスクにおいて,提案手法を広範囲に検証する。
  論文  参考訳（メタデータ） (2021-10-06T09:10:10Z)
• Cross-lingual Alignment Methods for Multilingual BERT: A Comparative Study [2.101267270902429]
  ゼロショット設定におけるmBERTの転送能力に異なる言語間監督形態と様々なアライメント手法がどう影響するかを解析する。 並列コーパスの監督は概ね辞書アライメントよりも優れている。
  論文  参考訳（メタデータ） (2020-09-29T20:56:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。