論文の概要: On the limited utility of parallel data for learning shared multilingual representations

• arxiv url: http://arxiv.org/abs/2603.29026v1
• Date: Mon, 30 Mar 2026 21:37:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-01 15:25:02.876439
• Title: On the limited utility of parallel data for learning shared multilingual representations
• Title（参考訳）: 共有多言語表現学習における並列データの限られた有用性について
• Abstract要約: 並列データは、言語間のアライメントに最小限の影響しか与えないようだ。 言語間アライメントは、並列データからの明示的な信号がなくても、同様のレベルに現れるように見える。
• 参考スコア（独自算出の注目度）: 4.935445658043885
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Shared multilingual representations are essential for cross-lingual tasks and knowledge transfer across languages. This study looks at the impact of parallel data, i.e. translated sentences, in pretraining as a signal to trigger representations that are aligned across languages. We train reference models with different proportions of parallel data and show that parallel data seem to have only a minimal effect on the cross-lingual alignment. Based on multiple evaluation methods, we find that the effect is limited to potentially accelerating the representation sharing in the early phases of pretraining, and to decreasing the amount of language-specific neurons in the model. Cross-lingual alignment seems to emerge on similar levels even without the explicit signal from parallel data.
• Abstract（参考訳）: 共通多言語表現は言語間タスクや言語間の知識伝達に不可欠である。 本研究では、言語間で整列した表現をトリガーする信号として事前学習において、並列データ、すなわち翻訳文が与える影響について検討する。 並列データの比率が異なる参照モデルを訓練し、並列データが言語間のアライメントに最小限の影響しか与えないことを示す。 複数の評価手法に基づき,事前学習の初期段階における表現共有の促進と,モデルにおける言語特異的ニューロンの減少に限定した効果が得られた。 言語間アライメントは、並列データからの明示的な信号がなくても、同様のレベルに現れるように見える。

関連論文リスト

• Enhancing Multilingual Embeddings via Multi-Way Parallel Text Alignment [6.718469075779034]
  マルチウェイ並列コーパスによる言語間アライメントのための標準トレーニングモデルにより,NLUタスクの表現を大幅に改善できることを示す。 我々は,6つのターゲット言語からなるプールに対して,市販のNMTモデルから英文を翻訳したマルチウェイ並列データセットを構築した。
  論文  参考訳（メタデータ） (2026-02-25T03:58:24Z)
• The Role of Mixed-Language Documents for Multilingual Large Language Model Pretraining [29.376308590290297]
  標準的なWebコーパスとモノリンガルのみのバージョンを比較し、すべてのマルチリンガル文書を削除します。 意味的関連性に基づき,バイリンガルデータを並列(14%),コードスイッチング(72%),雑多な文書(14%)に分類した。 並列データがほぼ完全に変換性能を回復するのに対して、コードスイッチングは最小限に寄与する。
  論文  参考訳（メタデータ） (2026-01-01T14:52:06Z)
• Just Go Parallel: Improving the Multilingual Capabilities of Large Language Models [59.21082876068122]
  大規模言語モデル(LLM)は、並列データに対して明示的に訓練されることなく、印象的な翻訳能力を実証している。 近年の研究では、トレーニングデータに付随するバイリンガル信号が原因であることが示唆されている。 多言語エンコーダベースおよびエンコーダデコーダ言語モデルの多言語能力を高めるために,並列データの有用性を最大化する様々な手法が提案されている。
  論文  参考訳（メタデータ） (2025-06-16T02:21:15Z)
• From Unaligned to Aligned: Scaling Multilingual LLMs with Multi-Way Parallel Corpora [80.0547333327488]
  TED Talks に基づく大規模かつ高品質なマルチウェイ並列コーパス TED2025 を導入する。 このデータセットは113の言語にまたがっており、最大50の言語が並列に並び、広範囲にわたるマルチリンガルカバレッジを保証する。 実験により、マルチウェイ並列データでトレーニングされたモデルは、不整合多言語データでトレーニングされたモデルよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2025-05-20T07:43:45Z)
• Investigating the Effect of Parallel Data in the Cross-Lingual Transfer for Vision-Language Encoders [0.0]
  トレーニング済みのVision-Language(VL)モデルと下流タスクのトレーニングデータは英語でのみ利用可能である。 並列データを用いて、すでに訓練済みのエンコーダを転送する。 その結果,機械翻訳されたタスクデータでさえ,平均的,キャプション的,真に並列なデータの方が,いくつかの言語で優れていたことが判明した。
  論文  参考訳（メタデータ） (2025-04-30T14:19:15Z)
• VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning [56.47303426167584]
  複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。 具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。 トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
  論文  参考訳（メタデータ） (2023-04-17T12:23:41Z)
• Language Agnostic Multilingual Information Retrieval with Contrastive Learning [59.26316111760971]
  本稿では,多言語情報検索システムの学習方法を提案する。 並列コーパスと非並列コーパスを利用して、事前訓練された多言語言語モデルを改善する。 我々のモデルは少数のパラレル文でもうまく機能する。
  論文  参考訳（メタデータ） (2022-10-12T23:53:50Z)
• Cross-lingual Intermediate Fine-tuning improves Dialogue State Tracking [84.50302759362698]
  我々は、事前訓練された多言語モデルの中間微調整により、伝達学習プロセスを強化する。 我々は、パラレルおよび会話型の映画字幕データセットを使用して、言語間中間タスクを設計する。 パラレルなMultiWoZデータセットとMultilingual WoZデータセットの精度を20%向上させる。
  論文  参考訳（メタデータ） (2021-09-28T11:22:38Z)
• On the Language Neutrality of Pre-trained Multilingual Representations [70.93503607755055]
  語彙意味論に関して,多言語文脈埋め込みの言語中立性を直接的に検討する。 その結果、文脈埋め込みは言語ニュートラルであり、概して静的な単語型埋め込みよりも情報的であることがわかった。 本稿では,言語識別における最先端の精度に到達し,並列文の単語アライメントのための統計的手法の性能を一致させる方法について述べる。
  論文  参考訳（メタデータ） (2020-04-09T19:50:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。