論文の概要: Assessing the Role of Data Quality in Training Bilingual Language Models

• arxiv url: http://arxiv.org/abs/2506.12966v1
• Date: Sun, 15 Jun 2025 21:08:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:47.188152
• Title: Assessing the Role of Data Quality in Training Bilingual Language Models
• Title（参考訳）: バイリンガル言語モデルの訓練におけるデータ品質の役割の評価
• Authors: Skyler Seto, Maartje ter Hoeve, Maureen de Seyssel, David Grangier,
• Abstract要約: データ量だけでなく不平等なデータ品質も、バイリンガル設定のパフォーマンス劣化の主要な要因であることを示す。 本稿では,高品質な英語データのみを用いて,高品質なバイリンガル学習データを選択するための簡易かつ効果的なデータフィルタリング手法を提案する。
• 参考スコア（独自算出の注目度）: 17.603371705571107
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bilingual and multilingual language models offer a promising path toward scaling NLP systems across diverse languages and users. However, their performance often varies wildly between languages as prior works show that adding more languages can degrade performance for some languages (such as English), while improving others (typically more data constrained languages). In this work, we investigate causes of these inconsistencies by comparing bilingual and monolingual language models. Our analysis reveals that unequal data quality, not just data quantity, is a major driver of performance degradation in bilingual settings. We propose a simple yet effective data filtering strategy to select higher-quality bilingual training data with only high quality English data. Applied to French, German, and Chinese, our approach improves monolingual performance by 2-4% and reduces bilingual model performance gaps to 1%. These results highlight the overlooked importance of data quality in multilingual pretraining and offer a practical recipe for balancing performance.
• Abstract（参考訳）: バイリンガル言語と多言語言語モデルは、さまざまな言語やユーザにわたるNLPシステムをスケールするための、有望な道筋を提供する。 しかしながら、以前の研究によると、言語を追加することで、一部の言語(例えば、英語)のパフォーマンスが低下し、他の言語(典型的には、データ制約のある言語)が改善される可能性がある。 本研究では,両言語モデルと単言語モデルを比較し,これらの矛盾の原因について検討する。 分析の結果,データ量だけでなく不平等なデータ品質もバイリンガル設定の性能劣化の主要な要因であることがわかった。 本稿では,高品質な英語データのみを用いて,高品質なバイリンガル学習データを選択するための簡易かつ効果的なデータフィルタリング手法を提案する。 フランス語,ドイツ語,中国語に応用し,モノリンガル性能を2～4%改善し,バイリンガルモデルの性能ギャップを1%に削減した。 これらの結果は、多言語事前学習におけるデータ品質の重要性の見落とされ、パフォーマンスのバランスをとるための実践的なレシピを提供する。

関連論文リスト

• Judging Quality Across Languages: A Multilingual Approach to Pretraining Data Filtering with Language Models [52.22235443948351]
  大規模言語モデル(LLM)を効果的に事前学習するためには,高品質な多言語学習データが不可欠である 本稿では,多言語多言語データを大規模に効率的にキュレートする体系的アプローチであるJQLを紹介する。 JQLは、LLMのアノテーション機能を、事前トレーニングされた多言語埋め込みに基づいて軽量アノテータに蒸留する。
  論文  参考訳（メタデータ） (2025-05-28T11:06:54Z)
• When Is Multilinguality a Curse? Language Modeling for 250 High- and Low-Resource Languages [25.52470575274251]
  私たちは250以上の言語で1万以上のモノリンガルおよび多言語言語モデルを事前訓練しています。 モデレーションでは、多言語データを追加することで、低リソース言語モデリングのパフォーマンスが向上する。 データセットのサイズが大きくなるにつれて、マルチリンガルデータの追加は、低リソース言語と高リソース言語の両方のパフォーマンスを損なうようになる。
  論文  参考訳（メタデータ） (2023-11-15T18:47:42Z)
• GradSim: Gradient-Based Language Grouping for Effective Multilingual Training [13.730907708289331]
  勾配類似度に基づく言語グループ化手法GradSimを提案する。 3つの多言語ベンチマークデータセットに対する実験により、最大のパフォーマンス向上につながることが示された。 言語的特徴の他に、データセットのトピックは言語グループ化において重要な役割を果たす。
  論文  参考訳（メタデータ） (2023-10-23T18:13:37Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• How do languages influence each other? Studying cross-lingual data sharing during LM fine-tuning [14.02101305717738]
  多言語大言語モデル(MLLM)は、多くの異なる言語からのデータに基づいて共同で訓練される。 言語がどの程度、どの条件下で、互いのデータに依存しているかは、まだ不明である。 MLLMは、細調整の初期段階から複数の言語からのデータに依存しており、細調整の進行に伴って、この依存度が徐々に増加することが判明した。
  論文  参考訳（メタデータ） (2023-05-22T17:47:41Z)
• Multilingual Neural Semantic Parsing for Low-Resourced Languages [1.6244541005112747]
  英語,イタリア語,日本語の新しい多言語意味解析データセットを提案する。 本研究では,事前学習したエンコーダを用いた多言語学習がTOPデータセットのベースラインを大幅に上回ることを示す。 英語データのみに基づいて訓練されたセマンティクスは、イタリア語の文に対して44.9%の精度でゼロショットのパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-06-07T09:53:02Z)
• How Good is Your Tokenizer? On the Monolingual Performance of Multilingual Language Models [96.32118305166412]
  本研究では,5つの単一言語下流タスクのセットに基づいて,事前学習可能な単言語モデルを持つ9種類の言語について検討した。 多言語モデルの語彙で適切に表現された言語は、単言語モデルよりも性能が著しく低下する。
  論文  参考訳（メタデータ） (2020-12-31T14:11:00Z)
• Multilingual Translation with Extensible Multilingual Pretraining and Finetuning [77.33262578776291]
  これまでの研究は、bitextで微調整することで機械翻訳システムを作成できることを実証してきた。 多言語翻訳モデルは多言語微調整により作成可能であることを示す。 事前訓練されたモデルは、性能を損なうことなく、追加の言語を組み込むように拡張できることを実証する。
  論文  参考訳（メタデータ） (2020-08-02T05:36:55Z)
• Balancing Training for Multilingual Neural Machine Translation [130.54253367251738]
  多言語機械翻訳(MT)モデルは、複数の言語に翻訳/翻訳することができる。 標準的なプラクティスは、表現力を高めるために、リソースの少ない言語をアップサンプルすることである。 そこで本研究では,データスコアラによるトレーニングデータの重み付けを自動的に学習する手法を提案する。
  論文  参考訳（メタデータ） (2020-04-14T18:23:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。