論文の概要: Adapting English Quality Classifiers for Multilingual LLM Pretraining Data Selection

• arxiv url: http://arxiv.org/abs/2610.11585v1
• Date: Thu, 08 Oct 2026 09:33:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.931914
• Title: Adapting English Quality Classifiers for Multilingual LLM Pretraining Data Selection
• Title（参考訳）: 多言語LLMプレトレーニングデータ選択のための英語品質分類器の適応
• Abstract要約: 本研究は,多言語適応手法を提案することにより,100以上の言語に品質フィルタリングを拡張することを提案する。 提案手法では,Transformerエンコーダのみのモデル埋め込み上で,小さなマルチ層パーセプトロンをトレーニングする。 我々の1B, 3B, 8Bスケール実験は, 既存の多言語モデルに基づくフィルタリングベースラインのダウンストリームベンチマーク性能を維持していることを示す。
• 参考スコア（独自算出の注目度）: 38.530977168343966
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in large language model (LLM) pretraining highlight the role of high-quality training data in improving performance. While model-based filtering has proven effective in selecting high-quality subsets from web-scale corpora, especially for high-resource languages, low-resource languages face challenges due to limited availability of annotated data. This work explores extending quality filtering to over 100 languages by proposing a multilingual adaptation approach that converts an existing English quality classifier into a multilingual variant. Our approach proposes training a small multi-layer perceptron on top of Transformer encoder-only model embeddings, using multilingual text as input and scores obtained from English classifiers applied to machine-translated text as labels. Our 1B, 3B and 8B scale experiments show that our approach maintains the downstream LLM benchmark performance of existing multilingual model-based filtering baselines, without harming regional and cultural knowledge benchmarks. To further evaluate cross-lingual generalization, we compare classifier scores of high-quality synthetic data and web samples, and the correlation of classifier scores with LLM-based ones, revealing that the classifier can learn the scoring criteria of its original English variant, even for languages not included in its training data.
• Abstract（参考訳）: 大規模言語モデル(LLM)の事前学習の最近の進歩は、パフォーマンス向上における高品質なトレーニングデータの役割を浮き彫りにしている。 モデルベースフィルタリングは、特に高リソース言語において、Webスケールコーパスから高品質なサブセットを選択するのに有効であることが証明されているが、アノテートされたデータが少ないため、低リソース言語は課題に直面している。 本研究は、既存の英語品質分類器を多言語変種に変換する多言語適応アプローチを提案することにより、100以上の言語に品質フィルタリングを拡張することを検討する。 本稿では,Transformerエンコーダのみのモデル埋め込み上に,機械翻訳テキストに適用した英文分類器の入力とスコアをラベルとして用いた,小さな多層パーセプトロンのトレーニングを提案する。 我々の1B, 3B, 8Bスケール実験は, 既存の多言語モデルに基づくフィルタリングベースラインの下流LLMベンチマーク性能を, 地域や文化の知識ベンチマークを損なうことなく維持することを示した。 言語間の一般化をさらに評価するため,高品質な合成データとWebサンプルの分類器スコアとLLMに基づく分類器スコアの相関を比較し,学習データに含まれない言語であっても,その分類器が元の英語変種の評価基準を学習できることを明らかにする。

関連論文リスト

• LangGPS: Language Separability Guided Data Pre-Selection for Joint Multilingual Instruction Tuning [49.22807995935406]
  大規模言語モデル(LLM)の多言語命令追従能力と下流性能を改善するための多言語命令チューニングは広く採用されている手法である。 既存の選択法は、しばしばテキストの品質、多様性、タスク関連性といった特徴に基づいており、典型的には多言語データの固有の言語構造を見落としている。 言語分離性によって導かれる軽量な2段階事前選択フレームワークであるLangGPSを提案する。
  論文  参考訳（メタデータ） (2025-11-13T12:02:32Z)
• MuRating: A High Quality Data Selecting Approach to Multilingual Large Language Model Pretraining [27.952041404675846]
  高品質な英語データ品質の信号を17のターゲット言語に対して単一のレーダに転送するフレームワークであるMuRatingを紹介した。 MuRatingは、ペア比較を通じて複数の英語の「レーダ」を集約し、統一された文書品質スコアを学習する。 その後、翻訳を通じてこれらの判断を投影し、モノリンガル、クロスランガル、およびパラレルテキストペア上で多言語評価器を訓練する。
  論文  参考訳（メタデータ） (2025-07-02T15:11:12Z)
• Judging Quality Across Languages: A Multilingual Approach to Pretraining Data Filtering with Language Models [52.22235443948351]
  大規模言語モデル(LLM)を効果的に事前学習するためには,高品質な多言語学習データが不可欠である 本稿では,多言語多言語データを大規模に効率的にキュレートする体系的アプローチであるJQLを紹介する。 JQLは、LLMのアノテーション機能を、事前トレーニングされた多言語埋め込みに基づいて軽量アノテータに蒸留する。
  論文  参考訳（メタデータ） (2025-05-28T11:06:54Z)
• Enhancing Multilingual LLM Pretraining with Model-Based Data Selection [33.68104398807581]
  本稿では,多言語データセットを対象としたモデルベースフィルタリングフレームワークを提案する。 当社のアプローチは透明性、単純さ、効率性を重視しています。 フレームワークを20言語に拡張し、洗練された事前トレーニングデータセットをリリースします。
  論文  参考訳（メタデータ） (2025-02-14T18:42:07Z)
• T3L: Translate-and-Test Transfer Learning for Cross-Lingual Text Classification [50.675552118811]
  言語間テキスト分類は通常、様々な言語で事前訓練された大規模多言語言語モデル(LM)に基づいて構築される。 本稿では,古典的な「翻訳とテスト」パイプラインを再考し,翻訳と分類の段階を適切に分離することを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:33:22Z)
• On Cross-Lingual Retrieval with Multilingual Text Encoders [51.60862829942932]
  言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性について検討する。 教師なしのアドホック文と文書レベルのCLIR実験でそれらの性能をベンチマークする。 我々は、ゼロショット言語とドメイン転送CLIR実験のシリーズにおける英語関連データに基づいて、教師付き方式で微調整された多言語エンコーダの評価を行った。
  論文  参考訳（メタデータ） (2021-12-21T08:10:27Z)
• Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language Model [58.27176041092891]
  最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。 本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。 提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
  論文  参考訳（メタデータ） (2020-11-23T16:00:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。