論文の概要: KletterMix: Climbing Toward High-Quality German Pretraining Data
- arxiv url: http://arxiv.org/abs/2606.03773v1
- Date: Tue, 02 Jun 2026 15:28:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-03 22:00:05.105033
- Title: KletterMix: Climbing Toward High-Quality German Pretraining Data
- Title（参考訳）: KletterMix: 高品質なドイツの事前トレーニングデータを目指す
- Authors: Maurice Kraus, Ruben Härle, Sebastian Sztwiertnia, Abbas Goher Khan, Mehdi Ali, Michael Fromm, Kristian Kersting,
- Abstract要約: KletterMixは、自然言語処理とモデリングコミュニティのための再利用可能なデータセットアーティファクトである。
最先端の英語事前学習コーパスをドイツ語に翻訳し、文書境界、メタデータ、ソース構造、トピックの多様性を保存して構築されている。
このデータセットは、翻訳品質、文書長分布、トピックカバレッジ、ソース合成、メタデータなど、幅広いコーパスレベルの分析によって文書化されている。
- 参考スコア（独自算出の注目度）: 26.7022690012589
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: High-quality pretraining data is a central ingredient in modern language models, but German-language resources remain far less developed than their English counterparts: they are often smaller, less carefully curated, weakly documented, and rarely validated through controlled training experiments. We introduce KletterMix, a high-quality German corpus for language model pretraining and annealing, designed as a reusable dataset artifact for the natural language processing and modeling community. KletterMix is built by translating a state-of-the-art English pretraining corpus into German while preserving document boundaries, metadata, source structure, and topical diversity. This construction yields a German corpus with the scale and diversity of a modern pretraining dataset, while enabling direct comparison to its English source. We document the dataset through a broad set of corpus-level analyses, including translation quality, document length distributions, topic coverage, source composition, and geographic metadata. Using COMETKiwi, we show that the translated documents achieve strong quality across diverse domains, suggesting that careful translation can preserve much of the semantic and stylistic richness of the original corpus. Beyond dataset construction, we evaluate KletterMix as training data. Through controlled pretraining and annealing ablations against established German corpora, we show that models trained on KletterMix achieve measurable improvements on German-language downstream evaluations. These results demonstrate that carefully curated translated data can substantially strengthen the German pretraining data ecosystem.
- Abstract（参考訳）: 高品質の事前学習データは現代の言語モデルでは重要な要素であるが、ドイツ語の資源は英語のそれよりもはるかに発展しておらず、より小さく、より慎重にキュレートされ、文書化が弱く、制御された訓練実験によって検証されることは稀である。
我々は、自然言語処理とモデリングコミュニティのための再利用可能なデータセットアーティファクトとして設計された、言語モデルの事前学習とアニーリングのための高品質なドイツのコーパスであるKletterMixを紹介した。
KletterMixは、最先端の英語事前学習コーパスをドイツ語に翻訳し、文書境界、メタデータ、ソース構造、トピックの多様性を保存して構築されている。
この構造は、現代の事前訓練データセットのスケールと多様性を持つドイツのコーパスを得ると同時に、その英語ソースと直接比較することができる。
我々は,翻訳品質,文書長分布,トピックカバレッジ,ソース合成,メタデータなど,幅広いコーパスレベルの分析を通じてデータセットを文書化する。
COMETKiwiを用いて、翻訳された文書は様々な領域にまたがって高い品質を達成し、注意深い翻訳が元のコーパスのセマンティックおよびスタイリスティックな豊かさを維持できることを示唆する。
データセット構築以外にも、KletterMixをトレーニングデータとして評価する。
既存のドイツ語コーパスに対する事前学習とアニーリングにより、KletterMixで訓練されたモデルが、ドイツ語の下流評価において測定可能な改善を実現していることを示す。
これらの結果は、慎重にキュレートされた翻訳データによって、ドイツの事前学習データエコシステムが大幅に強化されることを示している。
関連論文リスト
- BhashaKritika: Building Synthetic Pretraining Data at Scale for Indic Languages [4.279942349440352]
Indic言語のための合成多言語事前学習データの生成と評価に関する体系的研究を行う。
大規模な合成データセットBhashaKritikaを構築し,10言語で5つの異なる手法を用いて540Bトークンを構成する。
我々は、プロンプト命令と文書のグラウンド化の両方において、言語選択がデータ品質にどのように影響するかを分析する。
論文 参考訳（メタデータ） (2025-11-13T14:12:44Z) - Evaluating and explaining training strategies for zero-shot cross-lingual news sentiment analysis [8.770572911942635]
いくつかの低リソース言語で新しい評価データセットを導入する。
我々は、機械翻訳の使用を含む、様々なアプローチを実験する。
言語間の相似性は言語間移動の成功を予測するのに十分ではないことを示す。
論文 参考訳（メタデータ） (2024-09-30T07:59:41Z) - T3L: Translate-and-Test Transfer Learning for Cross-Lingual Text
Classification [50.675552118811]
言語間テキスト分類は通常、様々な言語で事前訓練された大規模多言語言語モデル(LM)に基づいて構築される。
本稿では,古典的な「翻訳とテスト」パイプラインを再考し,翻訳と分類の段階を適切に分離することを提案する。
論文 参考訳（メタデータ） (2023-06-08T07:33:22Z) - Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。
我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。
また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
論文 参考訳（メタデータ） (2023-01-22T18:22:55Z) - Understanding Translationese in Cross-Lingual Summarization [106.69566000567598]
言語間要約(MS)は、異なる対象言語で簡潔な要約を生成することを目的としている。
大規模なCLSデータを集めるために、既存のデータセットは通常、それらの生成に翻訳を伴います。
本稿では、まず、CLSデータセット構築の異なるアプローチが、異なるレベルの翻訳に結びつくことを確認する。
論文 参考訳（メタデータ） (2022-12-14T13:41:49Z) - Pre-training Data Quality and Quantity for a Low-Resource Language: New
Corpus and BERT Models for Maltese [4.4681678689625715]
低リソース言語に対するモノリンガルデータによる事前学習の効果を分析する。
新たに作成したマルタ語コーパスを提示し、事前学習データサイズとドメインが下流のパフォーマンスに与える影響を判定する。
スクラッチからトレーニングされた単言語BERTモデル(BERTu)と、さらに事前訓練された多言語BERT(mBERTu)の2つのモデルを比較する。
論文 参考訳（メタデータ） (2022-05-21T06:44:59Z) - Continual Mixed-Language Pre-Training for Extremely Low-Resource Neural
Machine Translation [53.22775597051498]
我々は,mbart を未熟な言語に効果的に適用するための,継続的な事前学習フレームワークを提案する。
その結果,mBARTベースラインの微調整性能を一貫して改善できることが示された。
私たちのアプローチは、両方の言語が元のmBARTの事前トレーニングで見られる翻訳ペアのパフォーマンスを高めます。
論文 参考訳（メタデータ） (2021-05-09T14:49:07Z) - Improving Cross-Lingual Reading Comprehension with Self-Training [62.73937175625953]
現在の最新モデルは、いくつかのベンチマークで人間のパフォーマンスを上回っています。
前作では、ゼロショットのクロスリンガル読解のための事前訓練された多言語モデルの能力を明らかにしている。
本稿では,ラベルのないデータを利用して性能を向上する。
論文 参考訳（メタデータ） (2021-05-08T08:04:30Z) - Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language
Model [58.27176041092891]
最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。
本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。
提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
論文 参考訳（メタデータ） (2020-11-23T16:00:42Z) - Machine Translation Pre-training for Data-to-Text Generation -- A Case
Study in Czech [5.609443065827995]
非英語言語におけるデータ・テキスト生成における機械翻訳に基づく事前学習の有効性について検討する。
事前トレーニングによって、パフォーマンスを大幅に向上したエンドツーエンドモデルのトレーニングが可能になります。
論文 参考訳（メタデータ） (2020-04-05T02:47:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。