論文の概要: Dataset Collection and Fine-Tuning of NLLB for German--English Translation

• arxiv url: http://arxiv.org/abs/2611.07797v1
• Date: Thu, 05 Nov 2026 10:35:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.657752
• Title: Dataset Collection and Fine-Tuning of NLLB for German--English Translation
• Title（参考訳）: ドイツ語翻訳のためのNLLBのデータセット収集と微調整
• Abstract要約: 本稿では,OPUSブックスによる高品質並列コーパスのキュレーションについて述べる。 45kの生OPUS文対を25kの高品質な例にフィルタするデータセット抽出パイプラインについて詳述する。
• 参考スコア（独自算出の注目度）: 1.9472752597752354
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: This paper describes the curation of a high-quality parallel corpus from OPUS Books and the fine-tuning of Meta's NLLB-200 models for German--English translation. We detail a dataset extraction pipeline that filters 45k raw OPUS sentence pairs to 25k high-quality examples through encoding validation, length filtering, language identification, deduplication, and quality scoring. We present a reproducible fine-tuning methodology optimized for consumer GPUs using mixed precision, gradient accumulation, and gradient checkpointing. Our fine-tuned NLLB-600M model achieves statistically significant improvements (+3.4 BLEU, +2.6 chrF++, -3.2 TER) over the base model on literary and technical German-English translation. We demonstrate practical deployment by integrating the fine-tuned model into LinguaHaru, an existing open-source document translation system, achieving format-preserving translation across PDF and Office documents. All dataset preparation scripts, training code, and evaluation tools are provided for reproducibility. The fine-tuned model is available at HuggingFace.
• Abstract（参考訳）: 本稿では,OPUS Booksの高品質並列コーパスのキュレーションとメタのNLLB-200モデルのドイツ語翻訳のための微調整について述べる。 本稿では,45kの生OPUS文対を,符号化検証,長さフィルタリング,言語識別,重複度,品質スコアリングによって,高品質な例にフィルタするデータセット抽出パイプラインについて述べる。 本稿では, 混合精度, 勾配累積, 勾配チェックポインティングを用いて, コンシューマGPU向けに最適化した再現可能な微調整手法を提案する。 我々の微調整NLLB-600Mモデルは、文学的・技術的ドイツ語翻訳の基礎モデルよりも統計的に重要な改善(+3.4 BLEU, +2.6 chrF++, -3.2 TER)を達成する。 既存のオープンソース文書翻訳システムであるLinguaHaruに微調整モデルを統合することで,PDFおよびOffice文書間のフォーマット保存翻訳を実現する。 すべてのデータセット準備スクリプト、トレーニングコード、評価ツールが再現性のために提供されている。 微調整されたモデルはHuggingFaceで利用可能だ。

関連論文リスト

• DocAtlas: Multilingual Document Understanding Across 80+ Languages [58.715440331861295]
  本稿では,82言語を対象とした高忠実度OCRデータセットとベンチマークを構築するフレームワークDocAtlasを紹介する。 我々のデュアルパイプライン、ネイティブDOCX文書の微分レンダリング、左右スクリプトの合成ベース生成は正確な構造アノテーションを生成する。
  論文  参考訳（メタデータ） (2026-05-12T18:09:38Z)
• HPLT 3.0: Very Large-Scale Multilingual Resources for LLM and MT. Mono- and Bi-lingual Data, Multilingual Evaluation, and Pre-Trained Models [25.953042884928006]
  約200の言語に対して、オープンで、非常に大きく、高品質で、リッチな注釈付きテキストデータセットを提供するためのイニシアティブを提示します。 30兆のトークンで、これはおそらくLLM事前学習データの多言語収集としては最大である。 57種類のモノリンガルエンコーダ-デコーダモデルと、少数のモノリンガルGPT様参照モデルを訓練し、評価する。
  論文  参考訳（メタデータ） (2025-11-02T20:16:38Z)
• Improving LLMs for Machine Translation Using Synthetic Preference Data [0.0]
  比較的少ないデータ資源を用いて,機械翻訳において汎用的な命令をいかに改善できるかを考察する。 Slovene大言語モデルを用いて、優先度最適化(DPO)を用いたGaMSBインストラクトモデルを改善する。 我々は2つのLLM、GaMSBInstructとEuroLLM-9BInstructを使って、英語のウィキペディア記事を翻訳することでトレーニングを作成した。 ベースラインモデルと比較して、微調整されたモデルは、ウィキペディアの記事の翻訳でCOMETのスコアが0.04と0.02に達した。
  論文  参考訳（メタデータ） (2025-08-20T14:24:16Z)
• Enhancing Cross-Language Code Translation via Task-Specific Embedding Alignment in Retrieval-Augmented Generation [1.64043572114825]
  本稿では,タスク固有の埋め込みアライメントを統合することで,FortranからC++へのクロス言語コード変換を強化する手法を提案する。 我々の戦略は、CodeBLEUメトリックによって定量化されているように、検索モデルを翻訳品質を最大化する目的と直接一致させる。 これらのCodeBLEU最適化埋め込みをRAGフレームワークに統合することにより、検索精度とコード生成品質の両方を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-12-06T16:22:32Z)
• Tencent AI Lab - Shanghai Jiao Tong University Low-Resource Translation System for the WMT22 Translation Task [49.916963624249355]
  本稿では, Tencent AI Lab - Shanghai Jiao Tong University (TAL-SJTU) Low-Resource Translation system for the WMT22 shared taskについて述べる。 我々は、英語$Leftrightarrow$Livonianの一般的な翻訳作業に参加する。 本システムは,M2M100を対象言語に適応させる新しい手法を用いて構築した。
  論文  参考訳（メタデータ） (2022-10-17T04:34:09Z)
• Evaluation of Transfer Learning for Polish with a Text-to-Text Model [54.81823151748415]
  ポーランド語におけるテキスト・テキスト・モデルの質を評価するための新しいベンチマークを導入する。 KLEJベンチマークはテキスト・トゥ・テキスト、en-pl翻訳、要約、質問応答に適応している。 本稿では,ポーランド語のための汎用テキスト・テキスト・ツー・テキスト・モデルであるplT5について述べる。
  論文  参考訳（メタデータ） (2022-05-18T09:17:14Z)
• OneAligner: Zero-shot Cross-lingual Transfer with One Rich-Resource Language Pair for Low-Resource Sentence Retrieval [91.76575626229824]
  文検索タスク用に特別に設計されたアライメントモデルであるOneAlignerを提案する。 大規模並列多言語コーパス(OPUS-100)の全ての言語ペアで訓練すると、このモデルは最先端の結果が得られる。 実験結果から,文アライメントタスクの性能はモノリンガルおよび並列データサイズに大きく依存することがわかった。
  論文  参考訳（メタデータ） (2022-05-17T19:52:42Z)
• ChrEnTranslate: Cherokee-English Machine Translation Demo with Quality Estimation and Corrective Feedback [70.5469946314539]
  ChrEnTranslateは、英語と絶滅危惧言語チェロキーとの翻訳のためのオンライン機械翻訳デモシステムである。 統計モデルとニューラルネットワークモデルの両方をサポートし、信頼性をユーザに通知するための品質評価を提供する。
  論文  参考訳（メタデータ） (2021-07-30T17:58:54Z)
• The NiuTrans End-to-End Speech Translation System for IWSLT 2021 Offline Task [23.008938777422767]
  本稿では,IWSLT 2021オフラインタスクに対して,NuTransのエンドツーエンド音声翻訳システムを提案する。 我々はTransformerベースのモデルアーキテクチャを使用し、Conformer、相対位置符号化、スタックされた音響およびテキスト符号化により拡張する。 我々は MuST-C En-De テストセット上で 33.84 BLEU 点を達成する。
  論文  参考訳（メタデータ） (2021-07-06T07:45:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。