論文の概要: ReMova: Fine-tuning LLMs for English to Belarusian translation
- arxiv url: http://arxiv.org/abs/2609.16427v1
- Date: Mon, 14 Sep 2026 23:12:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.259248
- Title: ReMova: Fine-tuning LLMs for English to Belarusian translation
- Title(参考訳): ReMova: 英語からベラルーシ語への翻訳のための微調整LDM
- Abstract要約: 本稿では、ベラルーシ固有のデータクリーニングパイプラインと英語・ベラルーシ語機械翻訳のための微調整について述べる。
我々のクリーニングパイプラインはベラルーシ語の2つの正書法の問題に対処する修正ツールを用いて他者と区別する。
トレーニングデータに対する一致しないアブレーションは、すべての微調整モデルに対するフィルタリングのかなりの利点を示している。
- 参考スコア(独自算出の注目度): 23.64849989717749
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents a Belarusian-specific data-cleaning pipeline and fine-tuning for English-Belarusian machine translation. Our cleaning pipeline distinguishes itself from others by employing a correction tool that addresses the issue of the two orthographies of the Belarusian language, noise in the training data, interference from other languages and other misspelling issues common in Belarusian on the internet. A matched ablation on unfiltered training data shows substantial benefits from filtering for all fine-tuned models, with the LLM-based models gaining roughly twice as much from filtering as the dedicated encoder-decoder MT system, supporting the view that for Belarusian MT one of the primary bottlenecks is data quality.
- Abstract(参考訳): 本稿では、ベラルーシ固有のデータクリーニングパイプラインと英語・ベラルーシ語機械翻訳のための微調整について述べる。
我々のクリーニングパイプラインはベラルーシ語の2つの正書法の問題、訓練データのノイズ、他の言語からの干渉、インターネット上のベラルーシ語でよく見られる他のミススペル問題に対処する修正ツールを用いて他者と区別する。
LLMをベースとしたモデルは、専用エンコーダ・デコーダMTシステムの約2倍の精度でフィルタリングされ、ベラルーシのMTの最大のボトルネックはデータ品質である。
関連論文リスト
- Evaluating Extremely Low-Resource Machine Translation: A Comparative Study of ChrF++ and BLEU Metrics [69.2321983942375]
本研究では,n-gram-based metricであるBLEUと,文字-based metricであるChrF++を比較して,EMRL設定におけるMT評価を行う。
本研究は,3つのELRL(Magahi,Bhojpuri,Chhattisgarhi)にまたがる幻覚,反復,原文複写,ダイアクリティック(textitmatra)の変化など,各指標が翻訳物にどう反応するかを検討する。
最近の研究はChrF++にのみ依存することが多いが、BLEUは絶対スコアが低いにもかかわらず、解釈可能性を改善するための補完的な語彙精度の洞察を提供する。
論文 参考訳(メタデータ) (2026-02-19T14:56:42Z) - Ready to Translate, Not to Represent? Bias and Performance Gaps in Multilingual LLMs Across Language Families and Domains [6.357124887141297]
大規模言語モデル (LLM) は機械翻訳 (MT) を再定義した
LLMは言語家族や専門ドメイン間で不均一なパフォーマンスを示すことが多い。
オープンソースLLMの翻訳品質と公平性を評価するための統合フレームワークおよびデータセットであるTranslation Tanglesを紹介する。
論文 参考訳(メタデータ) (2025-10-09T07:28:30Z) - Aligning Large Language Models to Low-Resource Languages through LLM-Based Selective Translation: A Systematic Study [3.9680588541743718]
選択的翻訳は、翻訳不可能な内容と文構造を保持しながら、テキストの翻訳可能な部分のみを翻訳する技法である。
実験では、低リソースのIndic言語Hindiに着目し、Google Cloud Translation(GCP)とLlama-3.1-405Bで生成された翻訳を比較した。
論文 参考訳(メタデータ) (2025-07-18T18:21:52Z) - Trans-Zero: Self-Play Incentivizes Large Language Models for Multilingual Translation Without Parallel Data [64.4458540273004]
言語モデル(LLM)の単言語データと本質的な多言語知識のみを活用するセルフプレイフレームワークを提案する。
実験により、このアプローチは大規模並列データに基づいて訓練されたモデルの性能と一致するだけでなく、非英語翻訳の方向でも優れていることが示された。
論文 参考訳(メタデータ) (2025-04-20T16:20:30Z) - Lost in Literalism: How Supervised Training Shapes Translationese in LLMs [51.04435855143767]
大規模言語モデル(LLM)は機械翻訳において顕著な成功を収めた。
しかし、過度にリテラルと不自然な翻訳を特徴とする翻訳は、依然として永続的な課題である。
我々は、黄金の基準を磨き、不自然なトレーニングインスタンスをフィルタリングするなど、これらのバイアスを軽減する方法を導入する。
論文 参考訳(メタデータ) (2025-03-06T12:14:45Z) - A comparison of data filtering techniques for English-Polish LLM-based machine translation in the biomedical domain [2.490363177524421]
本稿では,バイオメディカルドメイン内の英語・ポーランド語翻訳におけるデータフィルタリング手法の影響について検討する。
我々はmBART50モデルを微調整するために様々なデータセットサイズを作成し、SacreBLEU測定値を用いて評価した。
この結果から,LASERとMUSEはどちらも,性能の維持や向上を図りながら,データセットサイズを大幅に削減できることがわかった。
論文 参考訳(メタデータ) (2025-01-27T22:12:09Z) - Separating Grains from the Chaff: Using Data Filtering to Improve
Multilingual Translation for Low-Resourced African Languages [0.6947064688250465]
本稿では,文対分類器を用いて与えられた雑音データをフィルタリングする手法について述べる。
2つの共通のデータセットから評価することで、我々のアプローチを実証的に検証し、データフィルタリングが全体的な翻訳品質を改善することを示す。
論文 参考訳(メタデータ) (2022-10-19T16:12:27Z) - Multilingual Unsupervised Neural Machine Translation with Denoising
Adapters [77.80790405710819]
単言語データのみを持つ言語を翻訳・翻訳する多言語無教師機械翻訳の問題点を考察する。
この問題に対して、モノリンガルデータを活用するための標準的な手順は、計算コストが高くチューニングが難しいバックトランスレーションである。
本稿では,事前学習したmBART-50上に,デノナイジング対象のアダプタ層であるデノナイジングアダプタを使用することを提案する。
論文 参考訳(メタデータ) (2021-10-20T10:18:29Z) - Improving Multilingual Translation by Representation and Gradient
Regularization [82.42760103045083]
表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。
提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
論文 参考訳(メタデータ) (2021-09-10T10:52:21Z) - Multilingual Denoising Pre-training for Neural Machine Translation [132.66750663226287]
mBART(mBART)は、大規模モノリンガルコーパスで事前訓練されたシーケンスからシーケンスまでの自動エンコーダである。
mBARTは、完全なシーケンス・ツー・シーケンスモデルを事前訓練する最初の方法の1つである。
論文 参考訳(メタデータ) (2020-01-22T18:59:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。