論文の概要: Improving the quality of Web-mined Parallel Corpora of Low-Resource Languages using Debiasing Heuristics
- arxiv url: http://arxiv.org/abs/2502.19074v1
- Date: Wed, 26 Feb 2025 11:56:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-27 14:57:54.783020
- Title: Improving the quality of Web-mined Parallel Corpora of Low-Resource Languages using Debiasing Heuristics
- Title（参考訳）: Debiasing Heuristics を用いた低リソース言語Webマイニング並列コーパスの品質向上
- Authors: Aloka Fernando, Surangika Ranathunga, Nisansa de Silva,
- Abstract要約: 異なるマルチPLMは特定の種類の文に偏りがあることを示し、ノイズの多い文が上位のサンプルに忍び込むことを可能にする。
これにより、ウェブマイニングコーパスでトレーニングしたNMTシステムの結果を改善し、マルチPLM間の格差を低減することができる。
- 参考スコア（独自算出の注目度）: 1.2499537119440243
- License:
- Abstract: Parallel Data Curation (PDC) techniques aim to filter out noisy parallel sentences from the web-mined corpora. Prior research has demonstrated that ranking sentence pairs using similarity scores on sentence embeddings derived from Pre-trained Multilingual Language Models (multiPLMs) and training the NMT systems with the top-ranked samples, produces superior NMT performance than when trained using the full dataset. However, previous research has shown that the choice of multiPLM significantly impacts the ranking quality. This paper investigates the reasons behind this disparity across multiPLMs. Using the web-mined corpora CCMatrix and CCAligned for En$\rightarrow$Si, En$\rightarrow$Ta and Si$\rightarrow$Ta, we show that different multiPLMs (LASER3, XLM-R, and LaBSE) are biased towards certain types of sentences, which allows noisy sentences to creep into the top-ranked samples. We show that by employing a series of heuristics, this noise can be removed to a certain extent. This results in improving the results of NMT systems trained with web-mined corpora and reduces the disparity across multiPLMs.
- Abstract（参考訳）: 並列データキュレーション(PDC)技術は、Webマイニングコーパスからノイズの多い並列文をフィルタリングすることを目的としている。
事前学習された多言語言語モデル(multiPLM)から得られた文の埋め込みに対する類似度スコアを用いた文ペアのランク付けと,上位のサンプルを用いたNMTシステムのトレーニングにより,全データセットを用いたトレーニングよりも優れたNMT性能が得られた。
しかし、過去の研究では、マルチPLMの選択がランキング品質に大きな影響を与えることが示されている。
本稿では,マルチPLMにおけるこの相違の原因について考察する。
The web-mined corpora CCMatrix and CCAligned for En$\rightarrow$Si, En$\rightarrow$Ta and Si$\rightarrow$Ta, we show that different multiPLMs (LASER3, XLM-R, LaBSE) are biased to certain type of sentences。
一連のヒューリスティックスを用いることで、このノイズをある程度除去できることが示される。
これにより、ウェブマイニングコーパスでトレーニングしたNMTシステムの結果を改善し、マルチPLM間の格差を低減することができる。
関連論文リスト
- Understanding In-Context Machine Translation for Low-Resource Languages: A Case Study on Manchu [53.437954702561065]
In-context machine translation (MT) with large language model (LLMs) は低リソースMTにおいて有望な手法である。
本研究では,各資源とその品質が満州語による翻訳性能に与える影響を体系的に検討した。
結果から,良質な辞書や優れた並列例は有用であり,文法はほとんど役に立たないことが明らかとなった。
論文 参考訳（メタデータ） (2025-02-17T14:53:49Z) - Adaptive Few-shot Prompting for Machine Translation with Pre-trained Language Models [25.88443566366613]
文脈内学習を伴う大規模言語モデル(LLM)は、ニューラルマシン翻訳の処理において顕著な可能性を示している。
既存の証拠は、LLMはプロンプトに敏感であり、下流機械翻訳タスクの入力に固定プロンプトを適用するのが最適であることを示している。
本稿では,様々な入力文に対して適切な翻訳デモを自動的に選択するための適応的な数ショットプロンプトフレームワークを提案する。
論文 参考訳（メタデータ） (2025-01-03T07:47:59Z) - P-MMEval: A Parallel Multilingual Multitask Benchmark for Consistent Evaluation of LLMs [84.24644520272835]
大きな言語モデル(LLM)は、翻訳、コード生成、推論といったタスクにまたがる様々な多言語機能を示す。
以前の評価では、その範囲を基本自然言語処理(NLP)や、独立した機能固有のタスクに制限することが多かった。
我々は、これらのベンチマークの有用性に関する以前の研究の監視に対処するため、大規模ベンチマークから利用可能な、合理的なベンチマークを選択するパイプラインを提案する。
本稿では,P-MMEvalを提案する。P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval。
論文 参考訳（メタデータ） (2024-11-14T01:29:36Z) - Effective Self-Mining of In-Context Examples for Unsupervised Machine Translation with LLMs [16.98133269527045]
機械翻訳(MT)における文脈内例の教師なし手法を提案する。
教師なし並列文のプールから最適なテキスト内例を選択するためのフィルタリング基準を導入する。
本研究は,MTの文脈内マイニングにおける教師なしアプローチの有効性を実証するものである。
論文 参考訳（メタデータ） (2024-10-14T18:47:04Z) - Quality or Quantity? On Data Scale and Diversity in Adapting Large Language Models for Low-Resource Translation [62.202893186343935]
低リソース言語に大規模言語モデルを適用するのに何が必要かについて検討する。
我々は、事前トレーニングとスーパーバイザードファインチューニング(SFT)の間に並列データが重要であることを示す。
2つの低リソース言語群にまたがる3つの LLM 実験により,本研究の一般化可能性を示す一貫した傾向が示された。
論文 参考訳（メタデータ） (2024-08-23T00:59:38Z) - In-Context Example Selection via Similarity Search Improves Low-Resource Machine Translation [20.704153242284114]
機械翻訳(MT)は、テキスト内翻訳の例から恩恵を受けることが示されているタスクである。
サンプルの選択方法に関する体系的な研究は発表されておらず、類似性に基づく選択の有用性について混合の結果が報告されている。
文の埋め込み類似性は,特に低リソース言語方向においてMTを改善することができる。
論文 参考訳（メタデータ） (2024-08-01T09:07:32Z) - Alleviating Over-smoothing for Unsupervised Sentence Representation [96.19497378628594]
本稿では,この問題を緩和するために,SSCL(Self-Contrastive Learning)というシンプルな手法を提案する。
提案手法は非常に単純で,様々な最先端モデルに拡張して,性能向上を図ることができる。
論文 参考訳（メタデータ） (2023-05-09T11:00:02Z) - On Cross-Lingual Retrieval with Multilingual Text Encoders [51.60862829942932]
言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性について検討する。
教師なしのアドホック文と文書レベルのCLIR実験でそれらの性能をベンチマークする。
我々は、ゼロショット言語とドメイン転送CLIR実験のシリーズにおける英語関連データに基づいて、教師付き方式で微調整された多言語エンコーダの評価を行った。
論文 参考訳（メタデータ） (2021-12-21T08:10:27Z) - Distributionally Robust Multilingual Machine Translation [94.51866646879337]
本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。
この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。
本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
論文 参考訳（メタデータ） (2021-09-09T03:48:35Z) - Parallel Corpus Filtering via Pre-trained Language Models [14.689457985200141]
Webcrawled Dataは、機械翻訳モデルをトレーニングするための並列コーパスの優れたソースを提供する。
最近の研究によると、ニューラルマシン翻訳システムは従来の統計機械翻訳法よりもノイズに敏感である。
本稿では,事前学習言語モデルを用いて,Webcrawled corporaからノイズの多い文ペアを抽出する手法を提案する。
論文 参考訳（メタデータ） (2020-05-13T06:06:23Z) - Selecting Backtranslated Data from Multiple Sources for Improved Neural
Machine Translation [8.554761233491236]
我々は、ルールベース、フレーズベース統計システム、ニューラルMTシステムで翻訳されたデータが、新しいMTシステムに与える影響を分析する。
我々は、高品質なMTシステムを維持しながら、使用するデータ量を減らすために、異なるデータ選択戦略を利用する。
論文 参考訳（メタデータ） (2020-05-01T10:50:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。