論文の概要: Model-Based Quality Assessment for Massively Multilingual Parallel Data
- arxiv url: http://arxiv.org/abs/2606.00285v1
- Date: Fri, 29 May 2026 19:19:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:28.254696
- Title: Model-Based Quality Assessment for Massively Multilingual Parallel Data
- Title(参考訳): 大規模多言語並列データのモデルベース品質評価
- Abstract要約: 大規模多言語bitextは、非並列文対と低品質翻訳の2つの異なる問題を含むことが多い。
本稿では,モデルに基づくデータ評価を,並列性評価と基準自由品質評価の2つの独立したコンポーネントに分解する。
- 参考スコア(独自算出の注目度): 14.936891660004171
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large-scale multilingual bitext often contains two distinct problems: non-parallel sentence pairs and low-quality translations. We decompose model-based assessment for such data into two independent components: parallelism assessment with multilingual embeddings and reference-free quality estimation (QE). For parallelism, we benchmark four embedding models on FLORES-200 and BOUQuET retrieval tasks, covering 6,654 source--target directions in our target language-pair inventory. For QE, we evaluate nine reference-free evaluators on professional FLORES-200 translations across 41,412 ordered source--target directions. Results show that no model is universally reliable across translation directions. Naive QE ensembles dilute strong model signals, while documented target-language coverage is strongly associated with higher QE scores. Overall, these findings suggest that multilingual parallel-data assessment is best approached as a direction-aware routing and calibration problem, where no single universal metric is expected to suffice across all languages.
- Abstract(参考訳): 大規模多言語bitextは、非並列文対と低品質翻訳の2つの異なる問題を含むことが多い。
本稿では,これらのデータに対するモデルベースアセスメントを,多言語埋め込みを用いた並列性アセスメントと基準自由品質アセスメント(QE)の2つの独立したコンポーネントに分解する。
並列性については,FLORES-200およびBOUQuET検索タスクの4つの埋め込みモデルをベンチマークし,対象言語ペア在庫の6,654のソース目標方向を網羅した。
QEでは、41,412桁のソース-ターゲット方向のプロのFLORES-200翻訳に対して、9つの参照なし評価器を評価した。
以上の結果から,翻訳方向全体にわたって信頼できるモデルが存在しないことが示唆された。
QEは希薄な強いモデル信号をアンサンブルし、文書化されたターゲット言語カバレッジはより高いQEスコアと強く関連している。
これらの結果から,多言語並列データアセスメントは方向対応のルーティングとキャリブレーションの問題として最適であり,すべての言語で単一の普遍計量が十分でないことが示唆された。
関連論文リスト
- Lost in Translation: Do LVLM Judges Generalize Across Languages? [46.119587015038746]
MM-JudgeBenchは,マルチリンガルおよびマルチモーダルの判断モデル評価のための,最初の大規模ベンチマークである。
MM-JudgeBenchには、25のタイプ的多種多様な言語にまたがる60万以上のペアの好みインスタンスが含まれている。
LVLMを22個評価することにより,提案するベンチマークにおいて,言語間性能のかなりのばらつきを明らかにした。
論文 参考訳(メタデータ) (2026-04-21T12:29:10Z) - XQ-MEval: A Dataset with Cross-lingual Parallel Quality for Benchmarking Translation Metrics [64.77152900881724]
9つの翻訳方向をカバーする半自動構築データセットであるXQ-MEvalを提案する。
MQMで定義されたエラーを金の翻訳に自動的に注入し、信頼性のためにネイティブスピーカーによってフィルタリングし、エラーをマージして、制御可能な品質で擬似翻訳を生成する。
XQ-MEvalを用いて, 平均的判断と人的判断の矛盾を明らかにする。
論文 参考訳(メタデータ) (2026-04-16T12:27:10Z) - Semi-Synthetic Parallel Data for Translation Quality Estimation: A Case Study of Dataset Building for an Under-Resourced Language Pair [0.0]
本研究は、英語からヘブライ語へのQEのための半合成並列データセットを提案する。
専門的に翻訳された英語・ヘブライ語セグメントを、我々の資源から取り入れ、最高品質スコアを付与した。
言語的問題、特に性別と数字の合意に関する問題に対処するために、制御された翻訳エラーが導入された。
論文 参考訳(メタデータ) (2026-03-12T09:48:34Z) - Seed-X: Building Strong Multilingual Translation LLM with 7B Parameters [53.59868121093848]
7Bパラメータサイズを持つオープンソースの言語モデル(LLM)のファミリーであるSeed-Xを紹介する。
ベースモデルは、28言語にわたるモノリンガルコンテンツとバイリンガルコンテンツの両方を含む、多種多様な高品質データセットで事前訓練されている。
その後、インストラクションモデルは、Chain-of-Thought(CoT)推論によって翻訳され、強化学習(RL)によりさらに強化され、多様な言語対をまたいだより良い一般化が達成される。
論文 参考訳(メタデータ) (2025-07-18T03:19:43Z) - Don't Rank, Combine! Combining Machine Translation Hypotheses Using Quality Estimation [0.6998085564793366]
本研究は品質推定量(QE)を用いて翻訳を合成するQE融合を導入する。
提案手法は, 半数以上の症例において, 新規な翻訳を生成できることを実証する。
我々は、QE融合がプール内の候補数と線形にスケールすることを実証的に確立する。
論文 参考訳(メタデータ) (2024-01-12T16:52:41Z) - The Belebele Benchmark: a Parallel Reading Comprehension Dataset in 122 Language Variants [80.4837840962273]
私たちは122の言語変種にまたがるデータセットであるBelebeleを紹介します。
このデータセットは、高、中、低リソース言語におけるテキストモデルの評価を可能にする。
論文 参考訳(メタデータ) (2023-08-31T17:43:08Z) - OneAligner: Zero-shot Cross-lingual Transfer with One Rich-Resource
Language Pair for Low-Resource Sentence Retrieval [91.76575626229824]
文検索タスク用に特別に設計されたアライメントモデルであるOneAlignerを提案する。
大規模並列多言語コーパス(OPUS-100)の全ての言語ペアで訓練すると、このモデルは最先端の結果が得られる。
実験結果から,文アライメントタスクの性能はモノリンガルおよび並列データサイズに大きく依存することがわかった。
論文 参考訳(メタデータ) (2022-05-17T19:52:42Z) - Distributionally Robust Multilingual Machine Translation [94.51866646879337]
本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。
この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。
本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
論文 参考訳(メタデータ) (2021-09-09T03:48:35Z) - Ensemble-based Transfer Learning for Low-resource Machine Translation
Quality Estimation [1.7188280334580195]
第5回機械翻訳会議(WMT20)の文レベルQE共有タスクに焦点を当てます。
このようなQEデータ不足の課題を克服するために、トランスファーラーニングを備えたアンサンブルベースの予測器推定QEモデルを提案する。
個々の言語で事前学習されたモデルと異なるレベルの並列学習コーパスと、ピアソンの相関値0.298とを組み合わせたアンサンブルモデルにおいて、最も優れた性能を実現する。
論文 参考訳(メタデータ) (2021-05-17T06:02:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。