論文の概要: Cultivar: A Contrastive and Locale-Oriented Translation Benchmark for Investigating Contamination and Localisation Robustness

• arxiv url: http://arxiv.org/abs/2608.09766v1
• Date: Mon, 10 Aug 2026 15:56:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:37.359159
• Title: Cultivar: A Contrastive and Locale-Oriented Translation Benchmark for Investigating Contamination and Localisation Robustness
• Title（参考訳）: Cultivar:汚染調査と局所ロバストネスのための比較的・局所的翻訳ベンチマーク
• Abstract要約: ソースコントラスト評価を提唱し,FLORESの局所化サブセットであるCultivarでインスタンス化する。 我々は32のオープンウェイトモデルをベンチマークし、MT特化モデルはより堅牢で、いくつかのモデルはFLORESに適合する可能性があり、モデルは米国のコンテンツを他の地域よりもよく翻訳する傾向にあることを示した。
• 参考スコア（独自算出の注目度）: 16.354905551585844
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multilingual translation benchmarks are typically sourced in English and translated into other languages, treating language pairs as the unit of evaluation---a design that is prone to contamination over time and overlooks locale and cultural considerations. We therefore advocate for source-contrastive evaluation and instantiate it with Cultivar, a localised subset of FLORES, which enables locale-specific translation evaluation. When paired with unlocalised counterparts, performance discrepancy allows the probing of data contamination and localisation robustness. We benchmark 32 open-weight models and find that MT-specialised models are less robust, a few models potentially overfit FLORES, and models tend to translate US content better than that of other locales, regardless of language.
• Abstract（参考訳）: 多言語翻訳ベンチマークは典型的には英語で作成され、他の言語に翻訳され、言語ペアを評価の単位として扱う。 そこで我々は、FLORESの局所化サブセットであるCultivarを用いて、ソースコントラスト評価を提唱し、それをインスタンス化する。 ローカル化されていないものと組み合わせると、パフォーマンスの相違により、データの汚染とローカライゼーションの堅牢性の探索が可能になる。 我々は32のオープンウェイトモデルをベンチマークし、MT特化モデルはよりロバストで、いくつかのモデルはFLORESに適合する可能性があり、モデルは言語によらず、米国のコンテンツを他のローカライズする傾向にあることを示した。

関連論文リスト

• Round-Trip Translation Reveals What Frontier Multilingual Benchmarks Miss [22.50091141087273]
  多言語評価は、一般的な推論や知識ベンチマークと似ているが、多くの言語にわたって構成されている。 このようなベンチマークを示し、その結果、多言語的評価を行い、数学的推論と事実的リコールを測定し、多言語的習熟度ではない。 ラウンドトリップ変換による多言語機能の評価という,シンプルな方法を提案する。
  論文  参考訳（メタデータ） (2026-04-14T15:58:21Z)
• Translation or Recitation? Calibrating Evaluation Scores for Machine Translation of Extremely Low-Resource Languages [39.985923582735936]
  FREDの難易度はF(F)、Retrieval Proxy(R)、Pre-training Exposure(E)、Corpus Diversity(D)を含む。 これらの測定結果から、結果のばらつきの大部分は、モデル能力よりも、列車とテストの重複と事前訓練による露光によって説明されていることが分かる。
  論文  参考訳（メタデータ） (2026-03-26T09:20:17Z)
• Recovered in Translation: Efficient Pipeline for Automated Translation of Benchmarks and Datasets [2.0199251985015434]
  データセットとベンチマークのスケーラブルで高品質な翻訳を可能にするために,完全に自動化されたフレームワークを提案する。 このアプローチを適用して、人気のあるベンチマークとデータセットを8つの東欧と南欧の言語に翻訳します。
  論文  参考訳（メタデータ） (2026-02-25T18:58:25Z)
• Evaluating Extremely Low-Resource Machine Translation: A Comparative Study of ChrF++ and BLEU Metrics [69.2321983942375]
  本研究では,n-gram-based metricであるBLEUと,文字-based metricであるChrF++を比較して,EMRL設定におけるMT評価を行う。 本研究は,3つのELRL(Magahi,Bhojpuri,Chhattisgarhi)にまたがる幻覚,反復,原文複写,ダイアクリティック(textitmatra)の変化など,各指標が翻訳物にどう反応するかを検討する。 最近の研究はChrF++にのみ依存することが多いが、BLEUは絶対スコアが低いにもかかわらず、解釈可能性を改善するための補完的な語彙精度の洞察を提供する。
  論文  参考訳（メタデータ） (2026-02-19T14:56:42Z)
• Low-Resource English-Tigrinya MT: Leveraging Multilingual Models, Custom Tokenizers, and Clean Evaluation Benchmarks [6.177998679139308]
  ニューラルネットワーク翻訳(NMT)の進歩にもかかわらず、Tigrinyaのような低リソース言語はいまだに保存されていない。 本稿では,多言語事前学習モデルを用いた翻訳学習手法について検討し,形態的に豊かな低リソース言語に対する翻訳品質を向上させる。
  論文  参考訳（メタデータ） (2025-09-24T15:02:57Z)
• Languages Still Left Behind: Toward a Better Multilingual Machine Translation Benchmark [11.068031181100276]
  我々は4つの言語(Asante Twi, Japanese, Jinghpaw, South Azerbaijani)のデータを研究する。 真の多言語評価に対するベンチマークの適合性の重大な欠点を明らかにする。 我々は、ドメイン汎用および文化的に中立なソーステキストを使用する多言語MTベンチマークを提唱する。
  論文  参考訳（メタデータ） (2025-08-28T07:52:42Z)
• Lost in the Source Language: How Large Language Models Evaluate the Quality of Machine Translation [64.5862977630713]
  本研究では,機械翻訳評価タスクにおいて,Large Language Models (LLM) がソースデータと参照データをどのように活用するかを検討する。 参照情報が評価精度を大幅に向上させるのに対して,意外なことに,ソース情報は時として非生産的である。
  論文  参考訳（メタデータ） (2024-01-12T13:23:21Z)
• FRMT: A Benchmark for Few-Shot Region-Aware Machine Translation [64.9546787488337]
  本稿では、Few-shot Region-aware Machine Translationのための新しいデータセットと評価ベンチマークFRMTを提案する。 このデータセットは、英語からポルトガル語と中国語の2つの地域変種へのプロの翻訳で構成されている。
  論文  参考訳（メタデータ） (2022-10-01T05:02:04Z)
• Distributionally Robust Multilingual Machine Translation [94.51866646879337]
  本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。 この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。 本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
  論文  参考訳（メタデータ） (2021-09-09T03:48:35Z)
• ChrEnTranslate: Cherokee-English Machine Translation Demo with Quality Estimation and Corrective Feedback [70.5469946314539]
  ChrEnTranslateは、英語と絶滅危惧言語チェロキーとの翻訳のためのオンライン機械翻訳デモシステムである。 統計モデルとニューラルネットワークモデルの両方をサポートし、信頼性をユーザに通知するための品質評価を提供する。
  論文  参考訳（メタデータ） (2021-07-30T17:58:54Z)
• On the Limitations of Cross-lingual Encoders as Exposed by Reference-Free Machine Translation Evaluation [55.02832094101173]
  クロスランガルエンコーダの評価は通常、教師付き下流タスクにおけるゼロショットのクロスランガル転送または教師なしのクロスランガル類似性によって行われる。 本稿では、ソーステキストと(低品質な)システム翻訳を直接比較するMT(Reference-free Machine Translation)の評価について述べる。 事前学習したM-BERTとLASERで得られた最先端の言語間セマンティック表現に基づいて,様々なメトリクスを体系的に検討する。 参照なしMT評価において,セマンティックエンコーダとしての性能は低く,その2つの重要な限界を同定する。
  論文  参考訳（メタデータ） (2020-05-03T22:10:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。