論文の概要: The Ongiini-Eval-OW Benchmark: A Concept Paper for the Planned Benchmarking of Machine Translation and Large Language Models on Oshindonga and Oshikwanyama

• arxiv url: http://arxiv.org/abs/2609.31727v1
• Date: Tue, 22 Sep 2026 09:08:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 13:21:46.433277
• Title: The Ongiini-Eval-OW Benchmark: A Concept Paper for the Planned Benchmarking of Machine Translation and Large Language Models on Oshindonga and Oshikwanyama
• Title（参考訳）: Ongiini-Eval-OWベンチマーク:OshindongaとOshikwanyamaの機械翻訳と大規模言語モデルの計画ベンチマークのための概念論文
• Abstract要約: Ongiini-Eval-OWは、600itemのイングリッシュ・オシンドンガとイングリッシュ・オシクワンヤマのベンチマークで、2つの独立した翻訳者からのネイティブスピーカー参照がある。 実験的なカバレッジギャップ、データセット構成、アメリカ、ヨーロッパ、中国のフロンティアおよびオープンウェイトシステムにわたるローンチ・リーダーボードモデルマトリックス、そしてコントリビューションパイプラインを文書化します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Oshiwambo -- a cluster of mutually intelligible Bantu languages spoken by over a million people across northern Namibia and southern Angola, and the home language of roughly half of Namibian households -- has, to our knowledge, no published machine-translation evaluation benchmark. Major commercial services (Google Translate, DeepL, Microsoft Translator), open multilingual MT models (NLLB-200, MADLAD-400), and the open Masakhane checkpoint collection all lack coverage of either standardised dialect, Oshindonga or Oshikwanyama. We announce Ongiini-Eval-OW, a planned 600-item English-Oshindonga and English-Oshikwanyama benchmark with native-speaker references from two independent translators, a 30-item inter-translator agreement set, an 11-tag phenomenon-tagged stratification (at least 30 items per tag), a deterministic 30% blind split, and a reproducible scoring protocol over chrF++, BLEU, and COMET-22, supplemented by a 50-item human-evaluation round. We document the empirical coverage gap, the dataset composition, the launch-leaderboard model matrix across American, European, and Chinese frontier and open-weight systems, and the contribution pipeline. The dataset is targeted for first public release in Q4 2026; this v1.0 concept paper announces the design and the call for participation. Data and code will be released under CC-BY-4.0 and MIT respectively.
• Abstract（参考訳）: Oshiwamboは、ナミビア北部とアンゴラ南部で100万人以上が話しているバントゥー語と、ナミビアの約半数の家庭の母語である。 主要な商業サービス(Google Translate、DeepL、Microsoft Translator)、オープン多言語MTモデル(NLLB-200、MADLAD-400)、オープンマサハネチェックポイントコレクションはすべて標準方言であるオシンドンガまたはオシクワンヤマのカバーを欠いている。 Ingiini-Eval-OWは600itemのイングリッシュ・オシンドンガとイングリッシュ・オシクワンヤマのベンチマークで、2つの独立トランスレータからのネイティブスピーカー参照、30itemのインタートランスレータ・コンセンサスセット、11タグのインシデントタグ付き成層(少なくともタグあたり30項目)、決定論的な30%のブラインド分割、chrF++、BLEU、COMET-22の再現可能なスコアリングプロトコル、50itemの人間評価ラウンドで補完されている。 実験的なカバレッジギャップ、データセット構成、アメリカ、ヨーロッパ、中国のフロンティアおよびオープンウェイトシステムにわたるローンチ・リーダーボードモデルマトリックス、そしてコントリビューションパイプラインを文書化します。 このデータセットは、2026年第4四半期の最初のパブリックリリースを目標としている。 データとコードはそれぞれCC-BY-4.0とMITでリリースされる。

関連論文リスト

• MameLoshnLM: Yiddish Language Model and Evaluation Benchmark [62.936233688546984]
  We present MameLoshnLM, a first open-source 8B- parameter language model built for Yiddish。 イディッシュ語のリッチテキストの伝統にもかかわらず、そのデジタル的存在と信頼性の高い評価資源の不足は、イディッシュ語のモデリングの進歩を妨げている。 この結果は,Yiddish NLPの基礎と,歴史的にリッチだがデジタルに表現されていない言語における言語モデル開発のための実践的テンプレートの両方を提供する。
  論文  参考訳（メタデータ） (2026-08-06T10:24:08Z)
• MTEB-BR: A Text Embedding Benchmark for Brazilian Portuguese [0.0]
  MTEB-BRは、7つのカテゴリにわたる22のブラジルとポルトガルのネイティブタスクのベンチマークである。 23Mから27Bのパラメータにまたがる93のモデルを評価する。 すべてのタスク、コード、公開リーダボードを公開していますので、実践者はネイティブエビデンスにポルトガルの埋め込みモデルを選択することができます。
  論文  参考訳（メタデータ） (2026-07-06T01:19:30Z)
• The GaoYao Benchmark: A Comprehensive Framework for Evaluating Multilingual and Multicultural Abilities of Large Language Models [51.61416200800499]
  GaoYaoは182.3kサンプル、26言語、51か国/地域からなる総合ベンチマークである。 まず、GaoYao氏は評価タスクを3つの文化階層に分類する統一的なフレームワークを提案する。 第二に、専門家を活用して、主観的なベンチマークを19言語に厳格にローカライズすることで、ネイティブ品質の拡大を実現しています。 第3に,20以上のフラッグシップおよびコンパクトLCMの詳細な診断を行う。
  論文  参考訳（メタデータ） (2026-04-22T06:19:46Z)
• Omnilingual MT: Machine Translation for 1,600 Languages [58.66170104105936]
  我々は,1600以上の言語をサポートする最初の機械翻訳システムであるOmnilingual Machine Translation (OMT)を提案する。 このスケールは、大規模な公開多言語コーパスと新たに作成されたデータセットを統合する包括的なデータ戦略によって実現されている。 OMTモデルは言語間移動を改善し、1,600の評価において、MTのパズルの「理解」部分を解くのに近づいている。
  論文  参考訳（メタデータ） (2026-03-17T09:43:42Z)
• NepTam: A Nepali-Tamang Parallel Corpus and Baseline Machine Translation Experiments [2.0841194064751396]
  この研究は、20Kの金標準パラレルコーパスであるNepTam20Kと80Kの合成ネパール・タングパラレルコーパスであるNepTam80Kを開発した。 データセットはネパールのニュースやオンラインソースからのデータスクレーピングを含むパイプラインを通じて作成された。 このデータセットは、農業、健康、教育と技術、文化、一般コミュニケーションの5つの領域をカバーしている。
  論文  参考訳（メタデータ） (2026-03-14T17:48:00Z)
• DIETA: A Decoder-only transformer-based model for Italian-English machine TrAnslation [74.85762984118024]
  DIETAは、0.5億のパラメータを持つ小さなデコーダのみのトランスフォーマーモデルである。 約2億7700万のイタリア語と英語の文対からなる大きな並列コーパスを収集し、キュレートする。 2025 WikiNews の記事を基に,450 文からなる新しい小規模評価セットをリリースする。
  論文  参考訳（メタデータ） (2026-01-25T13:08:43Z)
• Building a Functional Machine Translation Corpus for Kpelle [0.0]
  本稿では,機械翻訳のための英語-Kpelleデータセットについて紹介する。 データセットの2つのバージョンでMetaのNo Language Left Behind(NLLB)モデルを微調整することにより、Kpelle-to- English方向のBLEUスコアを最大30まで達成した。
  論文  参考訳（メタデータ） (2025-05-24T23:39:34Z)
• AFRIDOC-MT: Document-level MT Corpus for African Languages [35.904230899044116]
  AFRIDOC-MTは、英語と5つのアフリカ語をカバーする文書レベルのマルチ並列翻訳データセットである。 データセットは334の健康と271の情報技術に関するニュースドキュメントで構成されており、全て英語からこれらの言語に翻訳されている。
  論文  参考訳（メタデータ） (2025-01-10T22:49:29Z)
• MegaWika: Millions of reports and their sources across 50 diverse languages [74.3909725023673]
  MegaWikaは、50の言語で1300万のWikipedia記事と、7100万の参考資料で構成されている。 我々は、このデータセットを無数のアプリケーションに処理し、非英語の記事を言語間アプリケーションに翻訳する。 MegaWikaは、文レベルのレポート生成のための最大のリソースであり、マルチランガルである唯一のレポート生成データセットである。
  論文  参考訳（メタデータ） (2023-07-13T20:04:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。