論文の概要: TeochewBench: A Human-Reviewed Benchmark for Teochew Hanzi Translation

• arxiv url: http://arxiv.org/abs/2609.18156v1
• Date: Wed, 16 Sep 2026 05:37:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.658622
• Title: TeochewBench: A Human-Reviewed Benchmark for Teochew Hanzi Translation
• Title（参考訳）: TeochewBench: Teochew Hanzi翻訳のための人間レビューベンチマーク
• Abstract要約: TeochewBenchは、Teochew Hanziから中国語と英語への翻訳を評価するためのベンチマークである。 データセットには、基本語彙、日常の文、テオキュー固有の表現、トーン、丁寧さ、文脈の5つのカテゴリが含まれている。 本研究の主な評価は, 両方の翻訳方向のレビューデータセット上で, 11の汎用後学習モデルを対象として, 6600の予測結果を得た。
• 参考スコア（独自算出の注目度）: 1.348877065603112
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Teochew has a substantial speaker community and exhibits distinctive lexical, syntactic, and pragmatic features, yet textual resources for evaluating large language models remain limited. We present TeochewBench, a human-reviewed benchmark comprising 300 Teochew Hanzi expressions for evaluating translation from Teochew Hanzi into Mandarin Chinese and English. The dataset covers five categories: basic vocabulary; everyday sentences; Teochew-specific expressions; tone, politeness, and context; and idiomatic, ambiguous, and culturally specific expressions. A primary Teochew-speaking reviewer examined all entries individually and revised them as needed, while two additional Teochew speakers verified selected items. Our main evaluation covers 11 official general-purpose post-trained models on the reviewed dataset in both translation directions, yielding 6,600 predictions. Two official base checkpoints provide 1,200 predictions for supplementary diagnostics, bringing the total to 13 models and 7,800 predictions. We additionally include a Hanzi-copy control, which returns the source input unchanged, to assess how shared Hanzi affect automatic scores for translation into Mandarin Chinese. Qwen3.5-27B achieved the highest overall chrF-style score among the evaluated checkpoints, at 60.63, followed by Qwen2.5-72B-Instruct at 56.61, Gemma-3-27B-IT at 56.36, and GLM-4-32B-0414 at 55.82. Across the 11 main-evaluation models, the mean chrF-style score decreased from 69.25 for low-specificity items to 27.52 for high-specificity items. High-specificity expressions received lower scores and exhibited smaller cross-model differences, suggesting that they constitute a shared low-scoring region across the model families evaluated here. The Hanzi-copy control further indicates that surface overlap in low-specificity items can substantially affect automatic scores for translation into Mandarin Chinese.
• Abstract（参考訳）: Teochewは相当な話者コミュニティを持ち、独特な語彙的、構文的、実践的な特徴を持っているが、大きな言語モデルを評価するためのテキストリソースは限られている。 我々は,Teochew Hanziから中国語と英語への翻訳を評価するために,300個のTeochew Hanzi式からなる人間レビューベンチマークであるTeochewBenchを紹介する。 このデータセットは、基本語彙、日常の文、テオキュー特有の表現、トーン、丁寧さ、文脈、慣用的、曖昧で文化的に特有の表現の5つのカテゴリをカバーしている。 主要なテオキュー語話者が個々の項目を検査し、必要に応じて修正し、さらに2人のテオキュー語話者が選ばれた項目を検証した。 本研究の主な評価は, 両方の翻訳方向のレビューデータセット上で, 11の汎用後学習モデルを対象として, 6600の予測結果を得た。 2つの公式ベースチェックポイントは、補充診断のための1,200の予測を提供し、合計で13のモデルと7,800の予測をもたらす。 また、中国語への翻訳において、共有されたハンジが自動スコアにどのように影響するかを評価するために、ソース入力を変更せずに返すハンジコピー制御を組み込んだ。 Qwen3.5-27Bは60.63点、Qwen2.5-72B-Instruct 56.61点、Gemma-3-27B-IT 56.36点、GLM-4-32B-0414点が55.82点である。 11種類の主評価モデルにおいて, 平均chrF型スコアは, 低比重項目の69.25から高比重項目の27.52に低下した。 高比重表現は低得点であり, モデル間差は小さく, モデル間の共有低スコア領域を構成することが示唆された。 ハンジコピーコントロールは、低比重項目の表面の重なりが中国語への翻訳のための自動スコアに実質的に影響を及ぼすことを示している。

関連論文リスト

• Beyond Fluency: A Rubric-Based Benchmark for Evaluating Saudi Dialect and Cultural Competence in Large Language Models [0.37331950863394864]
  サウジアラビア方言の古風なベンチマークを示す。 9カテゴリの分類で466のエラー事例を分類する。 一貫性に反するトレードオフとモデル固有のエラーシグネチャを観察する。
  論文  参考訳（メタデータ） (2026-08-30T19:31:35Z)
• Nsanku: Evaluating Zero-Shot Translation Performance of LLMs for Ghanaian Languages [0.03138897474419886]
  LLM(Large Language Model)は、オープンソースの言語に対する印象的な多言語機能を示す。 Nsankuは、43のガーナ言語にわたる19のオープンウェイトおよびプロプライエタリなLLMのゼロショット機械翻訳性能を評価する、体系的なベンチマークである。 モデルも言語も、高いパフォーマンスと高い一貫性を同時に備えたLeadersの四分の一には届かなかった。
  論文  参考訳（メタデータ） (2026-05-05T18:47:46Z)
• The GaoYao Benchmark: A Comprehensive Framework for Evaluating Multilingual and Multicultural Abilities of Large Language Models [51.61416200800499]
  GaoYaoは182.3kサンプル、26言語、51か国/地域からなる総合ベンチマークである。 まず、GaoYao氏は評価タスクを3つの文化階層に分類する統一的なフレームワークを提案する。 第二に、専門家を活用して、主観的なベンチマークを19言語に厳格にローカライズすることで、ネイティブ品質の拡大を実現しています。 第3に,20以上のフラッグシップおよびコンパクトLCMの詳細な診断を行う。
  論文  参考訳（メタデータ） (2026-04-22T06:19:46Z)
• Benchmarking Bengali Dialectal Bias: A Multi-Stage Framework Integrating RAG-Based Translation and Human-Augmented RLAIF [0.3227658251731014]
  大規模言語モデル(LLM)は、低リソース言語の方言に対する性能バイアスを頻繁に示している。 ベンガル方言9方言を対象に,LLM質問応答における方言バイアスを評価するための2段階の枠組みを提案する。
  論文  参考訳（メタデータ） (2026-03-22T18:44:57Z)
• KoBALT: Korean Benchmark For Advanced Linguistic Tasks [0.6971903955510721]
  KoBALT (Korean Benchmark for Advanced Linguistic Tasks) は700の質問からなる言語的に動機付けられたベンチマークである。 韓国語における大規模言語モデル(LLM)の評価を推し進めるために設計された。 韓国の標準コーパスとn-gramの重複が最小限に抑えられた専門家による言語的動機付けの質問スイートを導入している。
  論文  参考訳（メタデータ） (2025-05-22T02:03:07Z)
• ArabicMMLU: Assessing Massive Multitask Language Understanding in Arabic [51.922112625469836]
  アラビア語における最初のマルチタスク言語理解ベンチマークである、データセット名を提案する。 我々のデータは、現代標準アラビア語(MSA)における40のタスクと14,575のマルチチョイス質問で構成されており、地域の母語話者と協調して慎重に構築されている。 35モデルについて評価した結果,特にオープンソースモデルにおいて,改善の余地がかなり高いことが判明した。
  論文  参考訳（メタデータ） (2024-02-20T09:07:41Z)
• Text Classification via Large Language Models [63.1874290788797]
  テキスト分類に関わる複雑な言語現象に対処するために、Clue And Reasoning Prompting (CARP)を導入する。 注目すべきは、CARPが5つの広く使用されているテキスト分類ベンチマークのうち4つで新しいSOTAパフォーマンスを得ることだ。 さらに重要なのは、CARPが低リソースとドメイン適応のセットアップで素晴らしい能力を提供します。
  論文  参考訳（メタデータ） (2023-05-15T06:24:45Z)
• COLD: A Benchmark for Chinese Offensive Language Detection [54.60909500459201]
  COLDatasetは、37kの注釈付き文を持つ中国の攻撃的言語データセットである。 また、人気のある中国語モデルの出力攻撃性を研究するために、textscCOLDetectorを提案する。 我々の資源と分析は、中国のオンラインコミュニティを解毒し、生成言語モデルの安全性を評価することを目的としている。
  論文  参考訳（メタデータ） (2022-01-16T11:47:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。