論文の概要: PaliBench: A Multi-Reference Blueprint for Classical Language Translation Benchmarks

• arxiv url: http://arxiv.org/abs/2605.16881v1
• Date: Sat, 16 May 2026 08:43:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:47.216091
• Title: PaliBench: A Multi-Reference Blueprint for Classical Language Translation Benchmarks
• Title（参考訳）: PaliBench: 古典的な言語翻訳ベンチマークのためのマルチリファレンスブループリント
• Authors: Máté Metzger, Nadnapang Phophichit,
• Abstract要約: PaliBenchは、Pali-to- English翻訳のベンチマークである。 本稿では、Pali-to- English翻訳のためのベンチマークであるPaliBenchと、古典言語のためのマルチ参照翻訳ベンチマークを構築する再利用可能な方法について紹介する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Digital humanities projects increasingly rely on machine translation and large language models to widen access to classical, religious, and otherwise under-translated textual traditions. Yet standard translation benchmarks are poorly suited to such materials: they typically compare a system output against a single reference translation, even though classical texts often support multiple faithful renderings that differ in terminology, register, and interpretation. This article introduces PaliBench, both a benchmark for Pali-to-English translation and a reusable method for constructing multi-reference translation benchmarks for classical languages. The Pali case study draws on passages from the Sutta Pitaka aligned with independent English translations by Bhikkhu Sujato, Bhikkhu Thanissaro, and Bhikkhu Bodhi. The workflow combines LLM-assisted alignment of independently segmented translations, automated verification against source files, passage-level quality filtering, deduplication of formulaic repetitions, and multi-metric evaluation against multiple human references. The resulting benchmark contains 1,700 passages spanning 8,389 segments and approximately 345,000 tokens. We use it to evaluate ten contemporary large language models with complementary metrics, finding strong cross-metric concordance in system rankings alongside substantial variation in reliability and semantic outlier rates. The broader contribution is methodological: PaliBench shows how existing scholarly translations can be transformed into evaluation infrastructure for interpretive textual traditions without treating any single translation as definitive. Although developed for Pali Buddhist texts, the approach could be portable to other classical corpora where sufficient independent reference translations exist.
• Abstract（参考訳）: デジタル・ヒューマニティ・プロジェクトは、古典的、宗教的、その他に翻訳されていないテクストの伝統へのアクセスを拡大するために、機械翻訳と大きな言語モデルにますます依存している。 古典的なテキストは、用語、レジスタ、解釈で異なる複数の忠実なレンダリングをサポートすることが多いが、システム出力を単一の参照翻訳と比較するのが一般的である。 本稿では、Pali-to- English翻訳のためのベンチマークであるPaliBenchと、古典言語のためのマルチ参照翻訳ベンチマークを構築する再利用可能な方法について紹介する。 パリのケーススタディは、ビヒクフ・スジャト、ビヒクフ・サニッサロ、ビヒクフ・ボディーによる独立した英訳と整合したスッタ・ピタカ(Sutta Pitaka)の論文を引用している。 このワークフローは、独立したセグメンテーションによる翻訳のアライメント、ソースファイルに対する自動検証、パスレベルの品質フィルタリング、公式反復の重複、複数人の参照に対するマルチメトリック評価を組み合わせる。 結果は8,389のセグメントと約345,000のトークンにまたがる1,700のパスを含む。 システムランキングにおいて、信頼性とセマンティック・アウトリー率のかなりの変化とともに、強いクロスメトリックな一致を見出すため、補完的なメトリクスで10の現代大言語モデルを評価する。 PaliBenchは、既存の学術的な翻訳が、単一の翻訳を決定的なものとして扱うことなく、解釈的テクストの伝統の評価基盤にどのように変換されるかを示している。 パリの仏教のテキストのために開発されたが、この手法は他の古典的なコーパスに移植可能であり、そこでは十分な独立した参照翻訳が存在する。

関連論文リスト

• XQ-MEval: A Dataset with Cross-lingual Parallel Quality for Benchmarking Translation Metrics [64.77152900881724]
  9つの翻訳方向をカバーする半自動構築データセットであるXQ-MEvalを提案する。 MQMで定義されたエラーを金の翻訳に自動的に注入し、信頼性のためにネイティブスピーカーによってフィルタリングし、エラーをマージして、制御可能な品質で擬似翻訳を生成する。 XQ-MEvalを用いて, 平均的判断と人的判断の矛盾を明らかにする。
  論文  参考訳（メタデータ） (2026-04-16T12:27:10Z)
• Round-Trip Translation Reveals What Frontier Multilingual Benchmarks Miss [22.50091141087273]
  多言語評価は、一般的な推論や知識ベンチマークと似ているが、多くの言語にわたって構成されている。 このようなベンチマークを示し、その結果、多言語的評価を行い、数学的推論と事実的リコールを測定し、多言語的習熟度ではない。 ラウンドトリップ変換による多言語機能の評価という,シンプルな方法を提案する。
  論文  参考訳（メタデータ） (2026-04-14T15:58:21Z)
• SiPaKosa: A Comprehensive Corpus of Canonical and Classical Buddhist Texts in Sinhala and Pali [0.0]
  SiPaKosa は Sinhala と Pali doctrinal の総括コーパスで、約 786K 文と 9.25M ワードからなる。 コーパスは、Google Document AIを歴史写本に使用して、高品質なOCRによって作成された。 10の事前学習モデルを用いて言語モデルの性能を評価し, コーパス上でのパープレキシティスコアは1.09から189.67である。
  論文  参考訳（メタデータ） (2026-03-31T03:36:46Z)
• Samasāmayik: A Parallel Dataset for Hindi-Sanskrit Machine Translation [12.522148604600341]
  サマスマイク(Samasmayik)は、92,196のパラレル文からなる、巧妙にキュレートされた大規模なヒンディー・サンスクリット・コーパスである。 ByT5、NLLB、IndicTrans-v2の3つの補完モデルを微調整して、この新しいデータセットをベンチマークし、その実用性を実証する。 実験の結果,Samasamayikコーパスでトレーニングしたモデルがドメイン内テストデータに対して大きな性能向上を実現し,他の広く使用されているテストセットに匹敵する性能を達成できた。
  論文  参考訳（メタデータ） (2026-03-25T13:48:34Z)
• BiVert: Bidirectional Vocabulary Evaluation using Relations for Machine Translation [4.651581292181871]
  本稿では,テキストから翻訳の感覚距離を評価するための双方向意味に基づく評価手法を提案する。 このアプローチでは、包括的な多言語百科事典BabelNetを用いる。 Factual analysis is a strong correlation between the average evaluations generated by our method and the human evaluations across various machine translation system for English- German language pair。
  論文  参考訳（メタデータ） (2024-03-06T08:02:21Z)
• Discourse Centric Evaluation of Machine Translation with a Densely Annotated Parallel Corpus [82.07304301996562]
  本稿では,江らが導入した大規模並列コーパスBWBに基づいて,リッチな談話アノテーションを用いた新しいデータセットを提案する。 ソース言語とターゲット言語の談話構造と類似点と相違点について検討する。 我々はMT出力が人間の翻訳と基本的に異なることを発見した。
  論文  参考訳（メタデータ） (2023-05-18T17:36:41Z)
• Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval [109.62363167257664]
  本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。 我々のモデルは、$N$言語で並列データを操作する。 本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
  論文  参考訳（メタデータ） (2022-12-21T02:41:40Z)
• NMTScore: A Multilingual Analysis of Translation-based Text Similarity Measures [42.46681912294797]
  我々は多言語NMTの共通フレームワークにおける翻訳に基づく類似度尺度を解析する。 文の埋め込みなどのベースラインと比較して、翻訳に基づく尺度はパラフレーズの識別において競争力があることが証明されている。 措置は人間の判断と相対的に高い相関を示す。
  論文  参考訳（メタデータ） (2022-04-28T17:57:17Z)
• On the Limitations of Cross-lingual Encoders as Exposed by Reference-Free Machine Translation Evaluation [55.02832094101173]
  クロスランガルエンコーダの評価は通常、教師付き下流タスクにおけるゼロショットのクロスランガル転送または教師なしのクロスランガル類似性によって行われる。 本稿では、ソーステキストと(低品質な)システム翻訳を直接比較するMT(Reference-free Machine Translation)の評価について述べる。 事前学習したM-BERTとLASERで得られた最先端の言語間セマンティック表現に基づいて,様々なメトリクスを体系的に検討する。 参照なしMT評価において,セマンティックエンコーダとしての性能は低く,その2つの重要な限界を同定する。
  論文  参考訳（メタデータ） (2020-05-03T22:10:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。