論文の概要: Can We Triage LLM Translation Errors in Classical Texts Without Human References? Source Novelty, GEMBA Scoring, and Budgeted Review through Pali-to-English Translation

• arxiv url: http://arxiv.org/abs/2609.14963v1
• Date: Mon, 14 Sep 2026 03:11:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.039511
• Title: Can We Triage LLM Translation Errors in Classical Texts Without Human References? Source Novelty, GEMBA Scoring, and Budgeted Review through Pali-to-English Translation
• Title（参考訳）: LLM翻訳エラーを人間が参照しない古典的テキストで試すことができるか? 原典の新規性, GEMBA Scoring, and Budgeted Review through Pali-to- English Translation
• Abstract要約: ソース新規性, ソース候補埋め込み距離, ピア翻訳不一致, 英語とパリの逆翻訳, ノン参照GEMBAスコアを比較した。 最強の手法は、翻訳者より一般的に強いと見なされるモデルのパネルによる非参照GEMBAスコアであった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As large language models become capable translators of classical texts, a key challenge is deciding which outputs need expert review when no human reference exists. This study tests reference-free error triage through Pali-to-English translation. Three LLMs translated 15,493 passages. Five signals were compared: source novelty, source-candidate embedding distance, peer-translation disagreement, English-to-Pali backtranslation, and no-reference GEMBA scoring. Signals were calibrated on a 3,000-item reference-informed LLM-adjudicated sample and checked against a 500-item author-adjudicated anchor. Human references supported calibration and validation only; they were never used to compute the risk signals. Source novelty was a useful source-side risk prior but not a per-candidate error detector. Peer disagreement and backtranslation provided secondary signal. The strongest method was no-reference GEMBA scoring by a panel of models generally regarded as stronger than the translators: reviewing the top 10% by GEMBA risk captured 81.6% of panel-major errors in the calibration set. GEMBA also remained the best reference-free signal against the author anchor. A same-tier panel, with self-scoring excluded, remained useful but performed worse, indicating that evaluator strength matters beyond the prompt alone. A budgeted workflow is proposed, combining source novelty, peer disagreement, and stronger candidate-aware judging to allocate human review. Transfer to other classical languages, including Latin, Ancient Greek, and Sanskrit, remains to be tested.
• Abstract（参考訳）: 大きな言語モデルが古典テキストの有能な翻訳者になるにつれて、重要な課題は、どのアウトプットが専門家のレビューを必要とするかを決めることである。 本研究は、パリ語から英語への翻訳を通して、参照不要なエラートリアージをテストする。 3つのLSMが15,493節を翻訳した。 5つの信号を比較した: ソースノベルティ, ソース候補埋め込み距離, ピア・トランスレーションの不一致, 英語からパリへのバックトランスレーション, ノン参照GEMBAスコア。 信号は3000石の基準インフォーム付きLCM調整サンプルで校正され、500石の著者調整アンカーと照合された。 人間の参照は校正と検証のみをサポートし、リスク信号の計算には使用されなかった。 ソースの新規性は、候補ごとのエラー検出に先立って有用なソース側リスクであった。 ピア不一致とバックトランスレーションは二次信号を提供した。 最強の方法は、一般に翻訳者より強いと見なされるモデルのパネルによる非参照GEMBAスコアであり、GEMBAリスクによるトップ10%のレビューでは、キャリブレーションセットのパネルメージャーエラーの81.6%が取得された。 GEMBAは、著者のアンカーに対して最高の参照なし信号であり続けた。 自己検査を除外した同層パネルは有用であったが、さらに悪化し、評価器の強度はプロンプトだけにとどまらないことが示唆された。 人的レビューを割り当てるために、ソースの新規性、ピアの不一致、より強力な候補認識を組み合わせ、予算化されたワークフローを提案する。 ラテン語、古代ギリシア語、サンスクリット語など他の古典語への翻訳は、まだテストされていない。

関連論文リスト

• In the Blind: Building Pseudo-References for MT Evaluation [13.520781915901233]
  WMT26の一般MTタスクは、人間の参照を持たない10の言語対のシステムを評価する。 これらのペアと他の6つの言語ペアに対して、擬似参照を構築する方法について説明する。 我々は、すべての参照の選択方法と、すべての参照の証明を公表する。
  論文  参考訳（メタデータ） (2026-09-11T23:54:29Z)
• M-GATE: Multilingual Grammar, Accuracy in Translation, and Efficiency Benchmark for Large Language Models [0.0]
  M-GATE(英語: M-GATE)は、30言語にまたがる言語能力のベンチマークである。 80以上の構成で50以上のモデルを評価しました。
  論文  参考訳（メタデータ） (2026-08-04T15:16:05Z)
• Contrastive ESA: Human Evaluation of Multiple Translations at Once [45.918020796451536]
  Contrastive Error Spanを紹介します。 (cESA) ソース入力(テキスト、ビデオ、オーディオ、画像)の複数翻訳を行うプロトコル。 cESAでは、アノテータは同じ文書の複数の翻訳を見て、メジャーとマイナーのエラースパンをマークし、絶対スケールでスコアを0%から100%に割り当てる。 我々は,12モデルの日本語翻訳を人体で大規模に評価したcESAを検証し,標準点評価と比較して注釈時間と雑音の低減を実証した。
  論文  参考訳（メタデータ） (2026-07-29T09:01:59Z)
• From Outliers to Errors: Auditing Pali-to-English LLM Translations with Multi-Reference Adjudication [0.0]
  GPT-5.5は、クロード・ソネット4.6とジェミニ3.1 Proの2倍の信頼区間を持つ、最も低い偏差の主エラー率であった。 グロク4.3は最大のアウトリー数と最も高い尾のメジャーエラー率(全体の27.6%、ドリフト3.0より74.4%)を持っていた。
  論文  参考訳（メタデータ） (2026-05-31T10:15:36Z)
• The Translation Tax Is Not a Scalar: A Counterfactual Audit of English-Source Cue Inheritance in Chinese Multilingual Benchmarks [1.4839450468199458]
  翻訳税は、しばしばスカラーとして扱われる:翻訳されたベンチマークは、英語ソースの手がかりを保存することによってスコアをインフレさせると仮定される。 バックトランスレーションのギャップは小さく、フレキシブルであり、キュースコアのキャリブレーションはアイテムレベルの利得を予測しない。 我々は、セルごとのエビデンス、自然化プロトコル、人間QC、翻訳された多言語ベンチマーク論文の報告チェックリストをリリースする。
  論文  参考訳（メタデータ） (2026-05-08T01:18:46Z)
• Reproducibility Study of Large Language Model Bayesian Optimization [0.0]
  大規模言語モデルを代理語として使用するLLAMBOフレームワークを再検討する。 GPT-3.5を全テキストエンコーディングコンポーネントで使用されるオープンウェイトなLlama 3.1 70Bモデルに置き換える。 本結果はLLAMBOの主な主張を裏付けるものである。
  論文  参考訳（メタデータ） (2025-11-24T08:48:38Z)
• White Men Lead, Black Women Help? Benchmarking and Mitigating Language Agency Social Biases in LLMs [58.27353205269664]
  社会的バイアスは、Large Language Model(LLM)生成コンテンツにおいて言語エージェンシーに現れる。 LLMのバイアスを包括的に評価するLanguage Agency Bias Evaluationベンチマークを導入する。 LABEを用いて,近年の3つのLLM(ChatGPT,Llama3,Mistral)における言語エージェントの社会的バイアスを明らかにした。
  論文  参考訳（メタデータ） (2024-04-16T12:27:54Z)
• Reasons to Reject? Aligning Language Models with Judgments [72.39858230784002]
  言語フィードバックを用いた大規模言語モデル(LLM)の整合性について検討する。 本稿では,不適切なコンテンツ検出と判断に基づく修正が可能なコントラスト型異種訓練(Contrastive Unlikelihood Training, CUT)を提案する。 以上の結果から,CUTは175BのDaVinci003を破り,AlpacaEvalの50.84ポイントを達成できた。
  論文  参考訳（メタデータ） (2023-12-22T10:29:43Z)
• Mitigating Hallucinations and Off-target Machine Translation with Source-Contrastive and Language-Contrastive Decoding [53.84948040596055]
  修正された復号化目標を用いて、障害ケースを緩和する2つの関連手法を提案する。 大規模多言語モデルM2M-100 (418M) とSMaLL-100の実験は、これらの手法が幻覚やターゲット外の翻訳を抑制することを示した。
  論文  参考訳（メタデータ） (2023-09-13T17:15:27Z)
• Error Analysis Prompting Enables Human-Like Translation Evaluation in Large Language Models [57.80514758695275]
  機械翻訳(MT)の品質を評価するために,大規模言語モデル(LLM)を用いることで,システムレベルでの最先端のパフォーマンスを実現する。 我々はtextbftexttError Analysis Prompting (EAPrompt) と呼ばれる新しいプロンプト手法を提案する。 本手法は,多次元品質指標 (MQM) とtextitproduces を用いて,システムレベルとセグメントレベルの両方で説明可能かつ信頼性の高いMT評価を行う。
  論文  参考訳（メタデータ） (2023-03-24T05:05:03Z)
• Don't Forget Cheap Training Signals Before Building Unsupervised Bilingual Word Embeddings [64.06041300946517]
  我々は、教師なしBWE手法を開発する際には、容易にアクセスできる言語間信号が常に考慮されるべきであると主張している。 このような安価な信号はうまく動作し、遠隔言語対においてより複雑な教師なし手法により性能が向上することを示す。 この結果から,BWEを構築する際には,遠隔言語であっても,これらの学習信号を無視すべきでないことが示された。
  論文  参考訳（メタデータ） (2022-05-31T12:00:55Z)
• ChrEnTranslate: Cherokee-English Machine Translation Demo with Quality Estimation and Corrective Feedback [70.5469946314539]
  ChrEnTranslateは、英語と絶滅危惧言語チェロキーとの翻訳のためのオンライン機械翻訳デモシステムである。 統計モデルとニューラルネットワークモデルの両方をサポートし、信頼性をユーザに通知するための品質評価を提供する。
  論文  参考訳（メタデータ） (2021-07-30T17:58:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。