論文の概要: Towards Reliable Multilingual LLMs-as-a-Judge: An Empirical Study

• arxiv url: http://arxiv.org/abs/2605.28710v1
• Date: Wed, 27 May 2026 16:33:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:56.217889
• Title: Towards Reliable Multilingual LLMs-as-a-Judge: An Empirical Study
• Title（参考訳）: マルチリンガル・アズ・ア・ジャッジの信頼性向上に向けて : 実証的研究
• Authors: Irune Zubiaga, Aitor Soroa, Rodrigo Agerri,
• Abstract要約: 大規模言語モデル(LLM)は、生成したテキストの自動評価にますます利用されている。 本研究は多言語LLMs-as-a-judgeを開発するためのいくつかの戦略を探求する。
• 参考スコア（独自算出の注目度）: 15.5103844307963
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly used for the automatic evaluation of generated text, yet most prior work focuses on English. Despite the growing demand for multilingual evaluation, extending LLM-based evaluators to multilingual settings remains challenging, particularly for low-resource languages and scenarios where in-domain data is scarce. This work explores several strategies for developing multilingual LLMs-as-a-judge, considering whether in-domain data is available for fine-tuning or not. We systematically analyze English, Spanish, and Basque, representing high-, mid-, and low-resource languages, considering instruction translation, monolingual versus multilingual supervision, and model size. For evaluation, we extend two existing meta-evaluation datasets to Basque and Spanish. Our results reveal key trade-offs: When in-domain data is available, fine-tuned smaller models can achieve performance comparable to proprietary models, whereas zero-shot evaluation with larger models proves more effective in out-of-domain settings. We also observe that fine-tuning on out-of-domain data can adversely affect model performance. These findings provide practical guidance for building efficient, reliable multilingual evaluation pipelines. The data and code are publicly available at hitz-zentroa/mJudge.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、生成したテキストの自動評価にますます使われているが、ほとんどの先行研究は英語に焦点を当てている。 多言語評価の需要が高まっているにもかかわらず、LLMベースの評価器を多言語設定に拡張することは、特に低リソース言語やドメイン内のデータが不足しているシナリオでは、依然として困難である。 この研究は、ドメイン内のデータが微調整に利用できるかどうかを考慮して、多言語LLMs-as-a-judgeを開発するためのいくつかの戦略を探求する。 我々は英語、スペイン語、バスク語を体系的に分析し、高、中、低リソース言語を表現し、命令翻訳、単言語対多言語指導、モデルサイズを考察した。 評価のために、既存の2つのメタ評価データセットをバスク語とスペイン語に拡張する。 ドメイン内データが利用可能な場合、細調整された小さなモデルではプロプライエタリなモデルに匹敵するパフォーマンスが得られるが、大きなモデルによるゼロショット評価はドメイン外の設定でより効果的である。 また、ドメイン外のデータの微調整がモデルの性能に悪影響を及ぼす可能性があることも観察した。 これらの知見は, 効率的かつ信頼性の高い多言語評価パイプラインを構築するための実用的なガイダンスを提供する。 データとコードは hitz-zentroa/mJudge で公開されている。

関連論文リスト

• Ready to Translate, Not to Represent? Bias and Performance Gaps in Multilingual LLMs Across Language Families and Domains [6.357124887141297]
  大規模言語モデル (LLM) は機械翻訳 (MT) を再定義した LLMは言語家族や専門ドメイン間で不均一なパフォーマンスを示すことが多い。 オープンソースLLMの翻訳品質と公平性を評価するための統合フレームワークおよびデータセットであるTranslation Tanglesを紹介する。
  論文  参考訳（メタデータ） (2025-10-09T07:28:30Z)
• Checklist Engineering Empowers Multilingual LLM Judges [12.64438771302935]
  Checklist Engineering ベースの LLM-as-a-Judge (CE-Judge) は、オープンソースのモデルによる多言語評価にチェックリストの直観を使用する、トレーニング不要のフレームワークである。 我々の手法は一般にベースラインを超え、GPT-4oモデルと同等に機能する。
  論文  参考訳（メタデータ） (2025-07-09T12:03:06Z)
• Judging Quality Across Languages: A Multilingual Approach to Pretraining Data Filtering with Language Models [52.22235443948351]
  大規模言語モデル(LLM)を効果的に事前学習するためには,高品質な多言語学習データが不可欠である 本稿では,多言語多言語データを大規模に効率的にキュレートする体系的アプローチであるJQLを紹介する。 JQLは、LLMのアノテーション機能を、事前トレーニングされた多言語埋め込みに基づいて軽量アノテータに蒸留する。
  論文  参考訳（メタデータ） (2025-05-28T11:06:54Z)
• Enhancing Code Generation for Low-Resource Languages: No Silver Bullet [55.39571645315926]
  大規模言語モデル(LLM)は、プログラミング言語の構文、意味論、使用パターンを学ぶために、大規模で多様なデータセットに依存している。 低リソース言語では、そのようなデータの限られた可用性は、モデルを効果的に一般化する能力を損なう。 本稿では,低リソース言語におけるLLMの性能向上のためのいくつかの手法の有効性を実証研究する。
  論文  参考訳（メタデータ） (2025-01-31T12:23:28Z)
• P-MMEval: A Parallel Multilingual Multitask Benchmark for Consistent Evaluation of LLMs [84.24644520272835]
  本稿では,P-MMEvalを提案する。P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P -M P-MMEvalは、さまざまなデータセットにわたって一貫した言語カバレッジを提供し、並列サンプルを提供する。 我々は、モデルとタスク間の性能を比較するために、代表的多言語モデル系列に関する広範な実験を行う。
  論文  参考訳（メタデータ） (2024-11-14T01:29:36Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか? 本研究は,言語横断的タスクにおける最先端LLMの評価である。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。