論文の概要: How Reliable is Multilingual LLM-as-a-Judge?

• arxiv url: http://arxiv.org/abs/2505.12201v1
• Date: Sun, 18 May 2025 02:32:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.088872
• Title: How Reliable is Multilingual LLM-as-a-Judge?
• Title（参考訳）: マルチリンガル LLM-as-a-Judge はどの程度信頼性が高いか?
• Authors: Xiyan Fu, Wei Liu,
• Abstract要約: 25言語を含む5つの多種多様なタスクにおいて、異なるモデルファミリーから5つのモデルを評価する。 一貫性は言語によって大きく異なり、低リソース言語では特にパフォーマンスが劣っていることが分かりました。 実世界のアプリケーションにおける多言語判断の整合性を改善するアンサンブル戦略を提案する。
• 参考スコア（独自算出の注目度）: 11.639184489330368
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM-as-a-Judge has emerged as a popular evaluation strategy, where advanced large language models assess generation results in alignment with human instructions. While these models serve as a promising alternative to human annotators, their reliability in multilingual evaluation remains uncertain. To bridge this gap, we conduct a comprehensive analysis of multilingual LLM-as-a-Judge. Specifically, we evaluate five models from different model families across five diverse tasks involving 25 languages. Our findings reveal that LLMs struggle to achieve consistent judgment results across languages, with an average Fleiss' Kappa of approximately 0.3, and some models performing even worse. To investigate the cause of inconsistency, we analyze various influencing factors. We observe that consistency varies significantly across languages, with particularly poor performance in low-resource languages. Additionally, we find that neither training on multilingual data nor increasing model scale directly improves judgment consistency. These findings suggest that LLMs are not yet reliable for evaluating multilingual predictions. We finally propose an ensemble strategy which improves the consistency of the multilingual judge in real-world applications.
• Abstract（参考訳）: LLM-as-a-Judgeは、高度な大規模言語モデルが人間の指示に従って生成結果を評価する一般的な評価戦略として登場した。 これらのモデルは人間のアノテータに代わる有望な代替品として機能するが、多言語評価における信頼性は依然として不明である。 このギャップを埋めるために,多言語 LLM-as-a-Judge の包括的解析を行う。 具体的には、25言語を含む5つの多種多様なタスクにおいて、異なるモデルファミリーから5つのモデルを評価する。 以上の結果から,LLMは言語間の一貫した判断結果の達成に苦慮していることが明らかとなった。 不整合の原因を調べるため,様々な要因を解析した。 一貫性は言語によって大きく異なり、低リソース言語では特にパフォーマンスが劣っている。 さらに、多言語データのトレーニングもモデルスケールの増大も、判断の一貫性を直接的に改善しないことがわかった。 これらの結果から,LLMは多言語予測の信頼性が低いことが示唆された。 実世界のアプリケーションにおける多言語判断の整合性を改善するアンサンブル戦略を提案する。

関連論文リスト

• M-Prometheus: A Suite of Open Multilingual LLM Judges [64.22940792713713]
  M-Prometheusは,多言語出力の直接評価とペア比較フィードバックを両立できるオープンウェイトLLM判定器のスイートである。 M-Prometheusモデルは、20以上の言語にまたがる多言語報酬ベンチマークや、4つの言語対をカバーする文語機械翻訳(MT)評価において、最先端のLLM判事より優れている。
  論文  参考訳（メタデータ） (2025-04-07T11:37:26Z)
• MMLU-ProX: A Multilingual Benchmark for Advanced Large Language Model Evaluation [60.52580061637301]
  MMLU-ProXは、言語毎に約11,829の質問を持つ、13の型的多様言語をカバーする包括的なベンチマークである。 5ショットチェーン(CoT)とゼロショットプロンプト戦略を用いて25の最先端の大規模言語モデル(LLM)を評価し,言語的・文化的境界を越えてその性能を解析した。 我々の実験は、ハイリソース言語から低リソース言語への一貫したパフォーマンス劣化を示し、最高のモデルは英語で70%以上の精度を達成しているが、Swahiliのような言語では40%程度にまで低下している。
  論文  参考訳（メタデータ） (2025-03-13T15:59:20Z)
• Exploring the Multilingual NLG Evaluation Abilities of LLM-Based Evaluators [38.681443695708786]
  本研究は,近年の10個のLLMの多言語評価性能を包括的に分析する。 参照応答をプロンプトから除外すると、様々な言語のパフォーマンスが向上することがわかった。 LLMに基づく評価器の多くは、低リソース言語よりも、高リソース言語における人間の判断と高い相関関係を示す。
  論文  参考訳（メタデータ） (2025-03-06T12:04:29Z)
• Exploring Robustness of LLMs to Sociodemographically-Conditioned Paraphrasing [7.312170216336085]
  我々は、社会デミノグラフィーの次元にまたがる幅広いバリエーションを探求するために、より広いアプローチを取る。 我々はSocialIQAデータセットを拡張し、ソシオデミノグラフィースタイルを条件とした多様なパラフレーズセットを作成する。 人口統計学的パラフレーズが言語モデルの性能に大きく影響していることが判明した。
  論文  参考訳（メタデータ） (2025-01-14T17:50:06Z)
• Language Ranker: A Metric for Quantifying LLM Performance Across High and Low-Resource Languages [48.40607157158246]
  大規模言語モデル(LLM)は、英語、ドイツ語、フランス語のような高リソース言語で、低リソース言語の能力は依然として不十分である。 内部表現を用いたLLM性能に基づいて,言語をベンチマークし,ランク付けするための固有測度であるLanguage Rankerを提案する。 分析の結果,高リソース言語は英語との類似度が高く,性能が優れ,低リソース言語は類似度が低いことがわかった。
  論文  参考訳（メタデータ） (2024-04-17T16:53:16Z)
• Zero-Shot Cross-Lingual Reranking with Large Language Models for Low-Resource Languages [51.301942056881146]
  アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。 私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。 我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
  論文  参考訳（メタデータ） (2023-12-26T18:38:54Z)
• MELA: Multilingual Evaluation of Linguistic Acceptability [7.524375463656369]
  言語アクセプタビリティの多言語評価 -- MELA -- 10言語を対象とする46Kのサンプルを用いて、言語アクセプタビリティに関する最も大きなベンチマークを提示する。 多言語解釈可能性の追求において, 微調整XLM-Rを用いた探索実験を行った。 言語間移動実験は、受容可能性判定における伝達が非自明であることを示す。
  論文  参考訳（メタデータ） (2023-11-15T15:25:28Z)
• Are Large Language Model-based Evaluators the Solution to Scaling Up Multilingual Evaluation? [20.476500441734427]
  大規模言語モデル(LLM)は様々な自然言語処理(NLP)タスクに優れる。 彼らの評価、特に上位20ドルを超える言語では、既存のベンチマークとメトリクスの制限のため、依然として不十分である。
  論文  参考訳（メタデータ） (2023-09-14T06:41:58Z)
• CMMLU: Measuring massive multitask language understanding in Chinese [133.70911295934746]
  本稿では, 自然科学, 社会科学, 工学, 人文科学など, さまざまな分野をカバーする総合的な中国のベンチマークを紹介する。 CMMLUは、中国語の文脈における大きな言語モデルの知識と推論能力の評価におけるギャップを埋める。
  論文  参考訳（メタデータ） (2023-06-15T15:49:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。