論文の概要: Prompting Strategy Effects Depend on the Judge: A Multilingual Study of LLM-as-a-Judge Robustness

• arxiv url: http://arxiv.org/abs/2610.31172v1
• Date: Thu, 22 Oct 2026 12:27:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.372992
• Title: Prompting Strategy Effects Depend on the Judge: A Multilingual Study of LLM-as-a-Judge Robustness
• Title（参考訳）: LLM-as-a-Judgeロバスト性に関する多言語的考察
• Abstract要約: LLM-as-a-Judgeの評価は多言語タスクにますます適用されている。 しかし、Chain-of-ThoughtやRole Conditioningといったプロンプト戦略は、イングランドのベンチマークのみに基づいて推奨されている。 このインタラクションは、9つのプロンプト戦略、4つのオープンウェイト判事、27の言語、13のデータセットにわたる4つのタスクのベンチマークを通じて測定します。
• 参考スコア（独自算出の注目度）: 18.936553687978087
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: LLM-as-a-Judge evaluation is increasingly applied to multilingual tasks, yet prompting strategies such as Chain-of-Thought and Role Conditioning are recommended based solely on English benchmarks. Whether their effectiveness transfers across judge models and languages remains unknown: prompt-sensitivity studies are largely English-centric, while existing multilingual judge studies fix the prompt template. In this work, we address this gap by measuring this interaction through a benchmark of 9 prompting strategies, 4 open-weight judges, 27 languages, and 4 tasks across 13 datasets, yielding over 1M pointwise scores on gold-reference outputs, validated against human judgments. We find that prompting strategies are not transferable: the choice of the judge model dominates the choice of prompting strategy, strategy effects reverse direction across judges, and stability degrades in low-resource languages, where these effects are concealed by aggregate reporting. These findings show that prompting effects in multilingual evaluation are conditioned on the judge, task, and language. Consequently, prompting strategies should be validated for the intended evaluation setting, and cross-study comparisons should account for both judge and prompt configuration.
• Abstract（参考訳）: LLM-as-a-Judgeの評価は多言語タスクにますます適用されているが、Chain-of-ThoughtやRole Conditioningといった戦略は英語ベンチマークのみに基づいて推奨されている。 ジャッジモデルと言語間での有効性が伝達されるかどうかは不明だが、プロンプト感度の研究は英語中心であり、既存のマルチリンガル・ジャッジはプロンプトテンプレートを修正している。 本研究では,このギャップを,9つの戦略,4つのオープンウェイトな判断,27の言語,および13のデータセットにわたる4つのタスクのベンチマークを用いて測定し,金基準出力に対する100万点以上の得点を人的判断に対して評価することで解決する。 審査員モデルの選択は、審査員間の戦略効果の逆方向、低リソース言語における安定性の低下の選択に支配的であり、これらの効果は集計報告によって隠蔽されている。 これらの結果から,多言語評価の促進効果が判断,課題,言語に影響を及ぼすことが示唆された。 その結果、意図した評価設定に対してプロンプト戦略を検証すべきであり、クロススタディ比較は判断とプロンプト構成の両方を考慮すべきである。

関連論文リスト

• Inference-Time Steering for Cross-Lingual Factual Consistency in LLMs [51.56484100374058]
  大規模言語モデル(LLM)は目覚ましい多言語流布を示すが、その内部知識表現はハイリソース言語に対して不均等に偏っている。 我々は,これらのバイアスを推論時に緩和できるかどうかを考察し,対象言語でクエリされたかのように,英語の確率モデルに答えるように強制する。 Gemma 3 12Bの実験では、最も強い全体的な介入、効率性のバランス、安全性、ドメイン外の一般化を促すペルソナが明らかにされている。
  論文  参考訳（メタデータ） (2026-07-21T16:15:05Z)
• Does the Judge Prefer English? Evaluating Language-Switching Invariance in LLM-as-a-Judge [0.0]
  LLMBar応答ペアアイテムを英語、中国語、中国語に切り替えた変種に変換する軽量なメタ評価プロトコルを提案する。 信頼できる裁判官は、ラベルアクセシブル言語変換の下でその嗜好を維持するべきである。 モデル全体では、中国語と言語に精通したプレゼンテーションは、英語と比較して10.7-14.4%の好みのフリップを誘導し、すべての審査員は英語で最高の精度を達成している。
  論文  参考訳（メタデータ） (2026-06-12T08:59:26Z)
• When Languages Disagree: Self-Evolving Multilingual LLM Judges [12.308063172324003]
  多言語不整合が相補的な評価信号を提供することを示す。 SEMJは,反復的洗練のために言語間不整合を利用する自己進化型多言語判断器である。
  論文  参考訳（メタデータ） (2026-06-06T10:36:24Z)
• No One Fits All: From Fixed Prompting to Learned Routing in Multilingual LLMs [22.409170147732464]
  異なるリソースレベルと4つのベンチマークを持つ10言語にわたるプロンプト戦略を評価する。 各インスタンスにネイティブまたは翻訳ベースのプロンプトが最適かどうかを予測する軽量な分類器を導入する。
  論文  参考訳（メタデータ） (2026-04-18T09:40:51Z)
• Beyond Survival: Evaluating LLMs in Social Deduction Games with Human-Aligned Strategies [54.08697738311866]
  Werewolfのようなソーシャル推論ゲームは、言語、推論、戦略を組み合わせている。 我々は,100時間以上のビデオ,32.4M発声トークン,15の規則変種を含む高品質で人間認証されたWerewolfデータセットをキュレートした。 本稿では,勝利派戦略を2段階の真理として活用する新たな戦略調整評価法を提案する。
  論文  参考訳（メタデータ） (2025-10-13T13:33:30Z)
• How and Where to Translate? The Impact of Translation Strategies in Cross-lingual LLM Prompting [15.388822834013599]
  多言語検索強化世代(RAG)ベースのシステムでは、知識ベース(KB)は高リソース言語(例えば英語)から低リソース言語(英語版)にしばしば共有される。 2つの一般的なプラクティスは、単言語的なプロンプトを生成するための事前翻訳と、直接推論のための言語間プロンプトである。 最適化されたプロンプト戦略は、言語間の知識共有を大幅に改善し、下流分類タスクの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2025-07-21T19:37:15Z)
• J4R: Learning to Judge with Equivalent Initial State Group Relative Policy Optimization [69.23273504123941]
  私たちは、より複雑な評価設定で生じる位置バイアスに対して堅牢であるように、裁判官を訓練します。 我々はReasoningJudgeBenchというベンチマークを紹介します。 EIS-GRPOで訓練を受けた7B判事であるReasoning判事(J4R)は、GPT-4oを6.7%、そして9%で上回ります。
  論文  参考訳（メタデータ） (2025-05-19T16:50:35Z)
• Investigating Multi-Pivot Ensembling with Massively Multilingual Machine Translation Models [47.91306228406407]
  複数の言語をピボットする方法を再検討する。 我々は、最も確実な予測に向けて出力をバイアスする新しい組み合わせ戦略であるMaxEnsを提案する。 平均的なマルチピボット戦略は、英語を単一のピボット言語として使うのに遅れを取っている。
  論文  参考訳（メタデータ） (2023-11-13T16:15:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。