論文の概要: Prosa: Rubric-Based Evaluation of LLMs on Real User Chats in Brazilian Portuguese

• arxiv url: http://arxiv.org/abs/2605.01630v1
• Date: Sat, 02 May 2026 22:44:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:49.858274
• Title: Prosa: Rubric-Based Evaluation of LLMs on Real User Chats in Brazilian Portuguese
• Title（参考訳）: Prosa: ブラジルポルトガル語のリアルユーザチャットにおけるLLMの評価
• Abstract要約: Prosaはブラジル初のマルチターンポルトガル語チャットベンチマークである。 3人の審査員は16位のうち1つに同意する一方、総投票では16位のうち7つに同意する。 我々は、将来のモデルを同一条件下で評価できるように、ベンチマークとフィルタリングコードをリリースする。
• 参考スコア（独自算出の注目度）: 8.678622777553267
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Rankings produced by holistic LLM-as-a-judge scoring are sensitive to the bias of the chosen judge model. We show that switching to binary rubric scoring with multi-judge filtering removes this sensitivity: decomposing the judgement matters more than the judge model itself. To support this claim, we introduce Prosa, the first real user multi-turn Brazilian Portuguese chat benchmark: 1,000 WildChat conversations scored by three judges from three model families on 16 models. Under filtered rubric scoring the three judges agree on every one of the 16 ranks, whereas under holistic scoring they agree on only 7 of 16. Additionally, the rubric filtering pipeline increases the average score gap between neighbouring models by 47%, thereby improving Prosa's discriminative power. Evaluating a new model on Prosa costs approximately $2.1 when using Gemini 3 Flash as the judge. We release the benchmark and the filtering code to ensure that future models can be assessed under identical conditions. These artifacts also make our rubric-based scoring method reusable beyond Prosa, supporting other open-ended evaluation settings.
• Abstract（参考訳）: 総合的LLM-as-a-judgeスコアによって生成されるランキングは、選択された審査モデルのバイアスに敏感である。 マルチジャッジフィルタリングによる二項ルーブリックスコアへの切り替えは、この感度を排除し、判断を分解することが判断モデル自体よりも重要であることを示す。 この主張を支持するために,ブラジル初のマルチターンポルトガル語チャットベンチマークであるProsaを紹介した。 3人の審査員は16位のうち1つに同意する一方、総投票では16位のうち7つに同意する。 さらに、潤滑フィルターパイプラインは近隣のモデル間の平均スコアギャップを47%増加させ、プロサの識別能力を向上させる。 Prosaの新しいモデルを評価するには、審査員としてGemini 3 Flashを使用すると約2.1ドルかかる。 我々は、将来のモデルを同一条件下で評価できるように、ベンチマークとフィルタリングコードをリリースする。 これらのアーティファクトは、私たちのルーリックベースのスコアリングメソッドをProsaを超えて再利用し、他のオープンな評価設定をサポートします。

関連論文リスト

• Small Language Models as Judges for Rubric-Based Reinforcement Learning [57.707881387886516]
  より小型の言語モデルが,より効率的かつ信頼性の高いルーリック・ベース・ジャッジとして機能するかどうかを考察する。 生成的評定,Yes/No Logprobマージン,Probe judgesの3つの基準レベルの判断を,小モデルから抽出する方法を比較した。 どちらのデータセットでも、Qwen3-1.7B Probeの審査員はこれらの方法の中で最強の基準レベルの合意を達成している。
  論文  参考訳（メタデータ） (2026-08-30T20:00:17Z)
• Ask the Right Comparison:Bias-Aware Bayesian Active Top-$k$ Ranking with LLM Judges [31.082191748525137]
  大規模言語モデル(LLM)は、候補出力をペアで比較する、安価でスケーラブルな判断器として、ますます使われている。 固定比較予算の下で,トップクアイテムを識別する実践的目標について検討する。 我々は,次の比較を選択し,不確実性を最大に低減する,トップク対応のアクティブな獲得ルールを導入する。
  論文  参考訳（メタデータ） (2026-07-02T12:39:30Z)
• EMPATH: A Multilingual Auditor-Judge Benchmark for Safety Evaluation of Emotional-Support Chatbots [0.0]
  本稿では,感情支援型チャットボットの安全性評価のためのベンチマークEMPATHを提案する。 オーディタモデルでは,140のシード命令と34のペルソナから多ターン会話を生成する。 審査員モデルは、危機処理、治療的品質、会話の整合性、感情的安全、文化的適応の5つの次元にわたる19の指標に対して、それぞれの全文をスコアする。
  論文  参考訳（メタデータ） (2026-06-29T13:05:43Z)
• SLMJury: Can Small Language Models Judge as Well as Large Ones? [1.5990700377571574]
  SLMJury(Small Language Model (SLM) 評価フレームワーク)を2つのパラダイムの審査対象として紹介する。 我々は10のベンチマークで4つのモデルファミリーから16のSLM判定値(0.6B-14Bパラメータ)をベンチマークした。 信頼性の高い自動評価は大きなプロプライエタリなモデルを必要としないが、単一のSLMが支配的ではない。
  論文  参考訳（メタデータ） (2026-06-05T19:38:15Z)
• Quantitative LLM Judges [60.773734899532336]
  本研究では,既存のLLM審査員の評価スコアを,与えられた領域内の人間と一致させる定量的LLM審査員を提案する。 モデルは、その合理性とスコアを使用して、元の審査員のスコアを改善するために訓練される。 実験の結果, 定量的な判断は, ポストホックモデリングにより, 既存の判断の予測力を向上できることがわかった。
  論文  参考訳（メタデータ） (2025-06-03T14:44:23Z)
• J4R: Learning to Judge with Equivalent Initial State Group Relative Policy Optimization [69.23273504123941]
  私たちは、より複雑な評価設定で生じる位置バイアスに対して堅牢であるように、裁判官を訓練します。 我々はReasoningJudgeBenchというベンチマークを紹介します。 EIS-GRPOで訓練を受けた7B判事であるReasoning判事(J4R)は、GPT-4oを6.7%、そして9%で上回ります。
  論文  参考訳（メタデータ） (2025-05-19T16:50:35Z)
• Evaluating Judges as Evaluators: The JETTS Benchmark of LLM-as-Judges as Test-Time Scaling Evaluators [66.83088028268318]
  本稿では,テスト時間スケーリングベンチマークの判定評価について紹介する。 3つのタスク設定の下で、3つのドメイン(推論、コード生成、命令従)での判定性能を評価する。 我々のベンチマークは、審査員が再評価において結果報酬モデルと競合する一方で、ビームサーチにおけるプロセス報酬モデルよりも一貫して悪いことを示している。
  論文  参考訳（メタデータ） (2025-04-21T17:33:23Z)
• Direct Judgement Preference Optimization [79.54459973726405]
  我々は、他のモデルのアウトプットを評価し、批判するために、生成的判断として大きな言語モデル(LLM)を訓練する。 我々は,異なるユースケースに対する選好ペアの収集に3つのアプローチを採用し,それぞれが異なる視点から生成判断を改善することを目的としている。 提案モデルは,位置や長さの偏りなどの固有バイアスに強く対応し,実践者が指定した評価プロトコルに柔軟に適用し,下流ジェネレータモデルを改善する上で有用な言語フィードバックを提供する。
  論文  参考訳（メタデータ） (2024-09-23T02:08:20Z)
• Large Language Models are not Fair Evaluators [60.27164804083752]
  候補回答の品質ランキングは,文脈の出現順序を変えることで容易にハックできることがわかった。 この操作により、評価結果をスキューし、一方のモデルを他方よりもかなり優れているようにすることができる。 この問題を緩和するための3つのシンプルかつ効果的な戦略を持つフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T07:41:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。