論文の概要: Validating the Comparison, Not Just the Scorer: Why Overall Accuracy Can Mislead in Interactive LLM Evaluation

• arxiv url: http://arxiv.org/abs/2610.31678v1
• Date: Thu, 01 Oct 2026 03:02:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 06:06:26.10638
• Title: Validating the Comparison, Not Just the Scorer: Why Overall Accuracy Can Mislead in Interactive LLM Evaluation
• Title（参考訳）: 比較の検証 : 総合的精度がLCMの対話的評価に誤りをもたらす理由
• Abstract要約: モデルがどのように異なるフォローアッププロンプトに反応するかを比較する。 あるプロンプトは中立的にモデルに再考を求め、別のプロンプトは発明されたフィルムが実際に存在すると主張する。 自動スコアラーは、各レスポンスが非サポートの事実的クレームを行うかどうかをラベル付けする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many LLM studies compare how models respond to different follow-up prompts. For example, one prompt may neutrally ask a model to reconsider, while another insists that an invented film really exists. The difference is used to measure the effect of conversational pressure. An automatic scorer then labels whether each response makes an unsupported factual claim. Researchers commonly validate the scorer with one overall accuracy or $F_1$ score. However, high overall performance can hide prompt-specific mistakes: if the scorer makes more errors after one prompt, the measured difference can be too large, too small, or point in the wrong direction. An audit containing mostly difficult responses can also misrepresent performance in the full study. We derive how such errors alter a prompt comparison and examine the problem using six models, 180 invented-entity questions, and six prompt conditions. In a balanced audit of 288 responses, overall $F_1$ was $.916$. Yet, depending on the prompt, the scorer flagged 2.6%-33.3% of responses that the primary LLM rater judged not to contain an unsupported claim; these prompt-specific estimates were uncertain. In a second audit, the scorer and two separate LLM raters evaluated the same 300 model-question cases under each prompt. An apparent 9.3-point increase from asserting certainty rather than neutrally asking the model to reconsider fell to 2.3 points under both raters. The primary-rater interval included zero, so it did not establish an increase. Two other prompt comparisons kept their direction under both raters, while an attempted prompt-specific correction remained too uncertain for a firm conclusion. Researchers should therefore validate the exact difference they plan to report, not just the scorer as a whole: audit both prompts on matching cases and include scorer and rater uncertainty in the final result.
• Abstract（参考訳）: 多くのLCM研究では、モデルが異なるフォローアッププロンプトにどのように反応するかを比較している。 例えば、あるプロンプトは中立的にモデルに再考を求め、別のプロンプトは、発明されたフィルムが実際に存在すると主張する。 この差は、会話の圧力の効果を測定するために用いられる。 自動スコアラーは、各レスポンスが非サポートの事実的クレームを行うかどうかをラベル付けする。 研究者は一般にスコアラーを1つの総合的精度または$F_1$スコアで検証する。 スコアラが1回のプロンプト後により多くのエラーを犯した場合、測定された差は、大きすぎるか、小さすぎるか、間違った方向に向けられているかのどちらかである。 ほとんど難しい応答を含む監査は、完全な研究でのパフォーマンスを誤って表現することもできる。 このような誤りが即時比較にどのように影響するかを導出し,6つのモデル,180個の発明された疑問,および6つの即時条件を用いて問題を検証した。 288の回答のバランスの取れた監査では、F_1$は916$だった。 しかし、プロンプトに依存すると、スコアラーは2.6%-33.3%の反応を通知し、主要なLDMレーダは保証されたクレームを含まないと判断した。 第2の監査では、スコアラーと2つの別々のLSMレーダが、それぞれのプロンプトの下で同じ300のモデル検索ケースを評価した。 中立的にモデルの再考を求めるのではなく、確実性を主張することによる明らかな9.3ポイントの増加は、両方のラッカーの下で2.3ポイントに落ち込んだ。 プライマリ・ラター間隔はゼロであったため、増加は得られなかった。 他の2つの急進的な比較は、両方のレーダの下にその方向を保ち、一方、プロンプト固有の修正の試みは、確固たる結論を下すにはあまりにも不確実なままであった。 したがって、研究者は、スコアラー全体だけでなく、報告する予定の正確な違いを検証する必要がある。

関連論文リスト

• Checking the Checkers: A Synthesis of Verifier Noise and Robustness in RLVR [0.0]
  検証可能な報酬付き強化学習(RLVR)は、大規模言語モデルの推論を改善するための主要なレシピとなっている。 この研究は、これらの検証エラーを測定し、分析し、軽減する58の研究を調査する。 我々は、検証者がどのようなエラーを犯すか、それがトレーニングにどう影響するか、どのエラーに対してどの軽減策が機能するか、そして結果が自己生成、ルーリック、および判断に基づく、検証不要な報酬にどのように拡張するかを問う。
  論文  参考訳（メタデータ） (2026-10-13T06:44:33Z)
• FramingQA: Does the Question Shape the Answer? Measuring the Compositional Framing Effect [69.8983512616053]
  大規模な言語モデルは、しばしばユーザによる暗黙のスタンスと一致する微妙な言い換えに応答を変更する。 これによってユーザーは、根拠となる事実ではなく、どのようにして質問を言い表したかというアドバイスをユーザーに残すことができる。 FramingQAは、法律、医学、ファイナンス、ロボットシミュレーションにまたがるフレーミングに疑問を呈するモデル感度を測定するベンチマークである。
  論文  参考訳（メタデータ） (2026-09-07T12:56:44Z)
• Difference-in-Differences on a Censored Rating Scale Can Manufacture an Effect: Evidence from a Pre-Registered LLM-Judge Audit [15.81584544074437]
  LLM審査員の聴取は、一致した条件を対比することでバイアスを認定する。 このエンドポイントは、報告するスケールでは特定されない。 我々は,そのメカニズムをクローズドな形で導き,その貢献が監査の自己評価から測定可能であることを示す。
  論文  参考訳（メタデータ） (2026-08-27T16:10:16Z)
• When Many Answers Are Valid, Voting Fails: Symbolic Verification for Best-of-K Causal Reasoning in LLMs [42.32694162421078]
  CALVERは、パールの因果基準に対して構造化されたトレースをスコアする訓練不要なシンボル検証器である。 CALVERは、複数のグラフ正解を許容するCLEAR検索1価クエリにおいて、報酬モデル、LLM審査員、モデルの信頼性が30%近く残っている42.1%に達する。
  論文  参考訳（メタデータ） (2026-08-04T11:45:46Z)
• Do large language models scrutinise what they review? A multimodal audit of scoring calibration, error detection, and author-identity effects [0.0]
  大きな言語モデル(LLM)は、ピアレビューを生成するためにますます使われています。 本研究は,2026年国際学習表現会議への165件の応募に対して,2つのマルチモーダルLCMをレビュアーとして評価した。
  論文  参考訳（メタデータ） (2026-07-31T12:12:33Z)
• Intelligence Is Not the Bottleneck: Validating an LLM First-Pass Manuscript Score Against Peer-Review Outcomes [0.0]
  大規模言語モデル(LLM)システムは、ピアレビューを支援するためにますます提案されている。 ほとんどの評価は、システムが割り当てる数値スコアの妥当性ではなく、機械生成レビューテキストの散文を判断する。 提案した原稿を読み取って5つの0-100品質ディメンションと重み付き総合スコアを出力するAIPRを検証する。
  論文  参考訳（メタデータ） (2026-06-14T16:13:15Z)
• LACIE: Listener-Aware Finetuning for Confidence Calibration in Large Language Models [69.68379406317682]
  暗黙的および明示的な信頼マーカーを校正するリスナー対応微調整法 (LACIE) を提案する。 我々は,LACIEがリスナーをモデル化し,回答が正しいかどうかだけでなく,リスナーに受け入れられるかどうかを考察する。 LACIEによるトレーニングの結果、正しい回答の受け入れレベルを維持しながら、誤った回答が受け入れられる割合が47%減少することがわかった。
  論文  参考訳（メタデータ） (2024-05-31T17:16:38Z)
• Large Language Models are not Fair Evaluators [60.27164804083752]
  候補回答の品質ランキングは,文脈の出現順序を変えることで容易にハックできることがわかった。 この操作により、評価結果をスキューし、一方のモデルを他方よりもかなり優れているようにすることができる。 この問題を緩和するための3つのシンプルかつ効果的な戦略を持つフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T07:41:03Z)
• Large Language Models are Better Reasoners with Self-Verification [48.534270563880845]
  大規模言語モデル(LLM)は、いくつかの自然言語処理タスクにおいて強力な推論能力を示している。 思考の連鎖(CoT)を促進させるLLMは、個別のミスに非常に敏感な、多段階のプロンプトと多段階の予測を必要とする。 また,LLMにも同様な自己検証能力があることを示す。
  論文  参考訳（メタデータ） (2022-12-19T15:51:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。