論文の概要: Permutation-Consensus Listwise Judging for Robust Factuality Evaluation
- arxiv url: http://arxiv.org/abs/2603.20562v1
- Date: Fri, 20 Mar 2026 23:35:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-24 19:11:38.967855
- Title: Permutation-Consensus Listwise Judging for Robust Factuality Evaluation
- Title（参考訳）: ロバスト性評価のための順列接続型リストワイズ判断法
- Authors: Tianyi Huang, Nathan Huang, Justin Tang, Wenqian Chen, Elsa Fan,
- Abstract要約: リストワイド事実性評価における候補順序感度について検討した。
そこで我々は,PCFJudgeを紹介した。PCFJudgeは,同一候補集合の複数の順序に対して,同じ事実を優先的にリストワイズする推論時手法である。
RewardBench 2 Factualityでは、PCFJudgeは最大7つの絶対点による直接判定よりも改善される。
- 参考スコア（独自算出の注目度）: 0.8563354084119061
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Large language models (LLMs) are now widely used as judges, yet their decisions can change under presentation choices that should be irrelevant. We study one such source of instability: candidate-order sensitivity in listwise factuality evaluation, where several answers can look similarly polished while differing sharply in hallucination risk. We introduce PCFJudge, an inference-time method that reruns the same factuality-first listwise prompt over multiple orderings of the same candidate set and aggregates the resulting scores, ranks, and uncertainty signals into a single consensus decision. On RewardBench 2 Factuality, PCFJudge improves over direct judging by up to 7 absolute points. Development ablations show that the dominant gain comes from permutation consensus itself rather than from heavier arbitration layers. These results suggest that a meaningful share of factuality-judging error arises from order instability, and that averaging over this nuisance variation is a simple and effective way to make LLM evaluation more reliable.
- Abstract（参考訳）: 大規模言語モデル(LLM)は現在、審査員として広く使用されているが、その決定は、無関係であるべきプレゼンテーションの選択の下で変更することができる。
このような不安定性の原因の一つとして, 幻覚リスクの急激な相違を伴いながら, いくつかの回答が同様に洗練され得るリストワイド事実性評価における候補次感度について検討した。
PCFJudgeは,同一候補集合の複数の順序に対して,同じ事実を優先的にリストワイズし,結果のスコア,ランク,不確かさを単一のコンセンサス決定に集約する推論時手法である。
RewardBench 2 Factualityでは、PCFJudgeは最大7つの絶対点による直接判定よりも改善される。
開発アブレーションは、過度な仲裁層ではなく、置換コンセンサス自体が圧倒的に有利であることを示している。
これらの結果から, 現実性判断誤差の有意なシェアは秩序不安定から生じ, このニュアンス変動に対する平均化は, LLM評価をより信頼性の高いものにするための単純かつ効果的な方法であることが示唆された。
関連論文リスト
- C2-Faith: Benchmarking LLM Judges for Causal and Coverage Faithfulness in Chain-of-Thought Reasoning [0.6138671548064355]
大型言語モデル (LLMs) は、チェーン・オブ・ソート (CoT) 推論の判断としてますます使われている。
C2-Faithは、因果性(各ステップは以前の文脈から論理的に従うのか?
二つの因果検出,因果ステップの定位,カバレッジスコアの3つの課題において,フロンティア判事の評価を行った。
論文 参考訳（メタデータ） (2026-03-05T13:36:47Z) - A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。
我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
論文 参考訳（メタデータ） (2026-02-04T15:13:35Z) - A Single Revision Step Improves Token-Efficient LLM Reasoning [3.344806691289323]
大規模言語モデルのためのトレーニングフリーで推論のみのフレームワークであるPacket-Conditioned Revision (PACER)を紹介した。
PACERは、推論トレースを使用して、構造化された調整ステップを通じて結論を修正できる。
競争力のある数学のベンチマークでは、PACERは256サンプルの多数決の正確さと一致または超える。
論文 参考訳（メタデータ） (2026-02-02T21:28:42Z) - Rating Roulette: Self-Inconsistency in LLM-As-A-Judge Frameworks [4.757470449749876]
大規模言語モデル (LLM) は, 異なるランニングにおいて, 割り当てられたスコアの信頼性が低いことを示す。
この分散は、最悪の場合、彼らのレーティングに一貫性がなく、ほぼ任意である。
我々は、異なるNLGタスクやベンチマーク間でこの矛盾を定量化し、LLM審査員の司法的利用が適切なガイドラインに従って有用であるかどうかを確認する。
論文 参考訳（メタデータ） (2025-10-31T02:06:37Z) - Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。
次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。
ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
論文 参考訳（メタデータ） (2025-09-29T12:15:52Z) - Critique to Verify: Accurate and Honest Test-Time Scaling with RL-Trained Verifiers [63.99316853136304]
ミラー・クリティク(Mirror-Critique)は、情報的批評で検証者を訓練する枠組みである。
我々は、高品質な批判データを合成するために、小さな命令調整モデルを展開する。
結果として得られるミラー検証は、ソリューション毎に複数の批判を生成することで、候補ソリューションを評価するためにデプロイされる。
論文 参考訳（メタデータ） (2025-09-27T06:50:24Z) - TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。
スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。
我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
論文 参考訳（メタデータ） (2025-09-25T13:04:29Z) - When Judgment Becomes Noise: How Design Failures in LLM Judge Benchmarks Silently Undermine Validity [21.192000569821943]
我々は、厳密な目標と検証可能な構成がなければ、ベンチマークのランキングは、ほぼノイズの多い高信頼度ランキングを生成することができると論じる。
本稿では,Arena-Hard Autoが使用するELOスタイルのアグリゲーションが崩壊し,真のランキングの不確かさをマスクすることを示す。
我々の結果は、妥当性を損なう設計上の失敗を強調し、より良いスコープで信頼性に配慮したベンチマークを構築するための実用的な原則を提供する。
論文 参考訳（メタデータ） (2025-09-24T16:26:47Z) - Judging LLMs on a Simplex [2.088672652658465]
一般的な実践は、大言語モデル(LLM)自体を裁判官として使用することであるが、このアプローチの理論的性質はまだよく理解されていない。
判定と候補の両方を確率的単純度上の点として表現する幾何学的枠組みは,何であるか,何であるかを識別できないのか,有用な知見を提供することができる。
論文 参考訳（メタデータ） (2025-05-28T04:50:41Z) - Crowd Comparative Reasoning: Unlocking Comprehensive Evaluations for LLM-as-a-Judge [90.8674158031845]
提案するクラウド・ベース・コンピレーション・アセスメントは,提案するクラウド・レスポンスを,候補の応答と比較するための追加のクラウド・レスポンスを導入する。
このプロセスはLLM-as-a-Judgeを効果的に誘導し、より詳細なCoT判定を提供する。
提案手法は, 高い品質のCoTを製造し, 蒸留を判断し, 拒絶サンプリングにおいて優れた性能を示す。
論文 参考訳（メタデータ） (2025-02-18T03:31:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。