論文の概要: When Judges Agree and Are Wrong: Consistency-Accuracy Dissociation as a Blind Spot for Label-Free Evaluation

• arxiv url: http://arxiv.org/abs/2610.21128v1
• Date: Thu, 15 Oct 2026 02:33:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.139281
• Title: When Judges Agree and Are Wrong: Consistency-Accuracy Dissociation as a Blind Spot for Label-Free Evaluation
• Title（参考訳）: 判決が下され、誤っているとき--無ラベル評価のための盲点としての一貫性-正確解離
• Abstract要約: 我々は、一貫性が真正性のためのプロキシとして機能しているという暗黙の仮定を、ゼロトラストラベルが利用できない、あるいは入手にコストがかかる場合にテストする。 60%の誤った回答が、高一貫性領域に落ちていることがわかりました。 この現象は, 整合性しきい値tの選択に頑健であることを示す。
• 参考スコア（独自算出の注目度）: 5.738283815807151
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Label-free evaluation methods, such as self-consistency filtering, majority-vote aggregation, and agreement-based reliability scoring, rely on an implicit assumption that consistency can serve as a proxy for correctness when ground-truth labels are unavailable or expensive to obtain. In this paper, we test this assumption directly. Using four financial QA datasets (multiple-choice and free-form), ten consistency dimensions, and two frontier model families, we measure the joint distribution of consistency and accuracy at the level of individual examples rather than in aggregate. We find that 60% of all incorrect answers fall in the high-consistency region (consistency $\geq$ 0.8), and that 77.7% of these show complete answer collapse, i.e. identical wrong answers across all perturbation variants. This high-consistency/incorrect quadrant cannot be detected by any evaluation signal that is built on agreement alone, as the model appears maximally reliable while being wrong. We show that the phenomenon is robust to the choice of consistency threshold t (it persists from t=0.50 to t=1.00), is shared across model families, and is concentrated in specific intersections of perturbation dimension and domain. We map where this quadrant occurs, analyze its stability properties, and discuss the implications for evaluation pipelines that use agreement-based signals in place of human labels.
• Abstract（参考訳）: 自己整合性フィルタリング(英語版)、多数投票集約(英語版)、および合意に基づく信頼性スコアリング(英語版)のようなラベルのない評価手法は、基調ラベルが入手できない場合、一貫性が正しさのプロキシとなるという暗黙の仮定に依存している。 本稿では,この仮定を直接検証する。 4つの財務QAデータセット(複数選択と自由形式)、10つの整合性次元、2つのフロンティアモデルファミリーを用いて、集約ではなく個々の例のレベルでの整合性と精度の連成分布を測定した。 我々は、すべての不正確な答えの60%が高一貫性領域(一貫性$\geq$0.8)に該当し、そのうち77.7%が完全な解解の崩壊、すなわち全ての摂動不変量にまたがる間違った解であることを示した。 この高整合性/不整合性クオートは、モデルが間違っている間に最大限に信頼性があるように見えるため、合意のみに基づいて構築された評価信号では検出できない。 この現象は(t=0.50 から t=1.00 まで続く)整合しきい値 t の選択に頑健であり、モデル族間で共有され、摂動次元と領域の特定の交叉に集中していることを示す。 この二次構造がどこで起こるのかを地図化し、その安定性特性を分析し、人間のラベルの代わりに合意に基づく信号を使用する評価パイプラインについて考察する。

関連論文リスト

• Truth for Believable AI: Expressed Doubt, Provenance, and Belief Revision as an Engineerable Stance [0.0]
  定型言語モデル上での動作層として,不確実性,先入観を意識したアサーション,明示的信念のリビジョンを実装できるかどうかを検証した。 合成モデルとQwen2.5-0.5B-インストラクタを用いて,機械的に評価したマルチセッションベンチマークを用いて評価を行った。
  論文  参考訳（メタデータ） (2026-09-22T11:34:53Z)
• Semiparametric Inference for Conditional Shapley Feature Importance [0.0]
  本稿では, 条件定式化について検討し, その実条件分布の下で, 対数外特徴を積分する。 そこで本研究では, K-fold cross-fitting とU-statistic correct of the squared loss intervalを提案する。 ピンスカー型境界は、作業コプラクラスを誤って特定するバイアスを定量化し、ワインコプラは条件付きサンプリングが可能である。
  論文  参考訳（メタデータ） (2026-09-09T15:19:24Z)
• When LLMs Agree, Are They Right? Auditing Self-Consistency and Cross-Model Agreement as Confidence Signals [0.0]
  LLM-as-judgeは、企業パイプラインでAIシステムを評価する上で、ますますデフォルトになっている。 判断者間の整合性、あるいはモデル自身のサンプルが正当性を示していることを示す。 大規模なクロスランナー研究において、合意がいつ有用なプロキシであるかを問う。
  論文  参考訳（メタデータ） (2026-07-09T02:46:51Z)
• What Accuracy and Gradient Cosine Miss: Evaluating Feedback Alignment via Scale Stability, Reference Validity, and Depth Utility [48.10132234701036]
  本稿では,3つのチェック(スケール安定性,参照妥当性,深度ユーティリティ)に基づく診断評価プロトコルを提案する。 複数のアーキテクチャや手法にまたがって、我々のプロトコルは広い校正マージンを持つ全ての障害を識別する。
  論文  参考訳（メタデータ） (2026-06-19T06:04:17Z)
• Pause and Reflect: Conformal Aggregation for Chain-of-Thought Reasoning [8.024041325202612]
  自己整合性を考慮した思考の連鎖(CoT)推論は、複数のサンプル推論パスを集約することで性能を向上させる。 集約不確実性に直接対処するCoT推論のコンフォメーション手順を導入する。 提案手法は,多数決を推理経路よりも重み付けしたスコアアグリゲーションに置き換え,共形リスク制御を用いた棄権規則を校正する。
  論文  参考訳（メタデータ） (2026-05-13T20:33:59Z)
• CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
  隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
  論文  参考訳（メタデータ） (2025-10-02T02:14:33Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• Breaking the Spurious Causality of Conditional Generation via Fairness Intervention with Corrective Sampling [77.15766509677348]
  条件生成モデルは、トレーニングデータセットから急激な相関を継承することが多い。 これは別の潜在属性に対して不均衡なラベル条件分布をもたらす。 この問題を緩和するための一般的な2段階戦略を提案する。
  論文  参考訳（メタデータ） (2022-12-05T08:09:33Z)
• Exploiting Sample Uncertainty for Domain Adaptive Person Re-Identification [137.9939571408506]
  各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。 不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
  論文  参考訳（メタデータ） (2020-12-16T04:09:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。