論文の概要: How Many Humans Is a Judge Panel Worth?

• arxiv url: http://arxiv.org/abs/2609.21277v1
• Date: Fri, 18 Sep 2026 03:43:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.84866
• Title: How Many Humans Is a Judge Panel Worth?
• Title（参考訳）: 審査員は何人の人間か?
• Abstract要約: 実験的な人間のラベル分布に対して分類学的判断パネルを監査する。 正規化残留グラム行列の参加率をマッチングすることによりスペクトル残差の多様性を測定する。 実現可能なハードラベルパネルは、スペクトルの多様性が大きいと分布の回復が悪化することを示している。
• 参考スコア（独自算出の注目度）: 3.842523259301338
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How many human judgments does a panel of language models represent? The answer depends on what is matched. We audit categorical judge panels against empirical human label distributions, retaining disagreement that binary errors relative to one gold label collapse. We measure spectral residual diversity by matching the participation ratio of a normalized residual Gram matrix to conditionally independent human-reference draws, giving nu_H. We separately match distributional squared error, giving nu_MSE. Across three ChaosNLI tasks, the same 32-judge panels have nu_H=4.24--6.50 but nu_MSE=2.30--3.75. A spectral identity separates the eigenvalues, member energies, and averaging-direction weights that determine error. Realizable hard-label panels show that greater spectral diversity can accompany worse distribution recovery even with equal member energies and nonnegative correlations. In the observed panels, within-size ranking agreement varies sharply by task; some member additions produce conflicting changes that persist across two item halves. The consensus-direction share of centered residual variance is gamma_co=43.8% on MNLI-m and 33.7% on SNLI, quantifying shared variation retained by averaging. We provide aligned votes and analysis protocols for auditing these distinctions. Effective size is therefore a target-specific measurement: spectral diversity and distribution recovery should not be treated as interchangeable measures of panel quality or as general human-replacement rates.
• Abstract（参考訳）: 言語モデルのパネルは、どれくらいの人間の判断を表していますか? 答えは一致したものによって異なる。 我々は,経験的ラベル分布に対するカテゴリー的判断パネルを監査し,金ラベルの崩壊に対する二項誤差の相違を継続する。 正規化された残留グラム行列の参加率と条件に依存しない人物参照ドローとを一致させてスペクトル残差を計測し、nu_Hを与える。 分布二乗誤差を別々にマッチングし、nu_MSEを与える。 3つのChaosNLIタスクの中で、同じ32ジャッジパネルはnu_H=4.24--6.50であるが、nu_MSE=2.30--3.75である。 スペクトルアイデンティティは、誤差を決定する固有値、メンバーエネルギー、平均方向重みを分離する。 実現可能なハードラベルパネルは、均等なメンバーエネルギーと非負の相関があっても、スペクトルの多様性が大きいと分布の回復が悪化することを示している。 観察されたパネルでは、内部のランク付け合意はタスクによって大きく異なり、いくつかのメンバーの追加は、2つの項目半々に持続する矛盾する変化をもたらす。 MNLI-mではγ_co=43.8%、SNLIでは33.7%であり、平均して保持される共有変動を定量化している。 我々は、これらの区別を監査するために、一致した投票と分析プロトコルを提供する。 スペクトルの多様性と分布の回復は、パネル品質の交換可能な尺度として扱われるべきではない。

関連論文リスト

• A Judge Should Know What Changed:Construct Validity for LLM-as-a-Judge Evaluation [14.867869624585886]
  評価器の構成妥当性を2次元プロファイルとして定式化する。 S と R は独立であり、スカラーの要約がすべての関連する比較を保存することはないことを示す。 これらの結果から, 評価対象構造の変化に対して, 高判定基準は弱い感度で共存できることが示唆された。
  論文  参考訳（メタデータ） (2026-08-25T11:32:54Z)
• Blind to the Pivotal Vote: Aggregate Independence Metrics Miss Where Verification Actually Helps [9.710464466895521]
  多数派の置換規則は、クエリの16.2%でシグナルを呼び出しながら、全体的な精度を82.44%から85.62%に向上させる。 HumanEval+/MBPP+では、16.2%のクエリでシグナルを呼び出しながら、多数派の置換規則が全体の精度を82.44%から85.62%に引き上げている。
  論文  参考訳（メタデータ） (2026-08-07T08:14:46Z)
• Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
  Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。 ラベルを適用すれば依存性認定正当性(D-CC)が得られる 4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
  論文  参考訳（メタデータ） (2026-07-29T15:55:31Z)
• Are Diversity Metrics Measuring Diversity? A Capability-Controlled Audit of Majority-Vote Gain in LLM Ensembles [19.651323641444726]
  5つの多様性対策が、最良メンバーに対する多数票獲得の予測因子として、追跡しているか、あるいは主に再表現能力を示すのかを問う。 オラクルゲインはサブセットの100%で陽性であるが、単純な投票では全標準サイズ3サブセットの9.98%で最強の会員に勝っている。 独立した予測器としての厳密な多様性、不一致、ダブルフォールトは、建設によってランク不足する。
  論文  参考訳（メタデータ） (2026-07-22T22:34:57Z)
• A Shared Latent for Partially-Labeled Multi-Task Facial Affect Recognition [9.736740880077823]
  部分的にラベル付けされたマルチタスク学習は、共有された影響の潜伏者に対する疎外化であることを示す。 s-Aff-Wild2では、フレームのわずか37%が3つのラベル全てを担っているが、これらのクラスは極めて不均衡である。 各タスクのソースが評価分割で選択されると、組み立て結果が報告される。
  論文  参考訳（メタデータ） (2026-07-11T04:55:12Z)
• Nine Judges, Two Effective Votes: Correlated Errors Undermine LLM Evaluation Panels [0.0]
  LLM-as-a-judgeパネルは複数のモデルからの投票を集計する。 私たちは、その信頼性が独立投票の理想にどの程度劣るかを定量化します。
  論文  参考訳（メタデータ） (2026-05-28T11:48:17Z)
• Mitigating Subgroup Disparities in Multi-Label Speech Emotion Recognition: A Pseudo-Labeling and Unsupervised Learning Approach [53.824673312331626]
  Implicit Demography Inference (IDI)モジュールは、k平均クラスタリングを用いて、音声感情認識(SER)におけるバイアスを軽減する 実験により、擬似ラベルIDIはサブグループの格差を減らし、フェアネスの指標を28%以上改善することが示された。 教師なしのIDIは、SERのパフォーマンスが3.6%未満のフェアネス指標を4.6%以上改善する。
  論文  参考訳（メタデータ） (2025-05-20T14:50:44Z)
• Retiring $\Delta$DP: New Distribution-Level Metrics for Demographic Parity [47.78843764957511]
  デルタDP$のフェアネス指標は、人口格差の違反を正確に測定することはできない。 確率密度関数曲線(ABPC)と累積密度関数曲線(ABCC)の2つの新しいフェアネス指標を提案する。 提案手法では, ABCC/ABPCがゼロ値であること, ABCC/ABPCがゼロ値であること, ABCC/ABPCが階層パリティを保証し, 分類しきい値の調整を行う。
  論文  参考訳（メタデータ） (2023-01-31T06:43:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。