論文の概要: Dimensionality and Measurement Precision in HLE's Multiple-Choice Subset
- arxiv url: http://arxiv.org/abs/2607.27420v1
- Date: Wed, 29 Jul 2026 19:42:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-31 21:37:00.316869
- Title: Dimensionality and Measurement Precision in HLE's Multiple-Choice Subset
- Title（参考訳）: HLE多重正弦波サブセットの次元性と測定精度
- Abstract要約: HumanityのLast Exam (HLE)はフロンティア言語モデルを評価するために広く使われている。
サブスコアが経験的に分離可能な潜在構造に対応するかどうかを評価できない。
我々は,ベンチマークの次元と測定精度の分布を評価するために心理測定手法を適用した。
- 参考スコア（独自算出の注目度）: 2.62537179009191
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Humanity's Last Exam (HLE) is widely used to evaluate frontier language models. HLE organizes its questions into eight subject-domain categories, whose subscores are often interpreted as evidence of distinct capabilities. However, no study has assessed whether these labels correspond to empirically separable latent constructs, nor whether the benchmark effectively differentiates between models of similar ability. We evaluate 29 LLMs on the text-only multiple-choice subset of HLE ($J = 428$ items) and apply psychometric methods to assess both the dimensionality of the benchmark and the distribution of its measurement precision. Fitting a two-parameter logistic IRT model, we find convergent evidence that HLE measures a single general reasoning factor: McDonald's $ω_h = 0.998$, domain labels explain only 3.5\% of item response variance, within- and between-domain residual correlations are nearly identical (Cohen's $d = 0.016$), and domain-specific ability estimates are near-redundant with the total score ($r \geq 0.81$). A separate analysis of the test information function reveals that measurement precision concentrates at moderate ability levels and drops sharply above $θ= 0$, where frontier models sit. These findings suggest that HLE's domain subscores do not warrant distinct capability interpretations and that the benchmark's ability to discriminate among the strongest models is limited.
- Abstract（参考訳）: HumanityのLast Exam (HLE)はフロンティア言語モデルを評価するために広く使われている。
HLEは、質問を8つの主題ドメインカテゴリに分類し、そのサブスコアは、しばしば異なる能力の証拠として解釈される。
しかしながら、これらのラベルが経験的に分離可能な潜在構造に対応しているかどうか、あるいはベンチマークが類似能力のモデル間で効果的に差別化されているかどうかは評価されていない。
我々は,テキストのみのHLE(J = 428$ item)の多重選択部分集合上で29個のLCMを評価し,ベンチマークの寸法と測定精度の分布を評価するために心理測定手法を適用した。
マクドナルドの$ω_h = 0.998$、ドメインラベルはアイテム応答のばらつきの3.5\%しか説明せず、内部および領域間の相対相関はほぼ同じである(コーエンの$d = 0.016$)。
テスト情報関数を別々に分析した結果、測定精度は適度な能力レベルに集中し、フロンティアモデルが座る$θ=0$より急激に低下することが明らかとなった。
これらの結果は、HLEのドメインサブスコアは、明確な能力解釈を保証せず、ベンチマークが最強のモデル間で識別する能力は制限されていることを示唆している。
関連論文リスト
- Sobolev Regularized Score Difference Estimation in Diffusion Models [3.8546389874826947]
2つのスタインのスコア関数の違いを推定することは、生成的モデリングにおける根本的な問題である。
本稿では,ソボレフ正規化に基づくスコア差に対する統計的に一貫したスケーラブルな推定器を提案する。
我々は、ECG信号生成のための伝達学習を含む実世界のタスクにおいて、その効果を実証する。
論文 参考訳（メタデータ） (2026-08-18T18:23:30Z) - Beyond Value Benchmarks: Measuring Value-Structure Alignment in Large Language Models via Symmetric Q-Sorts [47.02978329409663]
そこで本研究では,Q手法に基づく対称型人間-LLM評価フレームワークを提案する。
私たちのプロトコルでは、人間とモデルは同一の140項目の道徳的ステートメントを、共有された9カラムの強制分布に分類します。
240個の複製されたQ-sortを2つの温度設定で4つのモデルファミリーにまたがる12個のLLMを評価した。
論文 参考訳（メタデータ） (2026-06-20T08:15:41Z) - Efficient Detection of Bad Benchmark Items with Novel Scalability Coefficients [3.058685580689604]
異方性回帰に基づく非パラメトリックな拡張係数の新たなファミリを導入する。
中心的な寄与は符号付きイソトニック$R2$であり、これは説明可能な1つの項目における分散の最大比率を測定する。
符号付き等方性$R2$は単調予測器の中で極端であることを示す。
論文 参考訳（メタデータ） (2026-03-26T03:47:49Z) - HLE-Verified: A Systematic Verification and Structured Revision of Humanity's Last Exam [63.84155758655084]
HumanityのLast Exam (HLE)は、フロンティアの大規模言語モデルを評価するために広く使われているベンチマークである。
HLE-Verifiedは,透過的検証プロトコルときめ細かい誤り分類法を備えたHLEの検証および改訂版である。
我々は,HLEとHLE-Verifiedの7つの最先端言語モデルを評価し,平均7～10ポイントの絶対精度を観測した。
論文 参考訳（メタデータ） (2026-02-15T02:50:15Z) - Almost Asymptotically Optimal Active Clustering Through Pairwise Observations [59.20614082241528]
そこで本研究では, ノイズと能動的に収集された応答を用いて, M$アイテムを未知数の$K$個別グループにクラスタリングするための新しい分析フレームワークを提案する。
クラスタリングの精度に対する望ましい信頼性を達成するのに必要なクエリ数の基本的下位境界を確立する。
我々は、一般化された同値比統計の計算可能な変種を開発し、その下限に対する性能ギャップを正確に推定できることを実証的に示す。
論文 参考訳（メタデータ） (2026-02-05T14:16:47Z) - From Global to Granular: Revealing IQA Model Performance via Correlation Surface [83.65597122328133]
我々は, IQA 性能の構造化, きめ細かな解析を行う textbfGranularity-Modulated correlation (GMC) を提案する。
GMCにはtextbfDistribution Regulatorが含まれており、相関関係を規則化し、非均一な品質分布からのバイアスを軽減する。
標準ベンチマークの実験では、GCCはスカラーメトリクスに見えないパフォーマンス特性を示し、IQAモデルを分析、比較、デプロイするためのより情報に富んだ信頼性の高いパラダイムを提供する。
論文 参考訳（メタデータ） (2026-01-29T13:55:26Z) - Size-adaptive Hypothesis Testing for Fairness [8.315080617799445]
我々は、公正性評価を証拠に基づく統計的決定に変換する統一的、サイズ適応的、仮説テストフレームワークを導入する。
統計的パリティ差に対して中央限の結果が証明され、解析的信頼区間と、タイプI(偽陽性)エラーがレベル$alpha$で保証されるウォルド試験が導かれる。
小さな交叉群の長い尾に対して、完全ベイズ的ディリクレ・マルチノミカル推定器を導出する。
論文 参考訳（メタデータ） (2025-06-12T11:22:09Z) - Ranked from Within: Ranking Large Multimodal Models Without Labels [73.96543593298426]
ソフトマックス分布から導かれる不確実性スコアは,様々なタスクにまたがるランキングモデルに対して,ロバストな基礎となることを示す。
これにより、ラベルのないデータに対するLMMのランク付けが容易になり、手動のアノテーションを必要とせずに、多様なターゲットドメインのモデルを選択するための実践的なアプローチを提供する。
論文 参考訳（メタデータ） (2024-12-09T13:05:43Z) - Uncertainty in Language Models: Assessment through Rank-Calibration [65.10149293133846]
言語モデル(LM)は、自然言語生成において有望な性能を示している。
与えられた入力に応答する際の不確実性を正確に定量化することは重要である。
我々は、LMの確実性と信頼性を評価するために、Rank$-$Calibration$と呼ばれる斬新で実用的なフレームワークを開発する。
論文 参考訳（メタデータ） (2024-04-04T02:31:05Z) - Analysis of Diagnostics (Part I): Prevalence, Uncertainty Quantification, and Machine Learning [0.0]
この写本は、分類理論と有病率のより深い関係を研究する二部作の最初のものである。
そこで本稿では,有病率重み付き経験誤差を最小化することにより,Bstar (q)$を推定する数値ホモトピーアルゴリズムを提案する。
合成データとSARS-CoV-2酵素結合免疫測定法(ELISA)を用いて本法の有効性を検証した。
論文 参考訳（メタデータ） (2023-08-30T13:26:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。