論文の概要: Unpacking Human Preference for LLMs: Demographically Aware Evaluation with the HUMAINE Framework

• arxiv url: http://arxiv.org/abs/2603.04409v1
• Date: Tue, 03 Feb 2026 09:51:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 01:20:08.186032
• Title: Unpacking Human Preference for LLMs: Demographically Aware Evaluation with the HUMAINE Framework
• Title（参考訳）: LLMのための人間の選好を解き放つ:HUMAINEフレームワークによる実証的評価
• Authors: Nora Petrova, Andrew Gordon, Enzo Blindow,
• Abstract要約: HUMAINEは人間とAIの相互作用を多次元、人口統計学的に把握するフレームワークである。 我々は5つの人間中心次元にわたる28の最先端モデルを評価する。
• 参考スコア（独自算出の注目度）: 0.31497178896386996
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The evaluation of large language models faces significant challenges. Technical benchmarks often lack real-world relevance, while existing human preference evaluations suffer from unrepresentative sampling, superficial assessment depth, and single-metric reductionism. To address these issues, we introduce HUMAINE, a framework for multidimensional, demographically aware measurement of human-AI interaction. We collected multi-turn, naturalistic conversations from 23,404 participants that were stratified across 22 demographic groups, both in the US and UK, to evaluate 28 state-of-the-art models across five human-centric dimensions. We use a hierarchical Bayesian Bradley-Terry-Davidson (BTD) model, with post-stratification to census data, and our analysis reveals three key insights. \textbf{(1)} We establish a clear performance hierarchy where \texttt{google/gemini-2.5-pro} ranks first overall, with a 95.6\% posterior probability of being the top-ranked model. \textbf{(2)} We uncover significant preference heterogeneity, with user age emerging as the primary demographic axis of disagreement; a model's perceived rank can shift substantially across age groups, exposing failures in generalisation that unrepresentative samples typically mask. \textbf{(3)} We quantify the vast difference in discriminative power across evaluation dimensions, with ambiguous qualities like \textit{Trust, Ethics \& Safety} showing a 65\% tie rate, in stark contrast to the decisive 10\% tie rate for \textit{Overall Winner}. Our work emphasises the need for a more multidimensional, demographically aware perspective in LLM evaluation. We release our complete dataset, interactive leaderboard, and open-source framework.
• Abstract（参考訳）: 大規模言語モデルの評価は重大な課題に直面している。 従来の人間の嗜好評価は、非表現的なサンプリング、表面的な評価深度、シングルメトリック還元主義に悩まされている。 これらの課題に対処するため,人間とAIの相互作用を多次元・人口統計学的に把握するフレームワークであるHUMAINEを紹介した。 23,404人の被験者から、米国と英国の両方の22の人口集団にまたがって、多ターンで自然主義的な会話を収集し、5つの人間中心の次元で28の最先端モデルを評価した。 我々は階層的なベイズ・ブラッドリー・テリー・ダビッドソン(BTD)モデルを用いて、国勢調査データへのポストストラテフィケーションを行い、分析によって3つの重要な知見が明らかになった。 \textbf{(1)} \texttt{google/gemini-2.5-pro} が上位モデルとなる確率 95.6\% で、パフォーマンス階層を確立します。 モデルが知覚するランクは、年齢グループ間で大きく変化し、非表現的なサンプルが一般的にマスクしているという一般化の失敗が露呈する。 \textbf{(3)} 評価次元間での識別力の大きな差を定量化し, 65 %の相関率を示す「textit{Trust, Ethics \& Safety}」のような不明瞭な性質を, 「textit{Overall Winner}」における決定的な10 %の相関率と対比した。 我々の研究は、LLM評価において、より多次元、人口統計学的に認識された視点の必要性を強調している。 完全なデータセット、インタラクティブなリーダボード、オープンソースのフレームワークをリリースしています。

関連論文リスト

• Beyond Marginal Distributions: A Framework to Evaluate the Representativeness of Demographic-Aligned LLMs [13.630995219491972]
  本稿では,アライメントモデルの代表性を評価するためのフレームワークを提案する。 2つのモデルステアリング手法を比較し,評価手法の価値を示す。 私たちは、代表性は価値アライメントの別の側面である、と結論付けます。
  論文  参考訳（メタデータ） (2026-01-22T08:45:55Z)
• Human-MME: A Holistic Evaluation Benchmark for Human-Centric Multimodal Large Language Models [118.44328586173556]
  MLLM(Multimodal Large Language Models)は視覚的理解タスクにおいて大きな進歩を見せている。 Human-MMEは、人間中心のシーン理解におけるMLLMのより総合的な評価を提供するために設計された、キュレートされたベンチマークである。 我々のベンチマークは、単一対象の理解を多対多の相互理解に拡張する。
  論文  参考訳（メタデータ） (2025-09-30T12:20:57Z)
• AesBiasBench: Evaluating Bias and Alignment in Multimodal Language Models for Personalized Image Aesthetic Assessment [29.2617518199559]
  AesBiasBenchは、MLLM(Multimodal Large Language Models)を評価するために設計されたベンチマークである。 結果は、より小さなモデルはより強いステレオタイプバイアスを示し、大きなモデルはより人間の好みとより密接に一致していることを示している。 これらの知見は、主観的視覚言語課題におけるアイデンティティ・アウェア・アセスメント・フレームワークの重要性を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-09-15T06:25:39Z)
• Human Cognitive Benchmarks Reveal Foundational Visual Gaps in MLLMs [65.93003087656754]
  VisFactorは、よく確立された認知心理学評価から20の視覚中心のサブテストをデジタル化するベンチマークである。 GPT、Gemini、Claude、LLaMA、Qwen、SEEDファミリーから20のフロンティアマルチモーダル言語モデル(MLLM)を評価する。 最高のパフォーマンスモデルは100点中25.19点のスコアしか得られず、精神的な回転、空間的関係推論、図形の識別といったタスクに一貫して失敗する。
  論文  参考訳（メタデータ） (2025-02-23T04:21:32Z)
• Assessment of Multimodal Large Language Models in Alignment with Human Values [43.023052912326314]
  提案するCh3Efは,Ch3Ef,Ch3Ef,Ch3Ef,Ch3Ef,Ch3Ef,Ch3Ef。 Ch3Efデータセットには、hhh原則に基づいた12のドメインと46のタスクを含む、1002人の注釈付きデータサンプルが含まれている。
  論文  参考訳（メタデータ） (2024-03-26T16:10:21Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。