論文の概要: Value Portrait: Assessing Language Models' Values through Psychometrically and Ecologically Valid Items

• arxiv url: http://arxiv.org/abs/2505.01015v3
• Date: Wed, 11 Jun 2025 05:38:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-12 23:41:16.669898
• Title: Value Portrait: Assessing Language Models' Values through Psychometrically and Ecologically Valid Items
• Title（参考訳）: 価値ポートレート:心理学的および生態学的に妥当な項目を通して言語モデルの価値を評価する
• Authors: Jongwook Han, Dongmin Choi, Woojung Song, Eun-Ju Lee, Yohan Jo,
• Abstract要約: 既存のベンチマークは、価値関連のバイアスに弱い人や機械のアノテーションに依存している。 本稿では,実生活におけるユーザ-LLMインタラクションをキャプチャするアイテムからなるValue Portraitベンチマークを提案する。 この心理的に検証されたアプローチは、特定の値と強く相関したアイテムがそれらの値を評価するための信頼できるアイテムとして機能することを保証する。
• 参考スコア（独自算出の注目度）: 2.9357382494347264
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The importance of benchmarks for assessing the values of language models has been pronounced due to the growing need of more authentic, human-aligned responses. However, existing benchmarks rely on human or machine annotations that are vulnerable to value-related biases. Furthermore, the tested scenarios often diverge from real-world contexts in which models are commonly used to generate text and express values. To address these issues, we propose the Value Portrait benchmark, a reliable framework for evaluating LLMs' value orientations with two key characteristics. First, the benchmark consists of items that capture real-life user-LLM interactions, enhancing the relevance of assessment results to real-world LLM usage. Second, each item is rated by human subjects based on its similarity to their own thoughts, and correlations between these ratings and the subjects' actual value scores are derived. This psychometrically validated approach ensures that items strongly correlated with specific values serve as reliable items for assessing those values. Through evaluating 44 LLMs with our benchmark, we find that these models prioritize Benevolence, Security, and Self-Direction values while placing less emphasis on Tradition, Power, and Achievement values. Also, our analysis reveals biases in how LLMs perceive various demographic groups, deviating from real human data.
• Abstract（参考訳）: 言語モデルの価値を評価するためのベンチマークの重要性は、より真正でヒューマンアライメントな応答の必要性が高まっているため、明らかになっている。 しかし、既存のベンチマークは、価値に関するバイアスに弱い人や機械のアノテーションに依存している。 さらに、テストシナリオは、しばしば、モデルがテキストを生成し、値を表現するために一般的に使用される現実世界のコンテキストから分岐する。 これらの問題に対処するために,LLMの値方向を2つの重要な特性で評価するための信頼性の高いフレームワークであるValue Portraitベンチマークを提案する。 まず、実際のユーザ-LLMインタラクションをキャプチャする項目からなり、実世界のLLM利用との関連性を高める。 第2に、各項目は、自己の考えと類似性に基づいて、被験者によって評価され、これらの評価と被験者の実際の値スコアとの相関関係が導出される。 この心理的に検証されたアプローチは、特定の値と強く相関したアイテムがそれらの値を評価するための信頼できるアイテムとして機能することを保証する。 ベンチマークで44のLLMを評価することで、これらのモデルは、トラディション、パワー、達成の値に重点を置いている一方で、ベネヴァランス、セキュリティ、セルフディレクションの値を優先していることがわかりました。 また、本分析では、LLMが実際の人的データから逸脱して、様々な人口集団をどう知覚するかというバイアスを明らかにした。

関連論文リスト

• Meta-Evaluating Local LLMs: Rethinking Performance Metrics for Serious Games [3.725822359130832]
  大規模言語モデル (LLMs) は、真剣なゲームにおける評価指標としてますます研究されている。 本研究では,エネルギーコミュニティにおける意思決定をシミュレートするゲームであるtextitEn-join において,5つの小規模 LLM の信頼性について検討した。 その結果、各モデルの長所と短所を強調し、感度、特異性、全体的なパフォーマンスのトレードオフを明らかにした。
  論文  参考訳（メタデータ） (2025-04-13T10:46:13Z)
• Value Compass Leaderboard: A Platform for Fundamental and Validated Evaluation of LLMs Values [76.70893269183684]
  大きな言語モデル(LLM)は目覚ましいブレークスルーを達成し、その価値を人間と一致させることが必須になっている。 既存の評価は、バイアスや毒性といった安全性のリスクに焦点を絞っている。 既存のベンチマークはデータ汚染の傾向があります。 個人や文化にまたがる人的価値の多元的性質は、LLM値アライメントの測定において無視される。
  論文  参考訳（メタデータ） (2025-01-13T05:53:56Z)
• Towards Understanding the Robustness of LLM-based Evaluations under Perturbations [9.944512689015998]
  大言語モデル(LLM)は、要約やダイアログベースのタスクにおいて、非標準化メトリクスの自動評価器として機能する。 人間の判断に比較して,LLMが品質評価指標としていかに優れているかを検討するために,複数のプロンプト戦略にまたがる実験を行った。
  論文  参考訳（メタデータ） (2024-12-12T13:31:58Z)
• LocalValueBench: A Collaboratively Built and Extensible Benchmark for Evaluating Localized Value Alignment and Ethical Safety in Large Language Models [0.0]
  大規模言語モデル(LLM)の普及は、その局所的価値や倫理的基準との整合性をしっかりと評価する必要がある。 textscLocalValueBenchは、LLMがオーストラリアの値に準拠していることを評価するために設計されたベンチマークである。
  論文  参考訳（メタデータ） (2024-07-27T05:55:42Z)
• The BiGGen Bench: A Principled Benchmark for Fine-grained Evaluation of Language Models with Language Models [94.31327813151208]
  BiGGen Benchは、77のタスクにわたるLMの9つの異なる能力を徹底的に評価するために設計された、原則化された世代ベンチマークである。 BiGGen Benchの重要な特徴は、インスタンス固有の評価基準の使用であり、人間の評価のニュアンスな識別を忠実に反映している。
  論文  参考訳（メタデータ） (2024-06-09T12:30:30Z)
• VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
  LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。 既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。 対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
  論文  参考訳（メタデータ） (2024-04-22T04:49:22Z)
• LLMs as Narcissistic Evaluators: When Ego Inflates Evaluation Scores [23.568883428947494]
  本研究は,LMに基づく評価指標が,要約タスクの文脈において,それぞれの基盤となるLMに対して有利なバイアスを示すかどうかを考察する。 以上の結果から, 金のサマリーを活用せずに, 基準のない手法で評価指標を用いた場合, 特に有意なバイアスがみられた。 これらの結果は、生成的評価モデルによって提供される評価は、本質的なテキスト品質を超える要因に影響される可能性があることを裏付けている。
  論文  参考訳（メタデータ） (2023-11-16T10:43:26Z)
• FLASK: Fine-grained Language Model Evaluation based on Alignment Skill Sets [69.91340332545094]
  FLASKは、人間に基づく評価とモデルに基づく評価の両方のためのきめ細かい評価プロトコルである。 モデル性能の全体像を得るためには,評価の微粒化が重要であることを実験的に観察する。
  論文  参考訳（メタデータ） (2023-07-20T14:56:35Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)
• Heterogeneous Value Alignment Evaluation for Large Language Models [91.96728871418]
  大規模言語モデル(LLM)は、その価値を人間のものと整合させることを重要視している。 本研究では,LLMと不均一値の整合性を評価するため,不均一値アライメント評価(HVAE)システムを提案する。
  論文  参考訳（メタデータ） (2023-05-26T02:34:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。