論文の概要: Measuring Human and AI Values based on Generative Psychometrics with Large Language Models
- arxiv url: http://arxiv.org/abs/2409.12106v1
- Date: Wed, 18 Sep 2024 16:26:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-19 16:45:43.727003
- Title: Measuring Human and AI Values based on Generative Psychometrics with Large Language Models
- Title（参考訳）: 大規模言語モデルを用いた生成心理学に基づく人間とAIの価値の測定
- Authors: Haoran Ye, Yuhang Xie, Yuanyi Ren, Hanjun Fang, Xin Zhang, Guojie Song,
- Abstract要約: AIの最近の進歩で、大きな言語モデル(LLM)が、価値測定のツールと主題の両方として登場した。
この研究は、データ駆動価値測定パラダイムであるGPV(Generative Psychometrics for Values)を紹介している。
- 参考スコア（独自算出の注目度）: 13.795641564238434
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Human values and their measurement are long-standing interdisciplinary inquiry. Recent advances in AI have sparked renewed interest in this area, with large language models (LLMs) emerging as both tools and subjects of value measurement. This work introduces Generative Psychometrics for Values (GPV), an LLM-based, data-driven value measurement paradigm, theoretically grounded in text-revealed selective perceptions. We begin by fine-tuning an LLM for accurate perception-level value measurement and verifying the capability of LLMs to parse texts into perceptions, forming the core of the GPV pipeline. Applying GPV to human-authored blogs, we demonstrate its stability, validity, and superiority over prior psychological tools. Then, extending GPV to LLM value measurement, we advance the current art with 1) a psychometric methodology that measures LLM values based on their scalable and free-form outputs, enabling context-specific measurement; 2) a comparative analysis of measurement paradigms, indicating response biases of prior methods; and 3) an attempt to bridge LLM values and their safety, revealing the predictive power of different value systems and the impacts of various values on LLM safety. Through interdisciplinary efforts, we aim to leverage AI for next-generation psychometrics and psychometrics for value-aligned AI.
- Abstract（参考訳）: 人間の価値観とその測定は、長年にわたる学際的な調査である。
AIの最近の進歩は、この領域に新たな関心を喚起し、大きな言語モデル(LLM)がツールと価値測定の対象の両方として登場した。
この研究は、LLMに基づくデータ駆動価値測定パラダイムであるGPV(Generative Psychometrics for Values)を導入する。
まず,LLMを精密な知覚レベルの値測定のために微調整し,LLMがテキストを認識に解析し,GPVパイプラインのコアを形成する能力を検証することから始める。
GPVを人間によるブログに適用することにより、従来の心理学的ツールよりも安定性、妥当性、優越性を実証する。
そして、GPVをLLM値測定に拡張し、現在の技術を前進させる。
1) スケーラブルで自由な出力に基づいてLCM値を計測し、文脈特異的な測定を可能にする心理学的方法論。
2)先行手法の応答バイアスを示す測定パラダイムの比較分析,及び
3) LLM の価値と安全性を橋渡しし, 異なる価値体系の予測力と, 様々な価値が LLM の安全性に与える影響を明らかにする。
学際的な取り組みを通じて、我々は、AIを次世代の心理測定や、価値に整合したAIの心理測定に活用することを目指している。
関連論文リスト
- Bridging the Evaluation Gap: Leveraging Large Language Models for Topic Model Evaluation [0.0]
本研究では,Large Language Models (LLMs) を用いた科学文献における動的に進化するトピックの自動評価のための枠組みを提案する。
提案手法は,専門家のアノテータや狭義の統計指標に大きく依存することなく,コヒーレンス,反復性,多様性,トピック文書のアライメントといった重要な品質次元を測定するためにLLMを利用する。
論文 参考訳（メタデータ） (2025-02-11T08:23:56Z) - Generative Psycho-Lexical Approach for Constructing Value Systems in Large Language Models [13.513813405118478]
大規模言語モデル(LLM)は、その本質的な価値に関する懸念を提起している。
本研究は、生成心理学的アプローチ(GPLA)の導入によるギャップに対処する。
LLMに適した心理学的基礎を持つ5要素値システムを提案する。
論文 参考訳（メタデータ） (2025-02-04T16:10:55Z) - Value Compass Leaderboard: A Platform for Fundamental and Validated Evaluation of LLMs Values [76.70893269183684]
大きな言語モデル(LLM)は目覚ましいブレークスルーを達成し、その価値を人間と一致させることが必須になっている。
既存の評価は、バイアスや毒性といった安全性のリスクに焦点を絞っている。
既存のベンチマークはデータ汚染の傾向があります。
個人や文化にまたがる人的価値の多元的性質は、LLM値アライメントの測定において無視される。
論文 参考訳（メタデータ） (2025-01-13T05:53:56Z) - Evaluating Generative AI Systems is a Social Science Measurement Challenge [78.35388859345056]
我々は,GenAIシステムの能力,影響,機会,リスクに関連する概念を測定するための枠組みを提案する。
このフレームワークは、背景概念、体系化された概念、測定器、インスタンスレベルの測定そのものの4つのレベルを区別する。
論文 参考訳（メタデータ） (2024-11-17T02:35:30Z) - Beyond Human Norms: Unveiling Unique Values of Large Language Models through Interdisciplinary Approaches [69.73783026870998]
本研究では,大言語モデルの固有値システムをスクラッチから再構築する新しいフレームワークであるValueLexを提案する。
語彙仮説に基づいて、ValueLexは30以上のLLMから様々な値を引き出すための生成的アプローチを導入している。
我々は,3つのコア値次元,能力,キャラクタ,積分をそれぞれ特定の部分次元で同定し,LLMが非人間的だが構造化された価値体系を持っていることを明らかにした。
論文 参考訳（メタデータ） (2024-04-19T09:44:51Z) - Characterizing Truthfulness in Large Language Model Generations with
Local Intrinsic Dimension [63.330262740414646]
大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。
モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
論文 参考訳（メタデータ） (2024-02-28T04:56:21Z) - Inadequacies of Large Language Model Benchmarks in the Era of Generative Artificial Intelligence [5.147767778946168]
我々は、23の最先端のLarge Language Models (LLMs)ベンチマークを批判的に評価する。
私たちの研究は、バイアス、真の推論、適応性、実装の不整合、エンジニアリングの複雑さ、多様性、文化的およびイデオロギー規範の見落としなど、重大な制限を明らかにしました。
論文 参考訳（メタデータ） (2024-02-15T11:08:10Z) - From Static Benchmarks to Adaptive Testing: Psychometrics in AI Evaluation [60.14902811624433]
本稿では,静的評価手法から適応テストへのパラダイムシフトについて論じる。
これには、ベンチマークで各テスト項目の特性と価値を推定し、リアルタイムでアイテムを動的に調整することが含まれる。
我々は、AI評価にサイコメトリックを採用する現在のアプローチ、アドバンテージ、そして根底にある理由を分析します。
論文 参考訳（メタデータ） (2023-06-18T09:54:33Z) - Heterogeneous Value Alignment Evaluation for Large Language Models [91.96728871418]
大規模言語モデル(LLM)は、その価値を人間のものと整合させることを重要視している。
本研究では,LLMと不均一値の整合性を評価するため,不均一値アライメント評価(HVAE)システムを提案する。
論文 参考訳（メタデータ） (2023-05-26T02:34:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。