論文の概要: Measuring How LLMs Internalize Human Psychological Concepts: A preliminary analysis

• arxiv url: http://arxiv.org/abs/2506.23055v1
• Date: Sun, 29 Jun 2025 01:56:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 21:27:53.693109
• Title: Measuring How LLMs Internalize Human Psychological Concepts: A preliminary analysis
• Title（参考訳）: LLMが人間の心理学的概念をいかに内包するかを測る:予備的分析
• Authors: Hiro Taiyo Hamada, Ippei Fujisawa, Genji Kawakita, Yuki Yamada,
• Abstract要約: 本研究では,大規模言語モデルと人間の心理的次元間の概念整合性を評価する枠組みを開発する。 GPT-4モデルは優れた分類精度(66.2%)を獲得し、GPT-3.5(55.9%)とBERT(48.1%)を大きく上回った。 以上の結果から,現代のLLMは人間の心理的構造を計測可能な精度で近似できることが示された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) such as ChatGPT have shown remarkable abilities in producing human-like text. However, it is unclear how accurately these models internalize concepts that shape human thought and behavior. Here, we developed a quantitative framework to assess concept alignment between LLMs and human psychological dimensions using 43 standardized psychological questionnaires, selected for their established validity in measuring distinct psychological constructs. Our method evaluates how accurately language models reconstruct and classify questionnaire items through pairwise similarity analysis. We compared resulting cluster structures with the original categorical labels using hierarchical clustering. A GPT-4 model achieved superior classification accuracy (66.2\%), significantly outperforming GPT-3.5 (55.9\%) and BERT (48.1\%), all exceeding random baseline performance (31.9\%). We also demonstrated that the estimated semantic similarity from GPT-4 is associated with Pearson's correlation coefficients of human responses in multiple psychological questionnaires. This framework provides a novel approach to evaluate the alignment of the human-LLM concept and identify potential representational biases. Our findings demonstrate that modern LLMs can approximate human psychological constructs with measurable accuracy, offering insights for developing more interpretable AI systems.
• Abstract（参考訳）: ChatGPTのような大規模言語モデル(LLM)は、人間のようなテキストを生成する際、顕著な能力を示している。 しかし、これらのモデルが人間の思考や行動を形成する概念をいかに正確に内部化するかは不明である。 そこで我々は,43の標準化された心理質問紙を用いて,LLMと人間の心理的次元の考え方の整合性を評価するための定量的枠組みを構築した。 本手法は,一対の類似性分析により,言語モデルによる質問項目の再構築と分類の精度を評価する。 得られたクラスタ構造を階層的クラスタリングを用いて,元の分類ラベルと比較した。 GPT-4モデルは優れた分類精度(66.2\%)を達成し、GPT-3.5(55.9\%)とBERT(48.1\%)を大きく上回り、いずれもランダムなベースライン性能(31.9\%)を上回った。 また, GPT-4から推定される意味的類似性は, 複数の心理調査においてピアソンの人間反応の相関係数と関連していることを示した。 このフレームワークは、人間-LLM概念のアライメントを評価し、潜在的な表現バイアスを特定するための新しいアプローチを提供する。 我々の研究は、現代のLLMが人間の心理的構造を測定可能な精度で近似し、より解釈可能なAIシステムを開発するための洞察を提供することを示した。

関連論文リスト

• Projective Psychological Assessment of Large Multimodal Models Using Thematic Apperception Tests [5.119837168333715]
  本研究では,LMM(Large Multimodal Models)の性格特性が,非言語的モダリティによって評価できるかどうかを検討する。 評価者は、TAT応答を理解し分析する優れた能力を示した。
  論文  参考訳（メタデータ） (2026-02-19T06:08:33Z)
• HUMANLLM: Benchmarking and Reinforcing LLM Anthropomorphism via Human Cognitive Patterns [59.17423586203706]
  本稿では,心理的パターンを因果力の相互作用として扱うフレームワークであるHUMANLLMを提案する。 12,000の学術論文から244のパターンを構築し、2-5のパターンが相互に強化、衝突、変調されるシナリオ11,359を合成する。 我々の二重レベルチェックリストは、個々のパターンの忠実度と創発的なマルチパターンのダイナミクスを評価し、強い人間のアライメントを達成する。
  論文  参考訳（メタデータ） (2026-01-15T08:56:53Z)
• The Catastrophic Paradox of Human Cognitive Frameworks in Large Language Model Evaluation: A Comprehensive Empirical Analysis of the CHC-LLM Incompatibility [0.0]
  平均的な人間のIQスコアを達成するモデルは、結晶化された知識タスクにおいてゼロに近づいた二分精度を同時に示す。 この切断は、結晶化されたインテリジェンス領域において最も強く現れる。 人工知能の非人間性を認識するネイティブマシン認識アセスメントを開発するための枠組みを提案する。
  論文  参考訳（メタデータ） (2025-11-23T05:49:57Z)
• From Five Dimensions to Many: Large Language Models as Precise and Interpretable Psychological Profilers [14.983442449498739]
  本研究は,人間の心理特性の相関構造を,最小の量的入力からモデル化できるかどうかについて検討する。 我々は816人の個人から、他の9つの心理的尺度でのロールプレイを行うために、ビッグファイブ・パーソナリティ・スケールの反応を持つ様々なLSMを誘導した。 LLMは人間の心理的構造を捉えるのに顕著な精度を示した。
  論文  参考訳（メタデータ） (2025-11-05T06:51:13Z)
• Large Language Model Psychometrics: A Systematic Review of Evaluation, Validation, and Enhancement [16.608577295968942]
  大規模言語モデル(LLM)の急速な進歩は、従来の評価手法よりも優れている。 心理学とは、人格、価値観、知性といった人間の心理学の無形側面を定量化する科学である。 本調査は, LLM心理学の学際分野を新たに導入し, 合成するものである。
  論文  参考訳（メタデータ） (2025-05-13T05:47:51Z)
• Comparing Human Expertise and Large Language Models Embeddings in Content Validity Assessment of Personality Tests [0.0]
  本研究では,大規模言語モデル(LLM)の心理測定器の内容妥当性評価への応用について検討する。 人間の専門的評価と高度なLCMの両方を用いて,意味的項目・構成的アライメントの精度を比較した。 その結果、人間とAIのアプローチの強みと限界が明らかになりました。
  論文  参考訳（メタデータ） (2025-03-15T10:54:35Z)
• Beyond correlation: The Impact of Human Uncertainty in Measuring the Effectiveness of Automatic Evaluation and LLM-as-a-Judge [51.93909886542317]
  一つの集計相関スコアを*参照することで、人名と自動評価の基本的な違いが曖昧になることを示す。 本研究では,評価性能のより堅牢な解析を行うために,ラベルの不確実性による階層化データを提案する。
  論文  参考訳（メタデータ） (2024-10-03T03:08:29Z)
• Assessment and manipulation of latent constructs in pre-trained language models using psychometric scales [4.805861461250903]
  本稿では,標準的な心理アンケートを自然言語推論のプロンプトに再構成する方法を示す。 我々は、88種類の公開モデルを用いて、人間のようなメンタルヘルス関連構造の存在を実証した。
  論文  参考訳（メタデータ） (2024-09-29T11:00:41Z)
• Idiographic Personality Gaussian Process for Psychological Assessment [7.394943089551214]
  本稿では,長期間にわたる議論に対処するため,ガウス過程のコリージョン化モデルに基づく新しい測定フレームワークを開発する。 本稿では,個体群間の共有形質構造と,個体群に対する「イディオグラフィー」偏差を両立する中間モデルであるIPGP(idiographic personality Gaussian process)の枠組みを提案する。
  論文  参考訳（メタデータ） (2024-07-06T06:09:04Z)
• Evaluating Large Language Models with Psychometrics [59.821829073478376]
  本稿では,Large Language Models (LLMs) の心理的構造を定量化するための総合的ベンチマークを提案する。 私たちの研究は、13のデータセットで評価された5つの重要な心理的構成要素、人格、価値観、感情的知性、心の理論、自己効力性を特定します。 LLMの自己報告特性と実際のシナリオにおける応答パターンとの間に大きな相違が発見され,その挙動の複雑さが明らかになった。
  論文  参考訳（メタデータ） (2024-06-25T16:09:08Z)
• ConSiDERS-The-Human Evaluation Framework: Rethinking Human Evaluation for Generative Large Language Models [53.00812898384698]
  生成型大規模言語モデル(LLM)の人間による評価は多分野にわたる作業であるべきだと論じる。 認知バイアスが、流動的な情報や真理をいかに説明するか、そして、認識の不確実性が、Likertのような評価スコアの信頼性にどのように影響するかを強調します。 本稿では,ConSiDERS-The-Human評価フレームワークを提案する。一貫性,スコーリング基準,差別化,ユーザエクスペリエンス,責任,スケーラビリティの6つの柱からなる。
  論文  参考訳（メタデータ） (2024-05-28T22:45:28Z)
• MR-GSM8K: A Meta-Reasoning Benchmark for Large Language Model Evaluation [60.65820977963331]
  大規模言語モデル(LLM)のための新しい評価パラダイムを導入する。 このパラダイムは、しばしば推論プロセスを無視する結果指向の評価から、より包括的な評価へと重点を移す。 GSM8Kデータセットにこのパラダイムを適用し,MR-GSM8Kベンチマークを開発した。
  論文  参考訳（メタデータ） (2023-12-28T15:49:43Z)
• PsyCoT: Psychological Questionnaire as Powerful Chain-of-Thought for Personality Detection [50.66968526809069]
  PsyCoTと呼ばれる新しい人格検出手法を提案する。これは、個人がマルチターン対話方式で心理的質問を完遂する方法を模倣するものである。 実験の結果,PsyCoTは人格検出におけるGPT-3.5の性能とロバスト性を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2023-10-31T08:23:33Z)
• Investigating Large Language Models' Perception of Emotion Using Appraisal Theory [3.0902630634005797]
  大規模言語モデル (LLM) は近年大きく進歩し、現在一般に使われている。 本研究では,評価・対処理論のレンズによる感情知覚について検討する。 SCPQ を OpenAI, davinci-003, ChatGPT, GPT-4 の3つの最近の LLM に適用し,評価理論と人体データによる予測結果と比較した。
  論文  参考訳（メタデータ） (2023-10-03T16:34:47Z)
• Learning Evaluation Models from Large Language Models for Sequence Generation [61.8421748792555]
  本稿では,大規模言語モデルを用いた3段階評価モデルトレーニング手法を提案する。 SummEval ベンチマークによる実験結果から,CSEM は人間ラベルデータなしで評価モデルを効果的に訓練できることが示された。
  論文  参考訳（メタデータ） (2023-08-08T16:41:16Z)
• Position: AI Evaluation Should Learn from How We Test Humans [65.36614996495983]
  人間の評価のための20世紀起源の理論である心理測定は、今日のAI評価における課題に対する強力な解決策になり得る、と我々は主張する。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)
• Revisiting the Reliability of Psychological Scales on Large Language Models [62.57981196992073]
  本研究の目的は,大規模言語モデルにパーソナリティアセスメントを適用することの信頼性を明らかにすることである。 GPT-3.5、GPT-4、Gemini-Pro、LLaMA-3.1などのモデル毎の2,500設定の分析により、様々なLCMがビッグファイブインベントリに応答して一貫性を示すことが明らかになった。
  論文  参考訳（メタデータ） (2023-05-31T15:03:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。