論文の概要: Rethinking Psychometric Evaluation of LLMs: When and Why Self-Reports Predict Behavior

• arxiv url: http://arxiv.org/abs/2606.12730v1
• Date: Wed, 10 Jun 2026 22:28:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 15:55:27.49139
• Title: Rethinking Psychometric Evaluation of LLMs: When and Why Self-Reports Predict Behavior
• Title（参考訳）: LLMの心理的評価の再考 : 自己申告の予測行動の時期と理由
• Authors: Rafal Kocielnik, Pengrui Han, Peiyang Song, Myrl G. Marmarelis, Ramit Debnath, Dean Mobbs, Anima Anandkumar, R. Michael Alvarez,
• Abstract要約: 4つの行動タスクと11のフロンティアLSMで実験を行いました。 SR-ビヘイビアコヒーレンスは存在するが選択的である。 これらの結果は、粗いパーソナリティフレームワークがデプロイメントの振る舞いをテストする最良のツールではないことを示唆している。
• 参考スコア（独自算出の注目度）: 58.538864650160406
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Anticipating LLM behavioral tendencies from low-cost psychometric probes is critical for safe deployment, but only if self-reports (SR) reliably predict behavior. Recent work documented substantial SR-behavior dissociation in LLMs, but relied on broad personality traits (Big 5) that predict specific behaviors weakly, even in humans. Furthermore, the isolation of conversational sessions combined with weak context matching left open whether LLMs truly lack coherence or whether the conditions needed to detect such coherence were not met. We contrast Big 5 with the Theory of Planned Behavior (TPB), which measures intention targeted to a specific behavior and predicts human behavior substantially better than broad traits. We run experiments across four behavioral tasks and 11 frontier LLMs, while also varying session context and identity induction. We find that SR-behavior coherence exists but is selective. 1) Within a shared conversation, the Theory of Planned Behavior reaches human-level coherence; Big 5 does not. 2) Across separate conversations, coherence survives only for behaviors anchored outside the immediate prompt, such as implicit bias shaped by training, and collapses when behavior is strongly primed by context, as with sycophancy. 3) Persona prompting makes self-reports more consistent across conversations, but does not bring behavior into alignment. These findings suggest that coarse personality frameworks, such as Big 5 may not be the best tools for testing deployment behavior. More task- and behavior-specific instruments are needed, and even these must be evaluated across tasks and contexts.
• Abstract（参考訳）: 低コストの心理測定プローブからLLMの行動傾向を予測することは、安全な展開には重要であるが、自己報告(SR)が確実に行動を予測する場合に限られる。 近年の研究では、LLMにおけるSR-振る舞いの解離が記録されているが、人間であっても、特定の振る舞いを弱く予測する幅広い性格特性(Big 5)に依存していた。 さらに、会話セッションの分離と弱いコンテキストマッチングは、LLMが本当にコヒーレンスを欠いているのか、あるいはそのようなコヒーレンスを検出するために必要な条件が満たされていないのかを、未解決のまま残した。 我々は,ビッグ5と計画行動理論(TPB)の対比を行った。 我々は4つの行動タスクと11のフロンティアLDMで実験を行い、セッションコンテキストやアイデンティティの誘導も異なる。 SR-ビヘイビアコヒーレンスは存在するが選択的である。 1)共有会話の中では,計画行動理論が人間レベルのコヒーレンスに達する。 2)個別の会話を通じて,コヒーレンスは,訓練によって形作られた暗黙の偏見や,文脈によって行動が強く優先順位付けされた場合の崩壊など,即時的刺激の外側に固定された行動に対してのみ生存する。 3)ペルソナのプロンプトは,会話間での自己報告をより一貫性を持たせるが,行動の調整は行わない。 これらの結果は、Big 5のような粗いパーソナリティフレームワークが、デプロイメントの振る舞いをテストする最良のツールではないことを示唆している。 タスクや振る舞い固有の機器がもっと必要であり、それらでさえタスクやコンテキストによって評価されなければならない。

関連論文リスト

• Evaluating LLM-Simulated Conversations in Modeling Inconsistent and Uncollaborative Behaviors in Human Social Interaction [21.123771789383323]
  大規模言語モデル(LLM)を用いた人間の会話のシミュレーションは、人間の社会的相互作用をモデル化するためのスケーラブルな方法論として登場した。 本研究では,10種類の不整合・非協調行動を検出することで,LLMシミュレーション会話を解析する評価フレームワークCoCoEvalを紹介する。 我々の分析では、バニラ刺激下では、LLMシミュレーションによる会話は人間の会話よりも一貫性がなく、協調的でない行動がはるかに少ないことが示された。
  論文  参考訳（メタデータ） (2026-03-17T19:29:50Z)
• Can LLMs Truly Embody Human Personality? Analyzing AI and Human Behavior Alignment in Dispute Resolution [7.599497643290519]
  大規模言語モデル (LLMs) は、社会的環境における人間の振る舞いをシミュレートするためにますます使われている。 これらのシミュレーションがヒトで観察される性格行動パターンを再現するかどうかは不明である。
  論文  参考訳（メタデータ） (2026-02-07T07:20:24Z)
• Fantastic Reasoning Behaviors and Where to Find Them: Unsupervised Discovery of the Reasoning Process [66.38541693477181]
  本稿では, アクティベーション空間の方向として, 異なる推論挙動を符号化する, 推論ベクトルの発見のための教師なしフレームワークを提案する。 思考の連鎖トレースを文レベルの「ステップ」にセグメント化することで、リフレクションやバックトラックのような解釈可能な振る舞いに対応する歪んだ特徴を明らかにする。 本研究では,SAEデコーダ空間における信頼性関連ベクトルを同定し,応答信頼性を制御する能力を示す。
  論文  参考訳（メタデータ） (2025-12-30T05:09:11Z)
• The Personality Illusion: Revealing Dissociation Between Self-Reports & Behavior in LLMs [60.15472325639723]
  人格特性は、人間の行動の予測因子として長い間研究されてきた。 近年のLarge Language Models (LLM) は, 人工システムに類似したパターンが出現する可能性を示唆している。
  論文  参考訳（メタデータ） (2025-09-03T21:27:10Z)
• Persistent Instability in LLM's Personality Measurements: Effects of Scale, Reasoning, and Conversation History [7.58175460763641]
  400B+モデルでさえ、相当な応答変動を示す。 連鎖推論、詳細なペルソナ指導、会話履歴の含意など、行動の安定化を期待する介入は、パラドックス的に変動を増大させる。 予測可能な行動を必要とする安全クリティカルなアプリケーションに対しては,人格に基づくアライメント戦略が根本的に不十分である可能性が示唆された。
  論文  参考訳（メタデータ） (2025-08-06T19:11:33Z)
• Evaluating Large Language Models with Psychometrics [59.821829073478376]
  本稿では,Large Language Models (LLMs) の心理的構造を定量化するための総合的ベンチマークを提案する。 私たちの研究は、13のデータセットで評価された5つの重要な心理的構成要素、人格、価値観、感情的知性、心の理論、自己効力性を特定します。 LLMの自己報告特性と実際のシナリオにおける応答パターンとの間に大きな相違が発見され,その挙動の複雑さが明らかになった。
  論文  参考訳（メタデータ） (2024-06-25T16:09:08Z)
• Revisiting the Reliability of Psychological Scales on Large Language Models [62.57981196992073]
  本研究の目的は,大規模言語モデルにパーソナリティアセスメントを適用することの信頼性を明らかにすることである。 GPT-3.5、GPT-4、Gemini-Pro、LLaMA-3.1などのモデル毎の2,500設定の分析により、様々なLCMがビッグファイブインベントリに応答して一貫性を示すことが明らかになった。
  論文  参考訳（メタデータ） (2023-05-31T15:03:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。