論文の概要: Rethinking Psychometric Evaluation of LLMs: When and Why Self-Reports Predict Behavior
- arxiv url: http://arxiv.org/abs/2606.12730v1
- Date: Wed, 10 Jun 2026 22:28:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-12 15:55:27.49139
- Title: Rethinking Psychometric Evaluation of LLMs: When and Why Self-Reports Predict Behavior
- Title（参考訳）: LLMの心理的評価の再考 : 自己申告の予測行動の時期と理由
- Abstract要約: 4つの行動タスクと11のフロンティアLSMで実験を行いました。
SR-ビヘイビアコヒーレンスは存在するが選択的である。
これらの結果は、粗いパーソナリティフレームワークがデプロイメントの振る舞いをテストする最良のツールではないことを示唆している。
- 参考スコア（独自算出の注目度）: 58.538864650160406
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Anticipating LLM behavioral tendencies from low-cost psychometric probes is critical for safe deployment, but only if self-reports (SR) reliably predict behavior. Recent work documented substantial SR-behavior dissociation in LLMs, but relied on broad personality traits (Big 5) that predict specific behaviors weakly, even in humans. Furthermore, the isolation of conversational sessions combined with weak context matching left open whether LLMs truly lack coherence or whether the conditions needed to detect such coherence were not met. We contrast Big 5 with the Theory of Planned Behavior (TPB), which measures intention targeted to a specific behavior and predicts human behavior substantially better than broad traits. We run experiments across four behavioral tasks and 11 frontier LLMs, while also varying session context and identity induction. We find that SR-behavior coherence exists but is selective. 1) Within a shared conversation, the Theory of Planned Behavior reaches human-level coherence; Big 5 does not. 2) Across separate conversations, coherence survives only for behaviors anchored outside the immediate prompt, such as implicit bias shaped by training, and collapses when behavior is strongly primed by context, as with sycophancy. 3) Persona prompting makes self-reports more consistent across conversations, but does not bring behavior into alignment. These findings suggest that coarse personality frameworks, such as Big 5 may not be the best tools for testing deployment behavior. More task- and behavior-specific instruments are needed, and even these must be evaluated across tasks and contexts.
- Abstract（参考訳）: 低コストの心理測定プローブからLLMの行動傾向を予測することは、安全な展開には重要であるが、自己報告(SR)が確実に行動を予測する場合に限られる。
近年の研究では、LLMにおけるSR-振る舞いの解離が記録されているが、人間であっても、特定の振る舞いを弱く予測する幅広い性格特性(Big 5)に依存していた。
さらに、会話セッションの分離と弱いコンテキストマッチングは、LLMが本当にコヒーレンスを欠いているのか、あるいはそのようなコヒーレンスを検出するために必要な条件が満たされていないのかを、未解決のまま残した。
我々は,ビッグ5と計画行動理論(TPB)の対比を行った。
我々は4つの行動タスクと11のフロンティアLDMで実験を行い、セッションコンテキストやアイデンティティの誘導も異なる。
SR-ビヘイビアコヒーレンスは存在するが選択的である。
1)共有会話の中では,計画行動理論が人間レベルのコヒーレンスに達する。
2)個別の会話を通じて,コヒーレンスは,訓練によって形作られた暗黙の偏見や,文脈によって行動が強く優先順位付けされた場合の崩壊など,即時的刺激の外側に固定された行動に対してのみ生存する。
3)ペルソナのプロンプトは,会話間での自己報告をより一貫性を持たせるが,行動の調整は行わない。
これらの結果は、Big 5のような粗いパーソナリティフレームワークが、デプロイメントの振る舞いをテストする最良のツールではないことを示唆している。
タスクや振る舞い固有の機器がもっと必要であり、それらでさえタスクやコンテキストによって評価されなければならない。
関連論文リスト
- DuplexSpeechBench-IFEval: Evaluating Implicit Instruction Following in Full-Duplex Voice Agents [67.07361089429757]
6つのリアルタイム音声システムを用いて, 実時間床の付着度を測定した。
アーキテクチャに依存したトレードオフを見つけます。
GPT-Realtime, Mini-o Duplex, Fun-Audio-Chatはペルソナ一貫性のあるコンテンツに強く固執する。
論文 参考訳（メタデータ） (2026-09-03T06:28:02Z) - Your LLM, Your Style: Behavioral Mode Axes for LLM Behavioral Control [15.236237731175192]
大きな言語モデル(LLM)は、ユーザエクスペリエンス、安全性、下流の意思決定に影響を及ぼす振る舞いスタイルの対話的な設定でますます機能します。
既存のLCMパーソナリティ研究は、一人称環境で実施されている自己申告アンケートに大きく依存している。
本稿では,LLMの行動特性を研究・制御するための行動データフレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-11T09:25:47Z) - Do AI Personas Grow? Analyzing and Benchmarking Personality Evolution in LLM Agents After Life Events [34.88005801095875]
パーソナリティ条件付きLLMエージェント(PC-Agents)は、感情的支援、社会シミュレーション、ロールプレイングにますます利用されている。
ビッグファイブの特徴をサイコメトリックアンカーとして用いて,11大生活イベント後の事象誘発人格変化について検討した。
以上の結果から,現在のPC-Agentsは人格動態の平均をシミュレートするが,その形状は似ていないことが示唆された。
論文 参考訳（メタデータ） (2026-08-06T18:25:58Z) - From Profiling to Synthesis: Benchmarking Implicit Behavioral Alignment in Personalized LLM Agents [56.187590188698955]
大規模言語モデルは、ますます有能な自律エージェントを可能にしてきたが、そのようなエージェントを実用的に有効にするためには、パーソナライズが不可欠である。
最近のベンチマークではエージェントのパーソナライゼーションの評価が始まっているが、それらは主に静的な選好スナップショット、固定されたインタラクションログ、あるいは事前に定義されたユーザプロファイルに対する質問応答に依存している。
縦断的相互作用履歴から構築した暗黙的行動アライメントのベンチマークであるIBA-Benchを紹介する。
IBA-Agentは、広範囲な検索と軌道レベルのアライメントを通じて競合する優先順位を調整するエージェントフレームワークである。
論文 参考訳（メタデータ） (2026-08-03T12:52:04Z) - From Representations to Behaviors: Exploring the Person-Situation-Behavior Triad in LLMs [8.188989044347595]
LLMにおけるパーソナリティ関連行動の既存の研究は、主にパーソナリティ条件下でのアウトプットに焦点を当てている。
LLMにおける特性様表現の発見,制御,検証のためのフレームワークを提案する。
本研究は, LLMが内部状態, 状況表現, 行動結果とをリンクする制御可能な特性様表現を含んでいることを示す。
論文 参考訳（メタデータ） (2026-07-29T12:36:47Z) - Evaluating LLM-Simulated Conversations in Modeling Inconsistent and Uncollaborative Behaviors in Human Social Interaction [21.123771789383323]
大規模言語モデル(LLM)を用いた人間の会話のシミュレーションは、人間の社会的相互作用をモデル化するためのスケーラブルな方法論として登場した。
本研究では,10種類の不整合・非協調行動を検出することで,LLMシミュレーション会話を解析する評価フレームワークCoCoEvalを紹介する。
我々の分析では、バニラ刺激下では、LLMシミュレーションによる会話は人間の会話よりも一貫性がなく、協調的でない行動がはるかに少ないことが示された。
論文 参考訳（メタデータ） (2026-03-17T19:29:50Z) - Can LLMs Truly Embody Human Personality? Analyzing AI and Human Behavior Alignment in Dispute Resolution [7.599497643290519]
大規模言語モデル (LLMs) は、社会的環境における人間の振る舞いをシミュレートするためにますます使われている。
これらのシミュレーションがヒトで観察される性格行動パターンを再現するかどうかは不明である。
論文 参考訳（メタデータ） (2026-02-07T07:20:24Z) - Fantastic Reasoning Behaviors and Where to Find Them: Unsupervised Discovery of the Reasoning Process [66.38541693477181]
本稿では, アクティベーション空間の方向として, 異なる推論挙動を符号化する, 推論ベクトルの発見のための教師なしフレームワークを提案する。
思考の連鎖トレースを文レベルの「ステップ」にセグメント化することで、リフレクションやバックトラックのような解釈可能な振る舞いに対応する歪んだ特徴を明らかにする。
本研究では,SAEデコーダ空間における信頼性関連ベクトルを同定し,応答信頼性を制御する能力を示す。
論文 参考訳（メタデータ） (2025-12-30T05:09:11Z) - The Personality Illusion: Revealing Dissociation Between Self-Reports & Behavior in LLMs [60.15472325639723]
人格特性は、人間の行動の予測因子として長い間研究されてきた。
近年のLarge Language Models (LLM) は, 人工システムに類似したパターンが出現する可能性を示唆している。
論文 参考訳（メタデータ） (2025-09-03T21:27:10Z) - Persistent Instability in LLM's Personality Measurements: Effects of Scale, Reasoning, and Conversation History [7.58175460763641]
400B+モデルでさえ、相当な応答変動を示す。
連鎖推論、詳細なペルソナ指導、会話履歴の含意など、行動の安定化を期待する介入は、パラドックス的に変動を増大させる。
予測可能な行動を必要とする安全クリティカルなアプリケーションに対しては,人格に基づくアライメント戦略が根本的に不十分である可能性が示唆された。
論文 参考訳（メタデータ） (2025-08-06T19:11:33Z) - Evaluating Large Language Models with Psychometrics [59.821829073478376]
本稿では,Large Language Models (LLMs) の心理的構造を定量化するための総合的ベンチマークを提案する。
私たちの研究は、13のデータセットで評価された5つの重要な心理的構成要素、人格、価値観、感情的知性、心の理論、自己効力性を特定します。
LLMの自己報告特性と実際のシナリオにおける応答パターンとの間に大きな相違が発見され,その挙動の複雑さが明らかになった。
論文 参考訳（メタデータ） (2024-06-25T16:09:08Z) - Revisiting the Reliability of Psychological Scales on Large Language Models [62.57981196992073]
本研究の目的は,大規模言語モデルにパーソナリティアセスメントを適用することの信頼性を明らかにすることである。
GPT-3.5、GPT-4、Gemini-Pro、LLaMA-3.1などのモデル毎の2,500設定の分析により、様々なLCMがビッグファイブインベントリに応答して一貫性を示すことが明らかになった。
論文 参考訳（メタデータ） (2023-05-31T15:03:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。