論文の概要: Persistent Instability in LLM's Personality Measurements: Effects of Scale, Reasoning, and Conversation History

• arxiv url: http://arxiv.org/abs/2508.04826v1
• Date: Wed, 06 Aug 2025 19:11:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-08 18:59:39.626503
• Title: Persistent Instability in LLM's Personality Measurements: Effects of Scale, Reasoning, and Conversation History
• Title（参考訳）: LLMのパーソナリティ測定における永続的不安定性:尺度,推論,会話履歴の影響
• Authors: Tommaso Tosato, Saskia Helbling, Yorguin-Jose Mantilla-Ramos, Mahmood Hegazy, Alberto Tosato, David John Lemay, Irina Rish, Guillaume Dumas,
• Abstract要約: 400B+モデルでさえ、相当な応答変動を示す。 連鎖推論、詳細なペルソナ指導、会話履歴の含意など、行動の安定化を期待する介入は、パラドックス的に変動を増大させる。 予測可能な行動を必要とする安全クリティカルなアプリケーションに対しては,人格に基づくアライメント戦略が根本的に不十分である可能性が示唆された。
• 参考スコア（独自算出の注目度）: 7.58175460763641
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models require consistent behavioral patterns for safe deployment, yet their personality-like traits remain poorly understood. We present PERSIST (PERsonality Stability in Synthetic Text), a comprehensive evaluation framework testing 25+ open-source models (1B-671B parameters) across 500,000+ responses. Using traditional (BFI-44, SD3) and novel LLM-adapted personality instruments, we systematically vary question order, paraphrasing, personas, and reasoning modes. Our findings challenge fundamental deployment assumptions: (1) Even 400B+ models exhibit substantial response variability (SD > 0.4); (2) Minor prompt reordering alone shifts personality measurements by up to 20%; (3) Interventions expected to stabilize behavior, such as chain-of-thought reasoning, detailed personas instruction, inclusion of conversation history, can paradoxically increase variability; (4) LLM-adapted instruments show equal instability to human-centric versions, confirming architectural rather than translational limitations. This persistent instability across scales and mitigation strategies suggests current LLMs lack the foundations for genuine behavioral consistency. For safety-critical applications requiring predictable behavior, these findings indicate that personality-based alignment strategies may be fundamentally inadequate.
• Abstract（参考訳）: 大規模言語モデルは安全な配置のために一貫した行動パターンを必要とするが、その性格的な特徴はよく分かっていない。 提案するPERSIST(Personality Stability in Synthetic Text)は,500,000以上の応答に対して25以上のオープンソースモデル(1B-671Bパラメータ)をテストする総合評価フレームワークである。 従来の (BFI-44, SD3) と LLM 適応型パーソナリティ機器を用いて, 質問順, パラフレーズ, ペルソナ, 推論モードを体系的に変化させる。 本研究は,(1)400B+モデルにおいても大きな応答変動(SD > 0.4)を示すこと,(2)人格測定を最大20%シフトすること,(3)チェーン・オブ・インフォメーション,詳細なペルソナ・インストラクション,会話履歴の包含など,行動の安定化を期待する介入が,パラドックス的に変動を増大させること,(4)LLM適応機器は人間中心のバージョンと同等の不安定性を示し,翻訳制限よりもアーキテクチャを裏付けること,といった基本的な展開仮定に挑戦する。 このスケールにわたる永続的不安定性と緩和戦略は、現在のLCMには真の行動整合性の基盤が欠けていることを示唆している。 予測可能な行動を必要とする安全クリティカルなアプリケーションに対しては,人格に基づくアライメント戦略が根本的に不十分である可能性が示唆された。

関連論文リスト

• Decoding the Human Factor: High Fidelity Behavioral Prediction for Strategic Foresight [0.0]
  大規模行動モデル(英: Large Behavioral Model)は、個々の戦略選択を高い忠実度で予測するために微調整された行動基盤モデルである。 我々は、安定した配置、モチベーション状態、観察された選択に対する状況制約をリンクするプロプライエタリなデータセットをトレーニングした。 プロンプトベースのベースラインは複雑さの天井を示すが、LBMはますます高密度な特性プロファイルの恩恵を受け続けている。
  論文  参考訳（メタデータ） (2026-02-19T10:13:17Z)
• PTCBENCH: Benchmarking Contextual Stability of Personality Traits in LLM Systems [30.449659477704543]
  制御状況下での大規模言語モデル(LLM)の一貫性を定量化するベンチマークであるPTCBENCHを紹介する。 PTCBENCHは、様々な場所のコンテキストやライフイベントにまたがる12の異なる外部条件をモデル化し、NEO Five-Factor Inventoryを用いてその性格を厳格に評価する。 39,240人の性格特性記録について検討したところ、ある外部シナリオがLSMの顕著な性格変化を誘発し、その推論能力を変化させることが判明した。
  論文  参考訳（メタデータ） (2026-01-12T18:15:50Z)
• Two-Faced Social Agents: Context Collapse in Role-Conditioned Large Language Models [0.0]
  GPT-5は完全な数学の文脈崩壊を示し、最適応答に対する特異な同一性を採用した。 クロード・ソネット4.5はSATアイテムに限定的ではあるが測定可能な役割特異的なバリエーションを保持していた。 全てのモデルは、異なる役割条件の感情的嗜好を示し、認知的制約が緩和されたときに社会影響の変動が再燃することを示した。
  論文  参考訳（メタデータ） (2025-11-19T16:04:49Z)
• TwinVoice: A Multi-dimensional Benchmark Towards Digital Twins via LLM Persona Simulation [55.55404595177229]
  大型言語モデル(LLM)は、人間のような能力を示す。 TwinVoiceは、さまざまな現実世界のコンテキストにわたるペルソナシミュレーションを評価するためのベンチマークである。
  論文  参考訳（メタデータ） (2025-10-29T14:00:42Z)
• DeceptionBench: A Comprehensive Benchmark for AI Deception Behaviors in Real-world Scenarios [57.327907850766785]
  現実的な現実のシナリオにまたがる騙しのキャラクタリゼーションは未解明のままである。 DeceptionBenchは、さまざまなドメインにまたがる認知傾向を体系的に評価する最初のベンチマークです。 本研究は,本質的な側面から,ユーザ満足度を優先する自己関心のエゴスティックな傾向を示すモデルや,サイコファンティックな行動を示すモデルについて検討する。 実世界のフィードバックダイナミクスのより現実的なシミュレーションを構築するために,持続的マルチターン相互作用ループを組み込んだ。
  論文  参考訳（メタデータ） (2025-10-17T10:14:26Z)
• Evaluating LLM Alignment on Personality Inference from Real-World Interview Data [7.061237517845673]
  大規模言語モデル(LLM)は、複雑な心理的理解を必要とする役割にますます配備されている。 このような応用の重要な側面である人間の性格特性を解釈する能力は、まだ解明されていない。 本研究では, 半構造化された面接書と, 検証された5つの特徴スコアを組み合わせた新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-09-16T16:54:35Z)
• The Personality Illusion: Revealing Dissociation Between Self-Reports & Behavior in LLMs [60.15472325639723]
  人格特性は、人間の行動の予測因子として長い間研究されてきた。 近年のLarge Language Models (LLM) は, 人工システムに類似したパターンが出現する可能性を示唆している。
  論文  参考訳（メタデータ） (2025-09-03T21:27:10Z)
• IROTE: Human-like Traits Elicitation of Large Language Model via In-Context Self-Reflective Optimization [66.6349183886101]
  IROTEは,安定かつ伝達可能な特性抽出のための新しいインコンテキスト手法である。 IROTEが生成する1つの自己反射は、様々な下流タスクにまたがる目標特性の安定な偽造を LLM が引き起こすことを示す。
  論文  参考訳（メタデータ） (2025-08-12T08:04:28Z)
• LLMEval-3: A Large-Scale Longitudinal Study on Robust and Fair Evaluation of Large Language Models [51.55869466207234]
  静的ベンチマークにおけるLLM(Large Language Models)の既存の評価は、データの汚染やリーダーボードのオーバーフィッティングに弱い。 LLMの動的評価のためのフレームワークであるLLMEval-3を紹介する。 LLEval-3は、220kの卒業生レベルの質問からなるプロプライエタリなバンク上に構築されており、評価実行毎に未確認のテストセットを動的にサンプリングする。
  論文  参考訳（メタデータ） (2025-08-07T14:46:30Z)
• Evaluating the Simulation of Human Personality-Driven Susceptibility to Misinformation with LLMs [0.18416014644193066]
  大規模言語モデル(LLM)により、大規模に合成行動データを生成することができる。 我々は,誤情報に対する個人的影響の変動を再現するために,Big-Fiveプロファイルに規定されたLLMエージェントの能力を評価する。
  論文  参考訳（メタデータ） (2025-06-30T08:16:07Z)
• Spotting Out-of-Character Behavior: Atomic-Level Evaluation of Persona Fidelity in Open-Ended Generation [16.76995815742803]
  より微細な粒度でペルソナの忠実度を定量化する原子レベル評価フレームワークを提案する。 私たちの3つの重要な測定基準は、世代間でのペルソナのアライメントと一貫性の度合いを測定します。 多様なタスクやパーソナリティの多様さからペルソナの忠実度を解析することにより,タスク構造とペルソナの嗜好性がモデル適応性にどのように影響するかを明らかにする。
  論文  参考訳（メタデータ） (2025-06-24T06:33:10Z)
• A Comparative Study of Large Language Models and Human Personality Traits [6.354326674890978]
  言語モデル(LLM)は、言語理解と生成において人間のような能力を示す。 本研究では, LLMが人格的特徴を示すか, これらの特徴が人格とどのように比較されるかを検討する。
  論文  参考訳（メタデータ） (2025-05-01T15:10:15Z)
• Personality Editing for Language Models through Adjusting Self-Referential Queries [17.051166122108857]
  PALETTE(Personality Adjustment by LLM SElf-TargeTed queries)は,Large Language Models(LLMs)における人格編集の新しい手法である。 本手法では,心理的構成に根ざした自己参照文を事実知識と類似して扱う調整クエリを導入し,人格関連応答の直接編集を可能にする。 PALETTEは微調整とは異なり、パーソナリティ次元を横断するパーソナリティアライメントの大幅な改善を達成するために、12の編集サンプルしか必要としない。
  論文  参考訳（メタデータ） (2025-02-17T13:28:14Z)
• Self-Evolving Critique Abilities in Large Language Models [59.861013614500024]
  本稿では,Large Language Models (LLM) の批判能力の向上について検討する。 SCRITは、LCMを自己生成データで訓練し、批判能力を進化させるフレームワークである。 分析の結果,SCRITの性能はデータやモデルサイズと正の相関関係にあることが明らかとなった。
  論文  参考訳（メタデータ） (2025-01-10T05:51:52Z)
• Rediscovering the Latent Dimensions of Personality with Large Language Models as Trait Descriptors [4.814107439144414]
  大規模言語モデル(LLM)における潜在人格次元を明らかにする新しいアプローチを提案する。 実験の結果, LLMは, 直接アンケート入力に頼ることなく, 外転, 同意性, 良性, 神経性, 開放性などの中核的性格を「発見」することがわかった。 抽出した主成分を用いて、ビッグファイブ次元に沿ったパーソナリティを評価し、微調整モデルよりも平均的なパーソナリティ予測精度を最大5%向上させることができる。
  論文  参考訳（メタデータ） (2024-09-16T00:24:40Z)
• Evaluating Interventional Reasoning Capabilities of Large Language Models [58.52919374786108]
  大規模言語モデル(LLM)は意思決定タスクを自動化するために使用される。 本稿では,LPMが介入に応じてデータ生成プロセスの知識を正確に更新できるかどうかを評価する。 さまざまな因果グラフ(例えば、コンバウンディング、仲介)と変数タイプにまたがるベンチマークを作成します。 これらのベンチマークにより、LLMが事実を記憶したり、他のショートカットを見つけたりすることで、変化を正確に予測する能力を切り離すことができます。
  論文  参考訳（メタデータ） (2024-04-08T14:15:56Z)
• LLMs Simulate Big Five Personality Traits: Further Evidence [51.13560635563004]
  Llama2, GPT4, Mixtralでシミュレートされた性格特性を解析した。 このことは、パーソナリティ特性をシミュレートするLLMの能力のより広範な理解に寄与する。
  論文  参考訳（メタデータ） (2024-01-31T13:45:25Z)
• Decoding Susceptibility: Modeling Misbelief to Misinformation Through a Computational Approach [61.04606493712002]
  誤報に対する感受性は、観測不可能な不検証の主張に対する信念の度合いを記述している。 既存の感受性研究は、自己報告された信念に大きく依存している。 本稿では,ユーザの潜在感受性レベルをモデル化するための計算手法を提案する。
  論文  参考訳（メタデータ） (2023-11-16T07:22:56Z)
• Personality Traits in Large Language Models [42.31355340867784]
  コミュニケーションの有効性を決定する重要な要因は人格である。 本稿では,広く使用されている大規模言語モデル上でのパーソナリティテストの管理と検証のための,新しい,包括的・包括的心理学的・信頼性の高い方法論を提案する。 本稿では,計測・形成手法の適用と倫理的意味,特に責任あるAIについて論じる。
  論文  参考訳（メタデータ） (2023-07-01T00:58:51Z)
• Personality testing of Large Language Models: Limited temporal stability, but highlighted prosociality [0.0]
  大きな言語モデル(LLM)は、人間のような特徴と、ユーザに提供する親密さによって人気を博している。 本研究は,人格楽器に対する時間的安定度と時間的合意度を2点に評価することを目的とした。 短時間でLSMs反応において, レーザー間一致のレベルが異なることが判明した。
  論文  参考訳（メタデータ） (2023-06-07T10:14:17Z)
• Revisiting the Reliability of Psychological Scales on Large Language Models [62.57981196992073]
  本研究の目的は,大規模言語モデルにパーソナリティアセスメントを適用することの信頼性を明らかにすることである。 GPT-3.5、GPT-4、Gemini-Pro、LLaMA-3.1などのモデル毎の2,500設定の分析により、様々なLCMがビッグファイブインベントリに応答して一貫性を示すことが明らかになった。
  論文  参考訳（メタデータ） (2023-05-31T15:03:28Z)
• Empirical Estimates on Hand Manipulation are Recoverable: A Step Towards Individualized and Explainable Robotic Support in Everyday Activities [80.37857025201036]
  ロボットシステムの鍵となる課題は、他のエージェントの振る舞いを理解することである。 正しい推論の処理は、(衝突)因子が実験的に制御されない場合、特に困難である。 人に関する観察研究を行うために必要なツールをロボットに装備することを提案する。
  論文  参考訳（メタデータ） (2022-01-27T22:15:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。