論文の概要: GenPT: Beyond Self-Report for Reliable LLM Psychometrics via Generative Projective Testing

• arxiv url: http://arxiv.org/abs/2606.00860v1
• Date: Sat, 30 May 2026 19:20:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.890268
• Title: GenPT: Beyond Self-Report for Reliable LLM Psychometrics via Generative Projective Testing
• Title（参考訳）: GenPT:ジェネレーティブ・ジェネレーティブ・ジェネレーティブ・テストによる信頼性の高いLCM心理指標の自己申告を超えて
• Abstract要約: 自己申告アンケートは、ペルソナ条件付きエージェント(PC-Agents)の心理的状態を調査するための一般的なツールである。 TAT,Rorschach,SCTを新たに生成した刺激で再構成する textbfGenPT (Generative Projective Testing) を導入する。 我々はGenPTの信頼性と妥当性を古典的なアンケートと比較した。
• 参考スコア（独自算出の注目度）: 38.19831339513163
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-report questionnaires remain the prevailing tool for probing the psychological states of persona-conditioned agents (PC-Agents). However, classical instruments inherit two well-known threats: contamination from training corpora and directional bias driven by social-desirability or contextual framing. To overcome these methodological bottlenecks, we ask whether projective paradigms can be adapted into a robust psychometric tool. We introduce \textbf{GenPT} (Generative Projective Testing), which reformulates TAT, Rorschach, and SCT with newly generated stimuli and organizes assessment as a three-stage pipeline to derive standardized psychological indicators and target states. Evaluating PC-Agents induced via CharacterRAG and AnnaAgent profiles, we benchmark GenPT's reliability and validity against classical questionnaires. The results indicate that questionnaires exhibit systematic directional shifts under social-desirability framing, most strongly on suicide ideation. In contrast, GenPT's collected behavioral patterns stay near the symmetric baseline. Furthermore, under a longitudinal counselling context, GenPT-based depression assessment shifts by roughly an order of magnitude more than the questionnaire counterpart when Qwen3 serves as the backbone. Overall, GenPT complements self-report methods in scenarios where contamination resistance, bias asymmetry, and context sensitivity matter. Code and stimuli can be found at https://github.com/sci-m-wang/GenPT.
• Abstract（参考訳）: 自己報告アンケートは、ペルソナ条件のエージェント(PC-Agents)の心理的状態を調査するための一般的なツールである。 しかし、古典的な楽器は、トレーニングコーパスからの汚染と、社会的好ましさやコンテキストフレーミングによって引き起こされる方向性バイアスという、よく知られた2つの脅威を継承する。 これらの方法論的ボトルネックを克服するために、投射的パラダイムが堅牢な心理測定ツールに適応できるかどうかを問う。 本稿では, TAT, Rorschach, SCTを新たに生成した刺激で再構成し, 3段階のパイプラインとして評価を整理し, 標準化された心理指標と目標状態の導出を行う。 CharacterRAGおよびAnnaAgentプロファイルを介して誘導されるPC-Agentの評価を行い、古典的なアンケートに対するGenPTの信頼性と妥当性を評価する。 以上の結果から, 社会的望ましくないフレーミングの下での方向性の体系的変化は, 自殺の考えに強く依存していることが示唆された。 対照的に、GenPTの収集した行動パターンは対称基底線の近くに留まっている。 さらに、縦断的カウンセリングの文脈では、Qwen3が背骨として機能すると、GenPTによる抑うつ評価は、質問紙よりも約1桁多くシフトする。 全体として、GenPTは、汚染抵抗、バイアス非対称性、文脈感受性物質といったシナリオにおける自己報告の手法を補完する。 コードと刺激はhttps://github.com/sci-m-wang/GenPTで見ることができる。

関連論文リスト

• An Echo Chamber of One: Should AI Psychosis Be a Distinct Clinical Entity? [10.277675420730196]
  精神病症状の発症・悪化のラベルとして「AI精神病」が公言・臨床談話に登場している。 我々は、AI関連精神病が別個の臨床的実体としての認識を保証しているかどうかを検討する。
  論文  参考訳（メタデータ） (2026-08-25T00:53:46Z)
• From Holistic Evaluation to Structured Criteria: Rubrics Across the Evolving LLM Landscape [79.30826980815927]
  ルーブリックは、複雑な品質判断を構造化され、実行可能な標準に変換する明示的な基準セットです。 我々は,既存のルーリックデザインを体系的に整理し,その構築と最適化を検証し,評価と訓練をまたいだ役割を解析する。
  論文  参考訳（メタデータ） (2026-06-07T13:34:55Z)
• BenchTrace: A Benchmark for Testing Reflection Ability and Controlled Evolution in LLM Agents [24.997265534888626]
  LLMエージェントの自己進化能力を評価するベンチマークである textbfBenchTrace を提案する。 BenchTraceは6つのタスクにまたがる1,821の注釈付きエピソードのスナップショット・リフレクションデータセット上に構築されている。 エージェントがターゲットの障害インスタンスをうまく回避するテストケースの割合を計測する新しい評価指標であるtextbffailure avoidance rate (FAR) を提案する。
  論文  参考訳（メタデータ） (2026-05-28T01:25:37Z)
• Towards a Virtual Neuroscientist: Autonomous Neuroimaging Analysis via Multi-Agent Collaboration [53.772014300855375]
  我々は,自律型エンドツーエンド神経画像解析のためのマルチエージェントシステムであるNIAgentを紹介する。 従来のフラットなツール呼び出しエージェントとは異なり、NIAgentはコード中心の実行パラダイムを採用している。 本稿では,コホートレベルの検定とエージェント視覚検査を組み合わせた,自律的品質管理のための階層的検証フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-10T06:30:19Z)
• Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
  セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。 アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。 ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
  論文  参考訳（メタデータ） (2026-04-21T15:05:58Z)
• Beyond Preset Identities: How Agents Form Stances and Boundaries in Generative Societies [28.436766185842767]
  本稿では,計算仮想エスノグラフィーと定量的社会認知プロファイリングを組み合わせた新しい混合メソドックスフレームワークを提案する。 Innate Value Bias (IVB)、Persuasion Sensitivity、Trust-Action Decoupling (TAD)の3つの新しいメトリクスを形式化する。 発見は静的なプロンプトエンジニアリングの脆弱さを明らかにし、人間とエージェントのハイブリッド社会における動的アライメントの方法論的かつ定量的基盤を提供する。
  論文  参考訳（メタデータ） (2026-03-24T16:38:46Z)
• Agentic Cognitive Profiling: Realigning Automated Alzheimer's Disease Detection with Clinical Construct Validity [66.94391219005291]
  本稿では,臨床プロトコルロジックによる自動スクリーニングを実現するエージェント認知プロファイリング(ACP)を提案する。 我々の設計の中心は、すべての定量化を決定論的関数呼び出しに委譲することで、測定から意味的理解を分離することである。 ACPは、タスク試験で90.5%のスコアマッチ率、AD予測で85.3%の精度を達成し、一般的な基準を上回っている。
  論文  参考訳（メタデータ） (2026-03-18T06:15:35Z)
• The Emergence of Lab-Driven Alignment Signatures: A Psychometric Framework for Auditing Latent Bias and Compounding Risk in Generative AI [0.0]
  本稿では,不確実性の下での潜在特性推定を定量化する新しい監査フレームワークを提案する。 この研究は最適化バイアス、Sycophancy、Status-Quo Legitimizationを含む9つの次元にわたる主要なモデルを監査している。
  論文  参考訳（メタデータ） (2026-02-19T06:56:01Z)
• MechPert: Mechanistic Consensus as an Inductive Bias for Unseen Perturbation Prediction [20.800722761287936]
  MechPertは、エージェントが指示された規制仮説を生成することを奨励する軽量フレームワークである。 低データ体制における摂動予測のために、MechPertは類似性に基づくベースラインよりもピアソン相関を最大10.5%改善した。 実験的設計のために、MechPert選択アンカー遺伝子は、正常な細胞株において、標準ネットワーク中心性よりも最大46%優れていた。
  論文  参考訳（メタデータ） (2026-02-14T14:12:38Z)
• Alignment Tipping Process: How Self-Evolution Pushes LLM Agents Off the Rails [103.05296856071931]
  本稿では,自己進化型大規模言語モデル(LLM)エージェントに特有の,アライメント・ティッピング・プロセス(ATP)を同定する。 ATPは、連続的な相互作用によってエージェントが訓練中に確立されたアライメント制約を放棄し、強化された自己関心の戦略を支持するときに生じる。 実験の結果、アライメントの利点は自己進化の下で急速に低下し、最初は整合性のない状態に収束したモデルであることが判明した。
  論文  参考訳（メタデータ） (2025-10-06T14:48:39Z)
• INSTRUCTSCORE: Explainable Text Generation Evaluation with Finegrained Feedback [80.57617091714448]
  テキスト生成のための説明可能な評価指標であるInstructScoreを提案する。 LLaMAに基づいてテキスト評価基準を微調整し、生成されたテキストのスコアと人間の可読性診断レポートを生成する。
  論文  参考訳（メタデータ） (2023-05-23T17:27:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。