論文の概要: Psychometric Item Validation Using Virtual Respondents with Trait-Response Mediators

• arxiv url: http://arxiv.org/abs/2507.05890v1
• Date: Tue, 08 Jul 2025 11:26:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-09 16:34:37.944105
• Title: Psychometric Item Validation Using Virtual Respondents with Trait-Response Mediators
• Title（参考訳）: トラスト応答メディエータを用いた仮想応答を用いた心理的項目検証
• Authors: Sungjib Lim, Woojung Song, Eun-Ju Lee, Yohan Jo,
• Abstract要約: 大規模言語モデル(LLM)を用いた仮想応答シミュレーションのためのフレームワークを提案する。 私たちの中心となる考え方は、仲介者を説明することです。同じ特性が調査項目に対するさまざまな反応を引き起こす要因です。 3つの心理特性理論 (Big5, Schwartz, VIA) の実験により, メディエータ生成法とシミュレーションフレームワークが高妥当性項目を効果的に同定できることが示されている。
• 参考スコア（独自算出の注目度）: 2.939602679635743
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As psychometric surveys are increasingly used to assess the traits of large language models (LLMs), the need for scalable survey item generation suited for LLMs has also grown. A critical challenge here is ensuring the construct validity of generated items, i.e., whether they truly measure the intended trait. Traditionally, this requires costly, large-scale human data collection. To make it efficient, we present a framework for virtual respondent simulation using LLMs. Our central idea is to account for mediators: factors through which the same trait can give rise to varying responses to a survey item. By simulating respondents with diverse mediators, we identify survey items that robustly measure intended traits. Experiments on three psychological trait theories (Big5, Schwartz, VIA) show that our mediator generation methods and simulation framework effectively identify high-validity items. LLMs demonstrate the ability to generate plausible mediators from trait definitions and to simulate respondent behavior for item validation. Our problem formulation, metrics, methodology, and dataset open a new direction for cost-effective survey development and a deeper understanding of how LLMs replicate human-like behavior. We will publicly release our dataset and code to support future work.
• Abstract（参考訳）: 大規模言語モデル (LLM) の特徴を評価するために, 心理測定による調査がますます行われているため, LLM に適したスケーラブルな調査項目生成の必要性も高まっている。 ここでの重要な課題は、生成したアイテム、すなわち、意図した特性を真に測定するかどうかを確実にすることである。 伝統的に、これは費用がかかる大規模な人的データ収集を必要とする。 そこで本研究では,LLMを用いた仮想応答シミュレーションのためのフレームワークを提案する。 私たちの中心となる考え方は、仲介者を説明することです。同じ特性が調査項目に対するさまざまな反応を引き起こす要因です。 多様なメディエータで回答者をシミュレートすることで、意図した特性をしっかりと測定する調査項目を特定する。 3つの心理特性理論 (Big5, Schwartz, VIA) の実験により, メディエータ生成法とシミュレーションフレームワークが高妥当性項目を効果的に同定できることが示されている。 LLMは、特性定義から可塑性メディエータを生成し、アイテム検証のための応答挙動をシミュレートする能力を示す。 我々の問題定式化、メトリクス、方法論、データセットは、コスト効率の高い調査開発のための新しい方向性を開き、LLMが人間のような振る舞いをどのように再現するかをより深く理解する。 今後の作業をサポートするために、データセットとコードを公開します。

関連論文リスト

• Simulating and Analysing Human Survey Responses with Large Language Models: A Case Study in Energy Stated Preference [4.672157041593765]
  ステートド・リセプション(SP)調査は、仮説的、潜在的に未来的なシナリオにおいて、個人がどのようにトレードオフを行うかを研究者が理解するのに役立ちます。 本研究では,エネルギー関連SP調査における消費者選択をシミュレートする大規模言語モデル (LLM) について検討した。
  論文  参考訳（メタデータ） (2025-03-07T10:37:31Z)
• Specializing Large Language Models to Simulate Survey Response Distributions for Global Populations [49.908708778200115]
  我々は,調査応答分布をシミュレートする大規模言語モデル (LLM) を最初に開発した。 テストベッドとして、我々は2つの世界文化調査の国レベルの結果を使用します。 予測された応答分布と実際の応答分布のばらつきを最小限に抑えるために, ファースト・ツーケン確率に基づく微調整法を提案する。
  論文  参考訳（メタデータ） (2025-02-10T21:59:27Z)
• Agentic Society: Merging skeleton from real world and texture from Large Language Model [4.740886789811429]
  本稿では,人口統計データと大規模言語モデルを利用して仮想人口を生成する新しい枠組みについて検討する。 本手法は,社会科学実験において,多様な人間の行動のシミュレーションに不可欠な多様性のあるペルソナを生産することを示す。 しかし, 評価結果から, 現在のLSMの能力に限界があるため, 統計的真理性の弱い兆候しか得られないことが示唆された。
  論文  参考訳（メタデータ） (2024-09-02T08:28:19Z)
• Are Large Language Models Chameleons? An Attempt to Simulate Social Surveys [1.5727456947901746]
  大規模言語モデル(LLM)が主観的な質問に答えるよう求められたシミュレーションを数百万回実施した。 欧州社会調査(ESS)データと異なるLDM応答の比較は、プロンプトがバイアスや変動性に与える影響が基本であることを示唆している。
  論文  参考訳（メタデータ） (2024-05-29T17:54:22Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)
• Attributed Question Answering: Evaluation and Modeling for Attributed Large Language Models [68.37431984231338]
  大規模言語モデル(LLM)は、直接の監督をほとんど必要とせず、様々なタスクにわたって印象的な結果を示している。 我々は、LLMが生成するテキストの属性に持つ能力は、この設定においてシステム開発者とユーザの両方にとって不可欠であると信じている。
  論文  参考訳（メタデータ） (2022-12-15T18:45:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。