論文の概要: Predicting Human Psychometric Properties Using Computational Language
Models
- arxiv url: http://arxiv.org/abs/2205.06203v1
- Date: Thu, 12 May 2022 16:40:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-13 16:14:27.859917
- Title: Predicting Human Psychometric Properties Using Computational Language
Models
- Title（参考訳）: 計算言語モデルを用いた人間の心理的特性の予測
- Authors: Antonio Laverghetta Jr., Animesh Nighojkar, Jamshidbek Mirzakhalov,
John Licato
- Abstract要約: トランスフォーマーベース言語モデル(LM)は、自然言語処理(NLP)ベンチマークにおける最先端のパフォーマンスを引き続き達成している。
LMは、これらの項目がヒトの被験者に与えられるとき、テスト項目の心理測定特性を予測するのに利用できるか?
我々は,言語能力の幅広い診断試験において,多数の人やLMからの回答を収集する。
次に,ヒトの反応とLMの反応を別々に利用して,診断試験における項目の標準的な心理測定特性を計算する。
- 参考スコア（独自算出の注目度）: 5.806723407090421
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformer-based language models (LMs) continue to achieve state-of-the-art
performance on natural language processing (NLP) benchmarks, including tasks
designed to mimic human-inspired "commonsense" competencies. To better
understand the degree to which LMs can be said to have certain linguistic
reasoning skills, researchers are beginning to adapt the tools and concepts
from psychometrics. But to what extent can benefits flow in the other
direction? In other words, can LMs be of use in predicting the psychometric
properties of test items, when those items are given to human participants? If
so, the benefit for psychometric practitioners is enormous, as it can reduce
the need for multiple rounds of empirical testing. We gather responses from
numerous human participants and LMs (transformer- and non-transformer-based) on
a broad diagnostic test of linguistic competencies. We then use the human
responses to calculate standard psychometric properties of the items in the
diagnostic test, using the human responses and the LM responses separately. We
then determine how well these two sets of predictions correlate. We find that
transformer-based LMs predict the human psychometric data consistently well
across most categories, suggesting that they can be used to gather human-like
psychometric data without the need for extensive human trials.
- Abstract（参考訳）: トランスフォーマーベースの言語モデル(LM)は、人間にインスパイアされた"コモンセンス"能力を模倣するタスクを含む、自然言語処理(NLP)ベンチマークにおける最先端のパフォーマンスを引き続き達成している。
LMが特定の言語的推論スキルを持つと言える程度をよりよく理解するために、研究者は精神測定からツールや概念を適応し始めている。
しかし、その逆の方向にどのようなメリットが流れるのか?
言い換えれば、LMは、その項目が人間の被験者に与えられるとき、テスト項目の心理測定特性を予測するのに役立ちますか?
もしそうなら、サイコメトリックな実践者にとっての利益は巨大であり、複数の経験的テストの必要性を減らすことができる。
我々は,言語能力の広範な診断試験において,多数の人的参加者とLM(トランスフォーマーおよび非トランスフォーマーベース)からの回答を収集する。
次に,ヒトの反応とLMの反応を別々に利用して,診断試験における項目の標準的な心理測定特性を計算する。
次に、これらの2つの予測セットの相関性を決定する。
トランスフォーマーをベースとしたLMは、ほとんどのカテゴリで一貫して人間の心理測定データを予測し、人間の心理測定データを集めるために、広範囲なヒトの治験を必要とせずに使用できることを示唆している。
関連論文リスト
- Neuron-based Personality Trait Induction in Large Language Models [115.08894603023712]
大規模言語モデル (LLM) は、様々な性格特性をシミュレートする能力が増している。
LLMにおけるパーソナリティ特性誘導のためのニューロンに基づくアプローチを提案する。
論文 参考訳（メタデータ） (2024-10-16T07:47:45Z) - Assessment and manipulation of latent constructs in pre-trained language models using psychometric scales [4.805861461250903]
本稿では,標準的な心理アンケートを自然言語推論のプロンプトに再構成する方法を示す。
我々は、88種類の公開モデルを用いて、人間のようなメンタルヘルス関連構造の存在を実証した。
論文 参考訳（メタデータ） (2024-09-29T11:00:41Z) - Quantifying AI Psychology: A Psychometrics Benchmark for Large Language Models [57.518784855080334]
大きな言語モデル(LLM)は例外的なタスク解決能力を示しており、人間に似た役割を担っている。
本稿では,LLMにおける心理学的次元を調査するための枠組みとして,心理学的識別,評価データセットのキュレーション,結果検証による評価について述べる。
本研究では,個性,価値観,感情,心の理論,モチベーション,知性の6つの心理学的側面を網羅した総合的心理測定ベンチマークを導入する。
論文 参考訳（メタデータ） (2024-06-25T16:09:08Z) - Language models emulate certain cognitive profiles: An investigation of how predictability measures interact with individual differences [1.942809872918085]
本研究では,人間の読取時間データに基づく言語モデル (LM) から推定した,主観的・エントロピー的測度の予測力を再考する。
本研究は,認知的スコアに対する主観的・エントロピーの調整が,読解時間の予測精度を向上させるかどうかを考察する。
本研究は,ほとんどのケースにおいて,認知能力の付加は,読書時間における主観的・エントロピーの予測能力を増加させることを示した。
論文 参考訳（メタデータ） (2024-06-07T14:54:56Z) - Large Language Models for Psycholinguistic Plausibility Pretesting [47.1250032409564]
本稿では,言語モデル (LM) が妥当性判定に有効かどうかを検討する。
その結果, GPT-4の妥当性判定は, 調査対象の構造全体にわたって, 人間の判断と高い相関関係があることが判明した。
そして、この相関関係が、人間の代わりにLMを使うことを暗示するかどうかを検証した。
論文 参考訳（メタデータ） (2024-02-08T07:20:02Z) - Divergences between Language Models and Human Brains [63.405788999891335]
最近の研究は、言語モデルの内部表現(LM)を用いて脳信号が効果的に予測できることを示唆している。
我々は、LMと人間が言語をどのように表現し、使用するかに明確な違いがあることを示します。
我々は、社会的・情緒的知性と身体的常識という、LMによってうまく捉えられていない2つの領域を識別する。
論文 参考訳（メタデータ） (2023-11-15T19:02:40Z) - PsyCoT: Psychological Questionnaire as Powerful Chain-of-Thought for
Personality Detection [50.66968526809069]
PsyCoTと呼ばれる新しい人格検出手法を提案する。これは、個人がマルチターン対話方式で心理的質問を完遂する方法を模倣するものである。
実験の結果,PsyCoTは人格検出におけるGPT-3.5の性能とロバスト性を大幅に向上させることがわかった。
論文 参考訳（メタデータ） (2023-10-31T08:23:33Z) - HumBEL: A Human-in-the-Loop Approach for Evaluating Demographic Factors
of Language Models in Human-Machine Conversations [26.59671463642373]
LM言語スキルの人口統計学的要因を計測して,対象とする人口動態との整合性を決定する方法について検討する。
ヒトにおける言語スキル獲得の基準を持つ音声言語病理の臨床的手法を提案する。
本稿では,専門医(臨床認可言語病理医)と共同で評価を行い,臨床評価を大規模に補完する自動手法を提案する。
論文 参考訳（メタデータ） (2023-05-23T16:15:24Z) - Evaluating and Inducing Personality in Pre-trained Language Models [78.19379997967191]
人間の個性理論を機械行動研究のツールとして活用することで,心理測定研究からインスピレーションを得た。
これらの疑問に答えるために,機械の動作を研究するためのMachine Personality Inventory(MPI)ツールを紹介した。
MPIは、ビッグファイブ・パーソナリティ・ファクター(Big Five Personality Factors、ビッグファイブ・パーソナリティ・ファクター)理論とパーソナリティ評価在庫に基づく標準化されたパーソナリティ・テストに従う。
パーソナリティ・プロンプト法(P2法)を考案し、特定のパーソナリティを持つLSMを制御可能な方法で誘導する。
論文 参考訳（メタデータ） (2022-05-20T07:32:57Z) - Can Transformer Language Models Predict Psychometric Properties? [0.0]
トランスフォーマーベースの言語モデル(LM)は、NLPベンチマークタスクにおける最先端のパフォーマンスを向上し続けている。
LMは、被験者にこれらのアイテムが与えられたときに、テスト項目の心理測定特性がどのようなものになるかを予測するのに役立ちますか?
我々は,言語能力の幅広い診断試験において,多数の人やLMからの回答を収集する。
論文 参考訳（メタデータ） (2021-06-12T20:05:33Z) - Constructing a Testbed for Psychometric Natural Language Processing [0.5801044612920815]
心理測定自然言語処理(NLP)のためのコーパス構築への取り組みについて述べる。
我々は,ユーザテキストを調査に基づく回答項目と整合させる多段階プロセスについて論じる。
本稿では,ユーザの調査回答ラベルを分類・予測するためのテキストの使用に関する予備的な結果について報告する。
論文 参考訳（メタデータ） (2020-07-25T16:29:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。