論文の概要: Predicting Human Psychometric Properties Using Computational Language
Models
- arxiv url: http://arxiv.org/abs/2205.06203v1
- Date: Thu, 12 May 2022 16:40:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-13 16:14:27.859917
- Title: Predicting Human Psychometric Properties Using Computational Language
Models
- Title(参考訳): 計算言語モデルを用いた人間の心理的特性の予測
- Authors: Antonio Laverghetta Jr., Animesh Nighojkar, Jamshidbek Mirzakhalov,
John Licato
- Abstract要約: トランスフォーマーベース言語モデル(LM)は、自然言語処理(NLP)ベンチマークにおける最先端のパフォーマンスを引き続き達成している。
LMは、これらの項目がヒトの被験者に与えられるとき、テスト項目の心理測定特性を予測するのに利用できるか?
我々は,言語能力の幅広い診断試験において,多数の人やLMからの回答を収集する。
次に,ヒトの反応とLMの反応を別々に利用して,診断試験における項目の標準的な心理測定特性を計算する。
- 参考スコア(独自算出の注目度): 5.806723407090421
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformer-based language models (LMs) continue to achieve state-of-the-art
performance on natural language processing (NLP) benchmarks, including tasks
designed to mimic human-inspired "commonsense" competencies. To better
understand the degree to which LMs can be said to have certain linguistic
reasoning skills, researchers are beginning to adapt the tools and concepts
from psychometrics. But to what extent can benefits flow in the other
direction? In other words, can LMs be of use in predicting the psychometric
properties of test items, when those items are given to human participants? If
so, the benefit for psychometric practitioners is enormous, as it can reduce
the need for multiple rounds of empirical testing. We gather responses from
numerous human participants and LMs (transformer- and non-transformer-based) on
a broad diagnostic test of linguistic competencies. We then use the human
responses to calculate standard psychometric properties of the items in the
diagnostic test, using the human responses and the LM responses separately. We
then determine how well these two sets of predictions correlate. We find that
transformer-based LMs predict the human psychometric data consistently well
across most categories, suggesting that they can be used to gather human-like
psychometric data without the need for extensive human trials.
- Abstract(参考訳): トランスフォーマーベースの言語モデル(LM)は、人間にインスパイアされた"コモンセンス"能力を模倣するタスクを含む、自然言語処理(NLP)ベンチマークにおける最先端のパフォーマンスを引き続き達成している。
LMが特定の言語的推論スキルを持つと言える程度をよりよく理解するために、研究者は精神測定からツールや概念を適応し始めている。
しかし、その逆の方向にどのようなメリットが流れるのか?
言い換えれば、LMは、その項目が人間の被験者に与えられるとき、テスト項目の心理測定特性を予測するのに役立ちますか?
もしそうなら、サイコメトリックな実践者にとっての利益は巨大であり、複数の経験的テストの必要性を減らすことができる。
我々は,言語能力の広範な診断試験において,多数の人的参加者とLM(トランスフォーマーおよび非トランスフォーマーベース)からの回答を収集する。
次に,ヒトの反応とLMの反応を別々に利用して,診断試験における項目の標準的な心理測定特性を計算する。
次に、これらの2つの予測セットの相関性を決定する。
トランスフォーマーをベースとしたLMは、ほとんどのカテゴリで一貫して人間の心理測定データを予測し、人間の心理測定データを集めるために、広範囲なヒトの治験を必要とせずに使用できることを示唆している。
関連論文リスト
- Large Language Models for Psycholinguistic Plausibility Pretesting [47.1250032409564]
本稿では,言語モデル (LM) が妥当性判定に有効かどうかを検討する。
その結果, GPT-4の妥当性判定は, 調査対象の構造全体にわたって, 人間の判断と高い相関関係があることが判明した。
そして、この相関関係が、人間の代わりにLMを使うことを暗示するかどうかを検証した。
論文 参考訳(メタデータ) (2024-02-08T07:20:02Z) - Divergences between Language Models and Human Brains [63.405788999891335]
最近の研究は、言語モデルの内部表現(LM)を用いて脳信号が効果的に予測できることを示唆している。
我々は、LMと人間が言語をどのように表現し、使用するかに明確な違いがあることを示します。
我々は、社会的・情緒的知性と身体的常識という、LMによってうまく捉えられていない2つの領域を識別する。
論文 参考訳(メタデータ) (2023-11-15T19:02:40Z) - PsyCoT: Psychological Questionnaire as Powerful Chain-of-Thought for
Personality Detection [50.66968526809069]
PsyCoTと呼ばれる新しい人格検出手法を提案する。これは、個人がマルチターン対話方式で心理的質問を完遂する方法を模倣するものである。
実験の結果,PsyCoTは人格検出におけるGPT-3.5の性能とロバスト性を大幅に向上させることがわかった。
論文 参考訳(メタデータ) (2023-10-31T08:23:33Z) - Efficiently Measuring the Cognitive Ability of LLMs: An Adaptive Testing
Perspective [63.92197404447808]
大きな言語モデル(LLM)は、人間のような認知能力を示している。
LLM評価のための適応テストフレームワークを提案する。
このアプローチは、モデルの性能に基づいて、難易度などのテスト問題の特徴を動的に調整する。
論文 参考訳(メタデータ) (2023-06-18T09:54:33Z) - Revisiting the Reliability of Psychological Scales on Large Language
Models [66.31055885857062]
本研究では,人格評価を大規模言語モデル(LLM)に適用する際の信頼性について検討する。
LLMのパーソナライズに光を当てることで、この分野での今後の探索の道を開くことに努める。
論文 参考訳(メタデータ) (2023-05-31T15:03:28Z) - HumBEL: A Human-in-the-Loop Approach for Evaluating Demographic Factors
of Language Models in Human-Machine Conversations [26.59671463642373]
LM言語スキルの人口統計学的要因を計測して,対象とする人口動態との整合性を決定する方法について検討する。
ヒトにおける言語スキル獲得の基準を持つ音声言語病理の臨床的手法を提案する。
本稿では,専門医(臨床認可言語病理医)と共同で評価を行い,臨床評価を大規模に補完する自動手法を提案する。
論文 参考訳(メタデータ) (2023-05-23T16:15:24Z) - Evaluating and Inducing Personality in Pre-trained Language Models [78.19379997967191]
人間の個性理論を機械行動研究のツールとして活用することで,心理測定研究からインスピレーションを得た。
これらの疑問に答えるために,機械の動作を研究するためのMachine Personality Inventory(MPI)ツールを紹介した。
MPIは、ビッグファイブ・パーソナリティ・ファクター(Big Five Personality Factors、ビッグファイブ・パーソナリティ・ファクター)理論とパーソナリティ評価在庫に基づく標準化されたパーソナリティ・テストに従う。
パーソナリティ・プロンプト法(P2法)を考案し、特定のパーソナリティを持つLSMを制御可能な方法で誘導する。
論文 参考訳(メタデータ) (2022-05-20T07:32:57Z) - Can Transformer Language Models Predict Psychometric Properties? [0.0]
トランスフォーマーベースの言語モデル(LM)は、NLPベンチマークタスクにおける最先端のパフォーマンスを向上し続けている。
LMは、被験者にこれらのアイテムが与えられたときに、テスト項目の心理測定特性がどのようなものになるかを予測するのに役立ちますか?
我々は,言語能力の幅広い診断試験において,多数の人やLMからの回答を収集する。
論文 参考訳(メタデータ) (2021-06-12T20:05:33Z) - Constructing a Testbed for Psychometric Natural Language Processing [0.5801044612920815]
心理測定自然言語処理(NLP)のためのコーパス構築への取り組みについて述べる。
我々は,ユーザテキストを調査に基づく回答項目と整合させる多段階プロセスについて論じる。
本稿では,ユーザの調査回答ラベルを分類・予測するためのテキストの使用に関する予備的な結果について報告する。
論文 参考訳(メタデータ) (2020-07-25T16:29:24Z) - On the Predictive Power of Neural Language Models for Human Real-Time
Comprehension Behavior [29.260666424382446]
我々は、自然言語テキストコーパスにおいて、その次の単語の予測が人間の読書時間をどのように予測するかを、2ダース以上のモデルで検証する。
これらのモデルの特徴が、その心理測定的予測能力や、人間の読書行動を予測する能力をどのように決定するかを評価する。
任意の難易度に対して、ディープトランスフォーマーモデルとn-gramモデルはLSTMや構造的に制御されたニューラルモデルよりも優れた心理測定予測力を示す。
論文 参考訳(メタデータ) (2020-06-02T19:47:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。