Fugu-MT 論文翻訳(概要): Language models emulate certain cognitive profiles: An investigation of how predictability measures interact with individual differences

論文の概要: Language models emulate certain cognitive profiles: An investigation of how predictability measures interact with individual differences

arxiv url: http://arxiv.org/abs/2406.04988v2
Date: Fri, 2 Aug 2024 11:49:54 GMT
ステータス: 処理完了
システム内更新日: 2024-08-05 17:43:44.675937
Title: Language models emulate certain cognitive profiles: An investigation of how predictability measures interact with individual differences
Title（参考訳）: 言語モデルは特定の認知プロファイルをエミュレートする:予測可能性測定と個人差との相互作用に関する研究
Authors: Patrick Haller, Lena S. Bolliger, Lena A. Jäger,
Abstract要約: 本研究では,人間の読取時間データに基づく言語モデル (LM) から推定した,主観的・エントロピー的測度の予測力を再考する。本研究は,認知的スコアに対する主観的・エントロピーの調整が,読解時間の予測精度を向上させるかどうかを考察する。本研究は,ほとんどのケースにおいて,認知能力の付加は,読書時間における主観的・エントロピーの予測能力を増加させることを示した。
参考スコア（独自算出の注目度）: 1.942809872918085
License: http://creativecommons.org/licenses/by/4.0/
Abstract: To date, most investigations on surprisal and entropy effects in reading have been conducted on the group level, disregarding individual differences. In this work, we revisit the predictive power of surprisal and entropy measures estimated from a range of language models (LMs) on data of human reading times as a measure of processing effort by incorporating information of language users' cognitive capacities. To do so, we assess the predictive power of surprisal and entropy estimated from generative LMs on reading data obtained from individuals who also completed a wide range of psychometric tests. Specifically, we investigate if modulating surprisal and entropy relative to cognitive scores increases prediction accuracy of reading times, and we examine whether LMs exhibit systematic biases in the prediction of reading times for cognitively high- or low-performing groups, revealing what type of psycholinguistic subject a given LM emulates. Our study finds that in most cases, incorporating cognitive capacities increases predictive power of surprisal and entropy on reading times, and that generally, high performance in the psychometric tests is associated with lower sensitivity to predictability effects. Finally, our results suggest that the analyzed LMs emulate readers with lower verbal intelligence, suggesting that for a given target group (i.e., individuals with high verbal intelligence), these LMs provide less accurate predictability estimates.
Abstract（参考訳）: これまで, 集団レベルでは, 個人差によらず, 読書における主観的, エントロピー的効果に関するほとんどの調査が実施されてきた。本研究では,言語利用者の認知能力の情報を組み込んだ処理努力の指標として,人間の読取時間データに基づく言語モデル(LM)から推定される,素因とエントロピーの予測力を再考する。そこで本研究では,広範囲な心理測定試験を完了した個人から得られた読解データに基づいて,世代別およびエントロピーの推定値の予測力を評価した。具体的には,認知的スコアに対する主観的・エントロピーの調節が読解時間の予測精度を高めるかどうかを検討するとともに,認知的ハイパフォーマンス群や低パフォーマンス群の読解時間の予測において,LMが体系的なバイアスを示すかどうかを検証し,与えられたLMがどのような心理言語的対象をエミュレートするかを明らかにする。本研究は, 認知能力の付加は, 読解時間における主観的・エントロピーの予測能力を高め, 一般に, 心理測定試験における高い評価は, 予測可能性に対する感度の低下と関連していることを明らかにした。最後に, 分析したLMは, 対象群(高い言語知能を有する個人)に対して, 精度の低い予測可能性を示唆した。

関連論文リスト

Beyond Text: Leveraging Multi-Task Learning and Cognitive Appraisal Theory for Post-Purchase Intention Analysis [10.014248704653]
本研究では,ユーザの行動を予測するための認知評価理論に基づくマルチタスク学習フレームワークを評価する。実験の結果, ユーザの言語や特徴は, テキストのみから予測するモデル以上の予測を改善することがわかった。
論文参考訳（メタデータ） (2024-07-11T04:57:52Z)
Connected Speech-Based Cognitive Assessment in Chinese and English [10.205946648609752]
本稿では,コネクテッド音声の分析による認知機能評価のための新しいベンチマークデータセットと予測タスクを提案する。このデータセットは、認知障害のレベルが異なる中国語と英語の話者のための音声サンプルと臨床情報で構成されている。予測タスクは、軽度の認知障害診断と認知テストスコア予測を含む。
論文参考訳（メタデータ） (2024-06-11T19:04:29Z)
LLMvsSmall Model? Large Language Model Based Text Augmentation Enhanced Personality Detection Model [58.887561071010985]
パーソナリティ検出は、ソーシャルメディア投稿に根ざした性格特性を検出することを目的としている。既存のほとんどのメソッドは、事前訓練された言語モデルを微調整することで、ポスト機能を直接学習する。本稿では,大規模言語モデル (LLM) に基づくテキスト拡張強化人格検出モデルを提案する。
論文参考訳（メタデータ） (2024-03-12T12:10:18Z)
PsyCoT: Psychological Questionnaire as Powerful Chain-of-Thought for Personality Detection [50.66968526809069]
PsyCoTと呼ばれる新しい人格検出手法を提案する。これは、個人がマルチターン対話方式で心理的質問を完遂する方法を模倣するものである。実験の結果,PsyCoTは人格検出におけるGPT-3.5の性能とロバスト性を大幅に向上させることがわかった。
論文参考訳（メタデータ） (2023-10-31T08:23:33Z)
Automatically measuring speech fluency in people with aphasia: first achievements using read-speech data [55.84746218227712]
本研究の目的は,言語習得の分野で開発された信号処理algorithmの関連性を評価することである。
論文参考訳（メタデータ） (2023-08-09T07:51:40Z)
ASPEST: Bridging the Gap Between Active Learning and Selective Prediction [56.001808843574395]
選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
論文参考訳（メタデータ） (2023-04-07T23:51:07Z)
On the Effect of Anticipation on Reading Times [84.27103313675342]
我々は単語の文脈エントロピーとして予測を運用する。単語の読解時間に対する文脈的エントロピーの影響を示す重要な証拠が得られた。
論文参考訳（メタデータ） (2022-11-25T18:58:23Z)
Predicting Human Psychometric Properties Using Computational Language Models [5.806723407090421]
トランスフォーマーベース言語モデル(LM)は、自然言語処理(NLP)ベンチマークにおける最先端のパフォーマンスを引き続き達成している。 LMは、これらの項目がヒトの被験者に与えられるとき、テスト項目の心理測定特性を予測するのに利用できるか? 我々は,言語能力の幅広い診断試験において,多数の人やLMからの回答を収集する。次に,ヒトの反応とLMの反応を別々に利用して,診断試験における項目の標準的な心理測定特性を計算する。
論文参考訳（メタデータ） (2022-05-12T16:40:12Z)
Evaluating Distributional Distortion in Neural Language Modeling [81.83408583979745]
稀な事象の重みは、言語における分布の総確率質量のかなりの量を占める。パープレキシティなどの標準言語モデリングメトリクスは、集約された言語モデル(LM)のパフォーマンスを定量化する。自然言語を人工言語として訓練した生成モデルを用いた制御評価手法を開発した。
論文参考訳（メタデータ） (2022-03-24T01:09:46Z)
Can Transformer Language Models Predict Psychometric Properties? [0.0]
トランスフォーマーベースの言語モデル(LM)は、NLPベンチマークタスクにおける最先端のパフォーマンスを向上し続けている。 LMは、被験者にこれらのアイテムが与えられたときに、テスト項目の心理測定特性がどのようなものになるかを予測するのに役立ちますか? 我々は,言語能力の幅広い診断試験において,多数の人やLMからの回答を収集する。
論文参考訳（メタデータ） (2021-06-12T20:05:33Z)
On the Predictive Power of Neural Language Models for Human Real-Time Comprehension Behavior [29.260666424382446]
我々は、自然言語テキストコーパスにおいて、その次の単語の予測が人間の読書時間をどのように予測するかを、2ダース以上のモデルで検証する。これらのモデルの特徴が、その心理測定的予測能力や、人間の読書行動を予測する能力をどのように決定するかを評価する。任意の難易度に対して、ディープトランスフォーマーモデルとn-gramモデルはLSTMや構造的に制御されたニューラルモデルよりも優れた心理測定予測力を示す。
論文参考訳（メタデータ） (2020-06-02T19:47:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。