論文の概要: Cognitive Modeling of Semantic Fluency Using Transformers
- arxiv url: http://arxiv.org/abs/2208.09719v1
- Date: Sat, 20 Aug 2022 16:48:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-23 12:17:22.148331
- Title: Cognitive Modeling of Semantic Fluency Using Transformers
- Title(参考訳): トランスフォーマーを用いた意味フルエンシーの認知モデル
- Authors: Animesh Nighojkar, Anna Khlyzova, John Licato
- Abstract要約: 本研究では,認知科学におけるよく研究された課題であるセマンティック・フラエンシ・タスク(SFT)において,人間のパフォーマンスを予測することで第一歩を踏み出す。
実装上の違いが明らかであるにもかかわらず,人間の流布作業行動の個人差を識別するためにTLMを使用することが可能であることを示す予備的証拠を報告する。
本稿では,知識表現の認知的モデリングにおける本研究の意義について論じる。
- 参考スコア(独自算出の注目度): 6.445605125467574
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Can deep language models be explanatory models of human cognition? If so,
what are their limits? In order to explore this question, we propose an
approach called hyperparameter hypothesization that uses predictive
hyperparameter tuning in order to find individuating descriptors of
cognitive-behavioral profiles. We take the first step in this approach by
predicting human performance in the semantic fluency task (SFT), a well-studied
task in cognitive science that has never before been modeled using
transformer-based language models (TLMs). In our task setup, we compare several
approaches to predicting which word an individual performing SFT will utter
next. We report preliminary evidence suggesting that, despite obvious
implementational differences in how people and TLMs learn and use language,
TLMs can be used to identify individual differences in human fluency task
behaviors better than existing computational models, and may offer insights
into human memory retrieval strategies -- cognitive process not typically
considered to be the kinds of things TLMs can model. Finally, we discuss the
implications of this work for cognitive modeling of knowledge representations.
- Abstract(参考訳): 深層言語モデルは人間の認知の説明モデルとなるか?
もしそうなら、その限界は何でしょう?
そこで本研究では,認知行動プロファイルの個別化記述子を見つけるために,予測的ハイパーパラメータチューニングを用いたハイパーパラメータ仮説法を提案する。
本研究では,トランスフォーマーベース言語モデル(TLM)を用いてモデル化されたことのない認知科学の課題であるセマンティック・フラエンシ・タスク(SFT)において,人間のパフォーマンスを予測することによって,このアプローチの第一歩を踏み出す。
タスク設定では、SFTを実行する個人が次に発する単語を予測するためのいくつかのアプローチを比較する。
我々は、人やTLMが言語を学習し、使用する方法に明らかな実装上の違いがあるにもかかわらず、TLMは、既存の計算モデルよりも優れた人間の流用タスクの振る舞いの個人差を特定するために使用することができ、人間の記憶検索戦略に関する洞察を与える可能性があることを示唆する予備的な証拠を報告する。
最後に,本研究が知識表現の認知的モデリングに与える影響について考察する。
関連論文リスト
- Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。
ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。
本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
論文 参考訳(メタデータ) (2023-11-08T20:41:18Z) - Improving Language Models Meaning Understanding and Consistency by
Learning Conceptual Roles from Dictionary [65.268245109828]
現代事前訓練言語モデル(PLM)の非人間的行動は、その信頼性を損なう主要な原因である。
驚くべき現象は、矛盾した結果を生み出す不整合予測の生成である。
本研究では,PLMの認知度を向上させることで,一貫性のない行動問題を緩和する実践的アプローチを提案する。
論文 参考訳(メタデータ) (2023-10-24T06:15:15Z) - Seeking Neural Nuggets: Knowledge Transfer in Large Language Models from
a Parametric Perspective [114.70886320845715]
大規模言語モデル(LLM)は本質的に、広範囲なコーパスの事前学習を通じて、パラメータ内の豊富な知識を符号化する。
本稿では,パラメトリックの観点から,大規模モデルから小規模モデルへの知識伝達を実証的に検討する。
論文 参考訳(メタデータ) (2023-10-17T17:58:34Z) - Beyond Convergence: Identifiability of Machine Learning and Deep
Learning Models [0.0]
本研究では,モデルパラメータ識別可能性の概念を,モーションセンサデータからのパラメータ推定に焦点をあてたケーススタディにより検討する。
我々は、質量、剛性、平衡脚長などの主観的パラメータを推定するために、ディープニューラルネットワークを用いる。
その結果、観測データから特定のパラメータを特定できるが、他のパラメータは未同定のままであることがわかった。
論文 参考訳(メタデータ) (2023-07-21T03:40:53Z) - On Conditional and Compositional Language Model Differentiable Prompting [75.76546041094436]
プロンプトは、下流タスクでうまく機能するために、凍結した事前訓練言語モデル(PLM)を適応するための効果的な方法であることが示されている。
タスク命令や入力メタデータを連続的なプロンプトに変換することを学習する新しいモデル Prompt Production System (PRopS) を提案する。
論文 参考訳(メタデータ) (2023-07-04T02:47:42Z) - Turning large language models into cognitive models [0.0]
大規模言語モデルが認知モデルに変換可能であることを示す。
これらのモデルは人間の行動の正確な表現を提供し、2つの意思決定領域において従来の認知モデルよりも優れている。
これらの結果は、大規模で事前学習されたモデルが一般的な認知モデルに適応できることを示唆している。
論文 参考訳(メタデータ) (2023-06-06T18:00:01Z) - Inverse Dynamics Pretraining Learns Good Representations for Multitask
Imitation [66.86987509942607]
このようなパラダイムを模倣学習でどのように行うべきかを評価する。
本稿では,事前学習コーパスがマルチタスクのデモンストレーションから成り立つ環境について考察する。
逆動力学モデリングはこの設定に適していると主張する。
論文 参考訳(メタデータ) (2023-05-26T14:40:46Z) - An Exploration of Prompt Tuning on Generative Spoken Language Model for
Speech Processing Tasks [112.1942546460814]
生成音声言語モデル(GSLM)に基づく音声処理タスクの即時チューニングパラダイムの最初の検討について報告する。
実験結果から, 学習可能なパラメータが少ない音声分類タスクにおいて, 高精度なダウンストリームモデルよりも, 即時チューニング手法が競合性能を達成できることが示唆された。
論文 参考訳(メタデータ) (2022-03-31T03:26:55Z) - Model-agnostic Fits for Understanding Information Seeking Patterns in
Humans [0.0]
不確実な意思決定タスクでは、人間はそのタスクに関連する情報を探し、統合し、行動する際、特徴的なバイアスを示す。
ここでは,これらのバイアスを総合的に測定・分類した,大規模に収集した先行設計実験のデータを再検討した。
これらのバイアスを集約的に再現するディープラーニングモデルを設計し、個々の行動の変化を捉えます。
論文 参考訳(メタデータ) (2020-12-09T04:34:58Z) - On the Predictive Power of Neural Language Models for Human Real-Time
Comprehension Behavior [29.260666424382446]
我々は、自然言語テキストコーパスにおいて、その次の単語の予測が人間の読書時間をどのように予測するかを、2ダース以上のモデルで検証する。
これらのモデルの特徴が、その心理測定的予測能力や、人間の読書行動を予測する能力をどのように決定するかを評価する。
任意の難易度に対して、ディープトランスフォーマーモデルとn-gramモデルはLSTMや構造的に制御されたニューラルモデルよりも優れた心理測定予測力を示す。
論文 参考訳(メタデータ) (2020-06-02T19:47:01Z) - Learning Opinion Dynamics From Social Traces [25.161493874783584]
本稿では,現実の社会的トレースに,生成的,エージェントライクな意見力学モデルを適用するための推論機構を提案する。
本稿では,古典的エージェントに基づく意見力学モデルから,その生成的モデルへの変換による提案について紹介する。
われわれのモデルをRedditの現実世界のデータに適用して、バックファイア効果の影響に関する長年にわたる疑問を探る。
論文 参考訳(メタデータ) (2020-06-02T14:48:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。