論文の概要: Cognitive Modeling of Semantic Fluency Using Transformers

• arxiv url: http://arxiv.org/abs/2208.09719v1
• Date: Sat, 20 Aug 2022 16:48:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-23 12:17:22.148331
• Title: Cognitive Modeling of Semantic Fluency Using Transformers
• Title（参考訳）: トランスフォーマーを用いた意味フルエンシーの認知モデル
• Authors: Animesh Nighojkar, Anna Khlyzova, John Licato
• Abstract要約: 本研究では,認知科学におけるよく研究された課題であるセマンティック・フラエンシ・タスク(SFT)において,人間のパフォーマンスを予測することで第一歩を踏み出す。 実装上の違いが明らかであるにもかかわらず,人間の流布作業行動の個人差を識別するためにTLMを使用することが可能であることを示す予備的証拠を報告する。 本稿では,知識表現の認知的モデリングにおける本研究の意義について論じる。
• 参考スコア（独自算出の注目度）: 6.445605125467574
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Can deep language models be explanatory models of human cognition? If so, what are their limits? In order to explore this question, we propose an approach called hyperparameter hypothesization that uses predictive hyperparameter tuning in order to find individuating descriptors of cognitive-behavioral profiles. We take the first step in this approach by predicting human performance in the semantic fluency task (SFT), a well-studied task in cognitive science that has never before been modeled using transformer-based language models (TLMs). In our task setup, we compare several approaches to predicting which word an individual performing SFT will utter next. We report preliminary evidence suggesting that, despite obvious implementational differences in how people and TLMs learn and use language, TLMs can be used to identify individual differences in human fluency task behaviors better than existing computational models, and may offer insights into human memory retrieval strategies -- cognitive process not typically considered to be the kinds of things TLMs can model. Finally, we discuss the implications of this work for cognitive modeling of knowledge representations.
• Abstract（参考訳）: 深層言語モデルは人間の認知の説明モデルとなるか? もしそうなら、その限界は何でしょう? そこで本研究では,認知行動プロファイルの個別化記述子を見つけるために,予測的ハイパーパラメータチューニングを用いたハイパーパラメータ仮説法を提案する。 本研究では,トランスフォーマーベース言語モデル(TLM)を用いてモデル化されたことのない認知科学の課題であるセマンティック・フラエンシ・タスク(SFT)において,人間のパフォーマンスを予測することによって,このアプローチの第一歩を踏み出す。 タスク設定では、SFTを実行する個人が次に発する単語を予測するためのいくつかのアプローチを比較する。 我々は、人やTLMが言語を学習し、使用する方法に明らかな実装上の違いがあるにもかかわらず、TLMは、既存の計算モデルよりも優れた人間の流用タスクの振る舞いの個人差を特定するために使用することができ、人間の記憶検索戦略に関する洞察を与える可能性があることを示唆する予備的な証拠を報告する。 最後に,本研究が知識表現の認知的モデリングに与える影響について考察する。

関連論文リスト

• Towards Automation of Cognitive Modeling using Large Language Models [4.269194018613294]
  計算認知モデルにより、研究者は認知過程を定量化し、モデルと行動データを組み合わせることによって理論間を仲裁することができる。 これまでの研究で、Large Language Models (LLM) はパターン認識のコンテキスト、複雑な問題の解決、実行可能コードの生成に長けていることが証明されてきた。 我々はこれらの能力を活用し、行動データに基づく認知モデルの自動生成におけるLLMの可能性を探究する。
  論文  参考訳（メタデータ） (2025-02-02T19:07:13Z)
• The potential -- and the pitfalls -- of using pre-trained language models as cognitive science theories [2.6549754445378344]
  PLMを認知科学理論として活用する上での課題について論じる。 我々は,PLM性能の指標を人的性能の尺度にマッピングするために研究者が用いた仮定をレビューする。 PLMを認知・認知発達の信頼できる指標として用いるための基準を列挙する。
  論文  参考訳（メタデータ） (2025-01-22T05:24:23Z)
• Can Language Models Learn to Skip Steps? [59.84848399905409]
  我々は推論においてステップをスキップする能力について研究する。 効率を高めたり認知負荷を減らすためのステップをスキップする人間とは異なり、モデルはそのようなモチベーションを持っていない。 私たちの研究は、人間のようなステップスキッピング能力に関する最初の調査である。
  論文  参考訳（メタデータ） (2024-11-04T07:10:24Z)
• Reverse-Engineering the Reader [43.26660964074272]
  本稿では,線形回帰器のパラメータを暗黙的に最適化するために,言語モデルを微調整する新しいアライメント手法を提案する。 単語をテストケースとして使用し、複数のモデルサイズとデータセットにわたる手法を評価する。 ダウンストリームNLPタスクにおける心理測定パワーとモデルの性能の逆関係と、ホールドアウトテストデータにおけるその難易度を見出した。
  論文  参考訳（メタデータ） (2024-10-16T23:05:01Z)
• Language Models Trained to do Arithmetic Predict Human Risky and Intertemporal Choice [4.029252551781513]
  本稿では,認知モデルとしての大規模言語モデルの有用性を高める新しい手法を提案する。 生態学的に有効な算術的データセットに基づいて事前訓練されたLLMは、従来の認知モデルよりも人間の行動を予測する。
  論文  参考訳（メタデータ） (2024-05-29T17:37:14Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Improving Language Models Meaning Understanding and Consistency by Learning Conceptual Roles from Dictionary [65.268245109828]
  現代事前訓練言語モデル(PLM)の非人間的行動は、その信頼性を損なう主要な原因である。 驚くべき現象は、矛盾した結果を生み出す不整合予測の生成である。 本研究では,PLMの認知度を向上させることで,一貫性のない行動問題を緩和する実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-24T06:15:15Z)
• On Conditional and Compositional Language Model Differentiable Prompting [75.76546041094436]
  プロンプトは、下流タスクでうまく機能するために、凍結した事前訓練言語モデル(PLM)を適応するための効果的な方法であることが示されている。 タスク命令や入力メタデータを連続的なプロンプトに変換することを学習する新しいモデル Prompt Production System (PRopS) を提案する。
  論文  参考訳（メタデータ） (2023-07-04T02:47:42Z)
• Turning large language models into cognitive models [0.0]
  大規模言語モデルが認知モデルに変換可能であることを示す。 これらのモデルは人間の行動の正確な表現を提供し、2つの意思決定領域において従来の認知モデルよりも優れている。 これらの結果は、大規模で事前学習されたモデルが一般的な認知モデルに適応できることを示唆している。
  論文  参考訳（メタデータ） (2023-06-06T18:00:01Z)
• Inverse Dynamics Pretraining Learns Good Representations for Multitask Imitation [66.86987509942607]
  このようなパラダイムを模倣学習でどのように行うべきかを評価する。 本稿では,事前学習コーパスがマルチタスクのデモンストレーションから成り立つ環境について考察する。 逆動力学モデリングはこの設定に適していると主張する。
  論文  参考訳（メタデータ） (2023-05-26T14:40:46Z)
• An Exploration of Prompt Tuning on Generative Spoken Language Model for Speech Processing Tasks [112.1942546460814]
  生成音声言語モデル(GSLM)に基づく音声処理タスクの即時チューニングパラダイムの最初の検討について報告する。 実験結果から, 学習可能なパラメータが少ない音声分類タスクにおいて, 高精度なダウンストリームモデルよりも, 即時チューニング手法が競合性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2022-03-31T03:26:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。