論文の概要: The potential -- and the pitfalls -- of using pre-trained language models as cognitive science theories

• arxiv url: http://arxiv.org/abs/2501.12651v1
• Date: Wed, 22 Jan 2025 05:24:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-23 16:53:39.223903
• Title: The potential -- and the pitfalls -- of using pre-trained language models as cognitive science theories
• Title（参考訳）: 認知科学理論としての事前学習言語モデルの可能性と落とし穴
• Authors: Raj Sanjay Shah, Sashank Varma,
• Abstract要約: PLMを認知科学理論として活用する上での課題について論じる。 我々は,PLM性能の指標を人的性能の尺度にマッピングするために研究者が用いた仮定をレビューする。 PLMを認知・認知発達の信頼できる指標として用いるための基準を列挙する。
• 参考スコア（独自算出の注目度）: 2.6549754445378344
• License:
• Abstract: Many studies have evaluated the cognitive alignment of Pre-trained Language Models (PLMs), i.e., their correspondence to adult performance across a range of cognitive domains. Recently, the focus has expanded to the developmental alignment of these models: identifying phases during training where improvements in model performance track improvements in children's thinking over development. However, there are many challenges to the use of PLMs as cognitive science theories, including different architectures, different training data modalities and scales, and limited model interpretability. In this paper, we distill lessons learned from treating PLMs, not as engineering artifacts but as cognitive science and developmental science models. We review assumptions used by researchers to map measures of PLM performance to measures of human performance. We identify potential pitfalls of this approach to understanding human thinking, and we end by enumerating criteria for using PLMs as credible accounts of cognition and cognitive development.
• Abstract（参考訳）: 多くの研究は、プレトレーニング言語モデル(PLM)の認知的アライメント、すなわち、様々な認知領域にわたる成人のパフォーマンスに対する対応を評価してきた。 近年、これらのモデルの発達的アライメントに焦点が当てられている: 学習中のフェーズを特定し、モデルパフォーマンスの改善は、発達に対する子どもの思考を改善する。 しかしながら、認知科学理論としてPLMを使うことには、異なるアーキテクチャ、異なるトレーニングデータモダリティとスケール、限定されたモデル解釈可能性など、多くの課題がある。 本稿では, PLMを工学的アーティファクトとしてではなく, 認知科学・発達科学モデルとして扱うことによって学んだ教訓を抽出する。 我々は,PLM性能の指標を人的性能の尺度にマッピングするために研究者が用いた仮定をレビューする。 我々は、人間の思考を理解するためのこのアプローチの潜在的な落とし穴を特定し、PLMを認知と認知発達の信頼できる説明として使うための基準を列挙することで、終わりを告げる。

関連論文リスト

• Large Language Models and Cognitive Science: A Comprehensive Review of Similarities, Differences, and Challenges [14.739357670600102]
  本稿では,Large Language Models(LLM)と認知科学の交わりについて概観する。 我々は,LLMの認知能力を評価する手法を分析し,認知モデルとしての可能性について議論する。 我々はLLMの認知バイアスと限界を評価し,その性能向上手法を提案する。
  論文  参考訳（メタデータ） (2024-09-04T02:30:12Z)
• PersLLM: A Personified Training Approach for Large Language Models [66.16513246245401]
  社会実践, 一貫性, 動的発達という, 心理学に根ざした個性の原則を統合したPersLLMを提案する。 モデルパラメータに直接パーソナリティ特性を組み込み、誘導に対するモデルの抵抗性を高め、一貫性を高め、パーソナリティの動的進化を支援する。
  論文  参考訳（メタデータ） (2024-07-17T08:13:22Z)
• A Survey of Models for Cognitive Diagnosis: New Developments and Future Directions [66.40362209055023]
  本研究の目的は,認知診断の現在のモデルについて,機械学習を用いた新たな展開に注目した調査を行うことである。 モデル構造,パラメータ推定アルゴリズム,モデル評価方法,適用例を比較して,認知診断モデルの最近の傾向を概観する。
  論文  参考訳（メタデータ） (2024-07-07T18:02:00Z)
• Development of Cognitive Intelligence in Pre-trained Language Models [3.1815791977708834]
  近年の研究では、大規模事前学習言語モデルにおける創発的認知能力の証拠が示されている。 PLMの発達軌跡は、人間の認知発達に対する最大限の調整の窓を一貫して示している。 この窓のあと、トレーニングは損失を減らすという工学的な目標に役立っているように見えるが、人間の認知との整合性を高めるという科学的目標ではない。
  論文  参考訳（メタデータ） (2024-07-01T07:56:36Z)
• ConcEPT: Concept-Enhanced Pre-Training for Language Models [57.778895980999124]
  ConcEPTは、概念知識を事前訓練された言語モデルに注入することを目的としている。 これは、事前訓練されたコンテキストで言及されたエンティティの概念を予測するために、外部エンティティの概念予測を利用する。 実験の結果,ConcEPTは概念強化事前学習により概念知識を向上することがわかった。
  論文  参考訳（メタデータ） (2024-01-11T05:05:01Z)
• Exploring the Cognitive Knowledge Structure of Large Language Models: An Educational Diagnostic Assessment Approach [50.125704610228254]
  大規模言語モデル(LLM)は、様々なタスクにまたがる例外的なパフォーマンスを示すだけでなく、知性の火花も示している。 近年の研究では、人間の試験における能力の評価に焦点が当てられ、異なる領域における彼らの印象的な能力を明らかにしている。 ブルーム分類に基づく人体検査データセットであるMoocRadarを用いて評価を行った。
  論文  参考訳（メタデータ） (2023-10-12T09:55:45Z)
• Comparing Machines and Children: Using Developmental Psychology Experiments to Assess the Strengths and Weaknesses of LaMDA Responses [0.02999888908665658]
  我々は,Googleの大規模言語モデルであるLaMDAの能力を評価するために,古典的な開発実験を適用した。 社会的理解に関する実験において,LaMDAは子どもと同様の適切な反応を産み出すことがわかった。 一方、初期の対象と行動理解、心の理論、特に因果推論タスクに対するLaMDAの反応は、幼児のそれとは大きく異なる。
  論文  参考訳（メタデータ） (2023-05-18T18:15:43Z)
• Machine Psychology [54.287802134327485]
  我々は、心理学にインスパイアされた行動実験において、研究のための実りある方向が、大きな言語モデルに係わっていると論じる。 本稿では,本手法が表に示す理論的視点,実験パラダイム,計算解析技術について述べる。 これは、パフォーマンスベンチマークを超えた、生成人工知能(AI)のための「機械心理学」の道を開くものだ。
  論文  参考訳（メタデータ） (2023-03-24T13:24:41Z)
• Cognitive Modeling of Semantic Fluency Using Transformers [6.445605125467574]
  本研究では,認知科学におけるよく研究された課題であるセマンティック・フラエンシ・タスク(SFT)において,人間のパフォーマンスを予測することで第一歩を踏み出す。 実装上の違いが明らかであるにもかかわらず,人間の流布作業行動の個人差を識別するためにTLMを使用することが可能であることを示す予備的証拠を報告する。 本稿では,知識表現の認知的モデリングにおける本研究の意義について論じる。
  論文  参考訳（メタデータ） (2022-08-20T16:48:04Z)
• Towards Interpretable Deep Learning Models for Knowledge Tracing [62.75876617721375]
  本稿では,深層学習に基づく知識追跡(DLKT)モデルの解釈可能性問題に対処するポストホック手法を提案する。 具体的には、RNNに基づくDLKTモデルを解釈するために、レイヤワイズ関連伝搬法(LRP)を適用することに焦点をあてる。 実験結果から,DLKTモデルの予測をLRP法で解釈できることを示す。
  論文  参考訳（メタデータ） (2020-05-13T04:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。