論文の概要: Comparing Machines and Children: Using Developmental Psychology Experiments to Assess the Strengths and Weaknesses of LaMDA Responses

• arxiv url: http://arxiv.org/abs/2305.11243v2
• Date: Tue, 7 Nov 2023 20:20:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-09 20:03:03.349515
• Title: Comparing Machines and Children: Using Developmental Psychology Experiments to Assess the Strengths and Weaknesses of LaMDA Responses
• Title（参考訳）: 機械と子どもの比較:発達心理学実験を用いてLaMDA反応の強さと弱さを評価する
• Authors: Eliza Kosoy, Emily Rose Reagan, Leslie Lai, Alison Gopnik and Danielle Krettek Cobb
• Abstract要約: 我々は,Googleの大規模言語モデルであるLaMDAの能力を評価するために,古典的な開発実験を適用した。 社会的理解に関する実験において,LaMDAは子どもと同様の適切な反応を産み出すことがわかった。 一方、初期の対象と行動理解、心の理論、特に因果推論タスクに対するLaMDAの反応は、幼児のそれとは大きく異なる。
• 参考スコア（独自算出の注目度）: 0.02999888908665658
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Developmental psychologists have spent decades devising experiments to test the intelligence and knowledge of infants and children, tracing the origin of crucial concepts and capacities. Moreover, experimental techniques in developmental psychology have been carefully designed to discriminate the cognitive capacities that underlie particular behaviors. We propose that using classical experiments from child development is a particularly effective way to probe the computational abilities of AI models, in general, and LLMs in particular. First, the methodological techniques of developmental psychology, such as the use of novel stimuli to control for past experience or control conditions to determine whether children are using simple associations, can be equally helpful for assessing the capacities of LLMs. In parallel, testing LLMs in this way can tell us whether the information that is encoded in text is sufficient to enable particular responses, or whether those responses depend on other kinds of information, such as information from exploration of the physical world. In this work we adapt classical developmental experiments to evaluate the capabilities of LaMDA, a large language model from Google. We propose a novel LLM Response Score (LRS) metric which can be used to evaluate other language models, such as GPT. We find that LaMDA generates appropriate responses that are similar to those of children in experiments involving social understanding, perhaps providing evidence that knowledge of these domains is discovered through language. On the other hand, LaMDA's responses in early object and action understanding, theory of mind, and especially causal reasoning tasks are very different from those of young children, perhaps showing that these domains require more real-world, self-initiated exploration and cannot simply be learned from patterns in language input.
• Abstract（参考訳）: 発達心理学者は、幼児や子供の知性と知識をテストする実験を数十年かけて開発し、重要な概念と能力の起源を辿ってきた。 さらに、発達心理学における実験技術は、特定の行動の根底にある認知能力を識別するために慎重に設計されている。 本稿では,子どもの発達における古典的実験の利用が,AIモデル,特にLLMの計算能力の探究に特に有効な方法であることを示す。 第一に, 発達心理学の方法論的手法として, 子どもが単純な関連性を用いているかどうかを判断するために, 過去の経験や制御条件の制御に新規刺激を用いることは, LLMの能力を評価する上でも同様に有用である。 この方法でLCMをテストすることで、テキストにエンコードされた情報が、特定の応答を可能にするのに十分かどうか、あるいは物理世界探索の情報など他の種類の情報に依存するかどうかを知ることができる。 本研究では,Googleの大規模言語モデルであるLaMDAの能力を評価するために,古典的な開発実験を適用する。 本稿では, GPT などの他の言語モデルの評価に使用できる新しい LLM Response Score (LRS) メトリクスを提案する。 社会的理解に関する実験において,LaMDAは子どもに類似した適切な反応を生じさせ,これらの領域の知識が言語を通して発見されることを示す。 一方、初期の対象と行動理解におけるLaMDAの反応、心の理論、特に因果推論タスクは、幼児のそれとは大きく異なり、おそらくこれらのドメインはより現実的で自己開始型の探索を必要としており、言語入力のパターンから単に学ぶことができないことを示している。

関連論文リスト

• Exploring Spatial Schema Intuitions in Large Language and Vision Models [10.567239684448344]
  大規模言語モデル(LLM)が言語ブロック構築に関する暗黙の人間の直感を効果的に捉えているかどうかを検討する。 驚くべきことに、モデル出力と人間の反応の相関が出現し、具体的体験と具体的なつながりのない適応性が明らかになる。 本研究は,大規模言語モデルによる言語,空間経験,計算間の相互作用の微妙な理解に寄与する。
  論文  参考訳（メタデータ） (2024-02-01T19:25:50Z)
• Exploring the Frontiers of LLMs in Psychological Applications: A Comprehensive Review [0.0]
  大規模言語モデル(LLM)は、人間の認知と行動の側面をシミュレートする可能性がある。 LLMは、文献レビュー、仮説生成、実験的なデザイン、実験的な主題、データ分析、学術的な執筆、心理学におけるピアレビューのための革新的なツールを提供する。 データプライバシ、心理的研究にLLMを使うことの倫理的意味、モデルの制限をより深く理解する必要がある、といった問題があります。
  論文  参考訳（メタデータ） (2024-01-03T03:01:29Z)
• Divergences between Language Models and Human Brains [63.405788999891335]
  最近の研究は、言語モデルの内部表現(LM)を用いて脳信号が効果的に予測できることを示唆している。 我々は、LMと人間が言語をどのように表現し、使用するかに明確な違いがあることを示します。 我々は、社会的・情緒的知性と身体的常識という、LMによってうまく捉えられていない2つの領域を識別する。
  論文  参考訳（メタデータ） (2023-11-15T19:02:40Z)
• Character-LLM: A Trainable Agent for Role-Playing [67.35139167985008]
  大規模言語モデル(LLM)は、人間の振る舞いをシミュレートするエージェントとして用いられる。 本稿では, ベートーヴェン, クレオパトラ女王, ユリウス・カエサルなど, LLM に特定の人物として行動するように教えるキャラクタ-LLMを紹介する。
  論文  参考訳（メタデータ） (2023-10-16T07:58:56Z)
• Exploring the Cognitive Knowledge Structure of Large Language Models: An Educational Diagnostic Assessment Approach [50.125704610228254]
  大規模言語モデル(LLM)は、様々なタスクにまたがる例外的なパフォーマンスを示すだけでなく、知性の火花も示している。 近年の研究では、人間の試験における能力の評価に焦点が当てられ、異なる領域における彼らの印象的な能力を明らかにしている。 ブルーム分類に基づく人体検査データセットであるMoocRadarを用いて評価を行った。
  論文  参考訳（メタデータ） (2023-10-12T09:55:45Z)
• Machine Psychology: Investigating Emergent Capabilities and Behavior in Large Language Models Using Psychological Methods [0.0]
  大規模言語モデル(LLM)は、現在、人間のコミュニケーションと日常の生活を結び付けるAIシステムの最前線にある。 本稿では「機械心理学」と呼ばれる新しい研究分野を紹介する。 機械心理学研究の方法論的基準を定義しており、特にプロンプトデザインのポリシーに焦点を当てている。
  論文  参考訳（メタデータ） (2023-03-24T13:24:41Z)
• Evaluating and Inducing Personality in Pre-trained Language Models [78.19379997967191]
  人間の個性理論を機械行動研究のツールとして活用することで,心理測定研究からインスピレーションを得た。 これらの疑問に答えるために,機械の動作を研究するためのMachine Personality Inventory(MPI)ツールを紹介した。 MPIは、ビッグファイブ・パーソナリティ・ファクター(Big Five Personality Factors、ビッグファイブ・パーソナリティ・ファクター)理論とパーソナリティ評価在庫に基づく標準化されたパーソナリティ・テストに従う。 パーソナリティ・プロンプト法(P2法)を考案し、特定のパーソナリティを持つLSMを制御可能な方法で誘導する。
  論文  参考訳（メタデータ） (2022-05-20T07:32:57Z)
• Is the Computation of Abstract Sameness Relations Human-Like in Neural Language Models? [4.0810783261728565]
  この研究は、人間の認知から知られている基本的なメカニズムを、最先端のNLPモデルが示すかどうかを考察する。 抽象的同性関係」の計算は、人間の言語習得と処理において重要な役割を果たしていると考えられている。
  論文  参考訳（メタデータ） (2022-05-12T15:19:54Z)
• From Psychological Curiosity to Artificial Curiosity: Curiosity-Driven Learning in Artificial Intelligence Tasks [56.20123080771364]
  心理学的好奇心は、探索と情報取得を通じて学習を強化するために、人間の知性において重要な役割を果たす。 人工知能(AI)コミュニティでは、人工好奇心は効率的な学習に自然な本質的な動機を与える。 CDLはますます人気を博し、エージェントは新たな知識を学習するために自己動機付けされている。
  論文  参考訳（メタデータ） (2022-01-20T17:07:03Z)
• AGENT: A Benchmark for Core Psychological Reasoning [60.35621718321559]
  直観心理学は、観察可能な行動を駆動する隠された精神変数を推論する能力です。 他のエージェントを推論する機械エージェントに対する近年の関心にもかかわらず、そのようなエージェントが人間の推論を駆動するコア心理学の原則を学ぶか保持するかは明らかではない。 本稿では,プロシージャが生成する3dアニメーション,エージェントを4つのシナリオで構成したベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-02-24T14:58:23Z)
• Exploring Exploration: Comparing Children with RL Agents in Unified Environments [24.042862527317258]
  本稿では,子どもとエージェントの行動を直接比較し,新たな探索手法を開発するためのプラットフォームとしてDeepMind Labを提案する。 直接比較の有効性を実証する2つの実験を概説し、この手法を用いて検証できると思われる多くのオープンな研究課題を概説する。
  論文  参考訳（メタデータ） (2020-05-06T14:54:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。