論文の概要: Behavioral estimates of conceptual structure are robust across tasks in humans but not large language models

• arxiv url: http://arxiv.org/abs/2304.02754v1
• Date: Wed, 5 Apr 2023 21:27:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-07 16:01:57.591360
• Title: Behavioral estimates of conceptual structure are robust across tasks in humans but not large language models
• Title（参考訳）: 概念構造の行動推定は人間のタスク全体にわたって堅牢であるが、大きな言語モデルではない
• Authors: Siddharth Suresh, Lisa Padua, Kushin Mukherjee, Timothy T Rogers
• Abstract要約: 我々は認知心理学の手法を用いて、人間とよく知られたAIの語彙・意味構造を推定し、比較する。 ヒトでは、概念構造は文化、言語、推定方法の違いに対して堅牢であることを示す。 結果は、現代のAIにおける知識が人間の認知と異なる可能性がある重要な方法の1つを示唆している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural network models of language have long been used as a tool for developing hypotheses about conceptual representation in the mind and brain. For many years, such use involved extracting vector-space representations of words and using distances among these to predict or understand human behavior in various semantic tasks. In contemporary language AIs, however, it is possible to interrogate the latent structure of conceptual representations using methods nearly identical to those commonly used with human participants. The current work uses two common techniques borrowed from cognitive psychology to estimate and compare lexical-semantic structure in both humans and a well-known AI, the DaVinci variant of GPT-3. In humans, we show that conceptual structure is robust to differences in culture, language, and method of estimation. Structures estimated from AI behavior, while individually fairly consistent with those estimated from human behavior, depend much more upon the particular task used to generate behavior responses--responses generated by the very same model in the two tasks yield estimates of conceptual structure that cohere less with one another than do human structure estimates. The results suggest one important way that knowledge inhering in contemporary AIs can differ from human cognition.
• Abstract（参考訳）: 言語のニューラルネットワークモデルは、心と脳における概念表現に関する仮説を開発するツールとして長い間使われてきた。 長年にわたり、単語のベクトル空間表現を抽出し、それらの間の距離を使って様々な意味的タスクにおける人間の振る舞いを予測または理解してきた。 しかし、現代言語AIでは、概念表現の潜在構造を、人間の参加者がよく使う方法とほぼ同一の手法で問うことが可能である。 現在の研究は、認知心理学から借用された2つの一般的な手法を用いて、人間とよく知られたAIであるダヴィンチのGPT-3の語彙的意味構造を推定し比較している。 ヒトでは、概念構造は文化、言語、推定方法の違いに対して堅牢であることを示す。 aiの行動から推定される構造は、人間の行動から推定されるものと個別にかなり一致するが、行動応答を生成するのに使用される特定のタスクに大きく依存する。 この結果は、現代のAIにおける知識が人間の認知と異なることを示唆している。

関連論文リスト

• HLB: Benchmarking LLMs' Humanlikeness in Language Use [2.438748974410787]
  20大言語モデル(LLM)を評価する総合的人間類似度ベンチマーク(HLB)を提案する。 実験では2000人以上の被験者から回答を収集し,LSMの成果と比較した。 以上の結果から,LLMが様々な言語レベルにおいてヒトの反応をいかにうまく再現するかの微妙な相違が明らかとなった。
  論文  参考訳（メタデータ） (2024-09-24T09:02:28Z)
• Human-like object concept representations emerge naturally in multimodal large language models [24.003766123531545]
  大規模言語モデルにおける対象概念の表現が人間とどのように関連しているかを明らかにするために,行動解析と神経画像解析を併用した。 その結果,66次元の埋め込みは非常に安定で予測的であり,人間の心的表現に類似したセマンティッククラスタリングが認められた。 本研究は、機械知能の理解を深め、より人間的な人工知能システムの開発を知らせるものである。
  論文  参考訳（メタデータ） (2024-07-01T08:17:19Z)
• ConcEPT: Concept-Enhanced Pre-Training for Language Models [57.778895980999124]
  ConcEPTは、概念知識を事前訓練された言語モデルに注入することを目的としている。 これは、事前訓練されたコンテキストで言及されたエンティティの概念を予測するために、外部エンティティの概念予測を利用する。 実験の結果,ConcEPTは概念強化事前学習により概念知識を向上することがわかった。
  論文  参考訳（メタデータ） (2024-01-11T05:05:01Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Semantic Feature Verification in FLAN-T5 [0.0]
  機械検証された規範は、人間の規範だけで表現されるもの以上の概念構造の側面を捉えていることを示す。 その結果,LLMは従来の意味的特徴ノルムの検証方法を大幅に強化する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-04-12T03:37:57Z)
• A Minimalist Dataset for Systematic Generalization of Perception, Syntax, and Semantics [131.93113552146195]
  我々は,機械が一般化可能な概念を学習する能力を調べるため,新しいデータセットであるHINT(Hand written arithmetic with INTegers)を提案する。 HINTでは、イメージなどの生信号から概念がどのように認識されるかを学ぶことが機械のタスクである。 我々は、RNN、Transformer、GPT-3など、様々なシーケンス・ツー・シーケンスモデルで広範囲に実験を行った。
  論文  参考訳（メタデータ） (2021-03-02T01:32:54Z)
• Bongard-LOGO: A New Benchmark for Human-Level Concept Learning and Reasoning [78.13740873213223]
  ボナード問題(BP)は、インテリジェントシステムにおける視覚認知へのインスピレーションとして導入された。 我々は人間レベルの概念学習と推論のための新しいベンチマークBongard-LOGOを提案する。
  論文  参考訳（メタデータ） (2020-10-02T03:19:46Z)
• Concept Learners for Few-Shot Learning [76.08585517480807]
  本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。 我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
  論文  参考訳（メタデータ） (2020-07-14T22:04:17Z)
• Mechanisms for Handling Nested Dependencies in Neural-Network Language Models and Humans [75.15855405318855]
  我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。 ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。 我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
  論文  参考訳（メタデータ） (2020-06-19T12:00:05Z)
• The Fluidity of Concept Representations in Human Brain Signals [0.0]
  我々はfMRIデータにおける具体的な概念と抽象概念の識別可能性を分析する。 我々は流体概念の表現が人間の言語処理のより現実的なモデルに繋がると主張している。
  論文  参考訳（メタデータ） (2020-02-20T17:31:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。