論文の概要: Dissociating language and thought in large language models: a cognitive perspective

• arxiv url: http://arxiv.org/abs/2301.06627v1
• Date: Mon, 16 Jan 2023 22:41:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-18 15:13:40.521833
• Title: Dissociating language and thought in large language models: a cognitive perspective
• Title（参考訳）: 大規模言語モデルにおける言語と思考の解離:認知的視点
• Authors: Kyle Mahowald, Anna A. Ivanova, Idan A. Blank, Nancy Kanwisher, Joshua B. Tenenbaum, Evelina Fedorenko
• Abstract要約: 大規模言語モデル(LLM)は、日常的にコヒーレントで文法的で一見意味のあるテキストの段落を生成する。 この成果は、これらのネットワークがすぐに「マシンを考える」ようになるという憶測につながった。 言語使用の2つの異なる側面:「形式言語能力」と「機能言語能力」について考察する。
• 参考スコア（独自算出の注目度）: 38.10979954372768
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Today's large language models (LLMs) routinely generate coherent, grammatical and seemingly meaningful paragraphs of text. This achievement has led to speculation that these networks are -- or will soon become -- "thinking machines", capable of performing tasks that require abstract knowledge and reasoning. Here, we review the capabilities of LLMs by considering their performance on two different aspects of language use: 'formal linguistic competence', which includes knowledge of rules and patterns of a given language, and 'functional linguistic competence', a host of cognitive abilities required for language understanding and use in the real world. Drawing on evidence from cognitive neuroscience, we show that formal competence in humans relies on specialized language processing mechanisms, whereas functional competence recruits multiple extralinguistic capacities that comprise human thought, such as formal reasoning, world knowledge, situation modeling, and social cognition. In line with this distinction, LLMs show impressive (although imperfect) performance on tasks requiring formal linguistic competence, but fail on many tests requiring functional competence. Based on this evidence, we argue that (1) contemporary LLMs should be taken seriously as models of formal linguistic skills; (2) models that master real-life language use would need to incorporate or develop not only a core language module, but also multiple non-language-specific cognitive capacities required for modeling thought. Overall, a distinction between formal and functional linguistic competence helps clarify the discourse surrounding LLMs' potential and provides a path toward building models that understand and use language in human-like ways.
• Abstract（参考訳）: 今日の大きな言語モデル(LLM)は、日常的にコヒーレントで文法的で一見意味のあるテキストの段落を生成する。 この成果は、これらのネットワークが、抽象的な知識と推論を必要とするタスクを実行することができる「マシンを考える」ようになるという憶測につながった。 本稿では、言語使用における2つの異なる側面におけるllmの能力について考察する。与えられた言語の規則やパターンの知識を含む「形式的言語能力」と、現実世界における言語理解や使用に必要な認知能力のホストである「機能的言語能力」である。 認知神経科学(cognitive neuroscience)のエビデンスをもとに,人間の形式的能力は特殊言語処理機構に依存しているのに対し,機能的能力は形式的推論,世界知識,状況モデリング,社会認知など,人間の思考を構成する複数の言語外能力を持っている。 この区別に従って、LLMは形式的な言語能力を必要とするタスクにおいて印象的な(不完全な)パフォーマンスを示すが、機能能力を必要とする多くのテストでは失敗する。 この証拠に基づき,(1)現代LLMは形式言語スキルのモデルとして真剣に取り組まなければならない,(2)実生活言語を習得するモデルは,コア言語モジュールだけでなく,思考のモデル化に必要な複数の非言語固有の認知能力も組み込む必要がある,と論じる。 全体として、形式的言語能力と機能的言語能力の区別は、LLMの潜在能力を包含する談話を明確にし、言語を人間的な方法で理解し、使用するモデルを構築するための道筋を提供する。

関連論文リスト

• The LLM Language Network: A Neuroscientific Approach for Identifying Causally Task-Relevant Units [16.317199232071232]
  大規模言語モデル(LLM)は、言語タスクだけでなく、言語的でない様々なタスクにも顕著な能力を示す。 人間の脳では、神経科学は言語処理を選択的に因果的にサポートするコア言語システムを特定している。 言語選択単位を18のLLMで同定し、神経科学で用いられるのと同じ局所化手法を用いて同定する。
  論文  参考訳（メタデータ） (2024-11-04T17:09:10Z)
• Lens: Rethinking Multilingual Enhancement for Large Language Models [70.85065197789639]
  Lensは、大規模言語モデル(LLM)の多言語機能を強化する新しいアプローチである LLMの上位層から言語に依存しない、言語固有のサブ空間内の隠された表現を操作できる。 既存のポストトレーニング手法に比べて計算資源がはるかに少ないため、優れた結果が得られる。
  論文  参考訳（メタデータ） (2024-10-06T08:51:30Z)
• Language Models as Models of Language [0.0]
  この章は、理論言語学への現代言語モデルの潜在的貢献について批判的に考察する。 言語モデルが階層的な構文構造を学習し,様々な言語現象に対する感受性を示すことを示唆する経験的証拠の蓄積を概説する。 私は、理論言語学者と計算研究者の緊密な協力が貴重な洞察をもたらすと結論づける。
  論文  参考訳（メタデータ） (2024-08-13T18:26:04Z)
• Language Guided Skill Discovery [56.84356022198222]
  言語ガイドスキル発見(LGSD)を導入し,スキル間の意味的多様性を最大化する。 LGSDはユーザープロンプトを入力として取り、セマンティックなスキルのセットを出力する。 本研究は,LGSDにより,単にプロンプトを変更するだけで,手足のロボットが平面上の異なるユーザ意図のエリアを訪問できることを実証する。
  論文  参考訳（メタデータ） (2024-06-07T04:25:38Z)
• Comuniqa : Exploring Large Language Models for improving speaking skills [2.8227892155844088]
  本稿では,Large Language Models (LLMs) の英語能力向上の可能性について検討する。 人工知能(AI)の最近の進歩は、限界を克服する有望なソリューションを提供する。 我々は,英語のスキル向上を目的とした,新しいLLMベースのシステムであるComuniqaを提案する。
  論文  参考訳（メタデータ） (2024-01-28T07:37:33Z)
• How Proficient Are Large Language Models in Formal Languages? An In-Depth Insight for Knowledge Base Question Answering [52.86931192259096]
  知識ベース質問回答(KBQA)は,知識ベースにおける事実に基づいた自然言語質問への回答を目的としている。 最近の研究は、論理形式生成のための大規模言語モデル(LLM)の機能を活用して性能を向上させる。
  論文  参考訳（メタデータ） (2024-01-11T09:27:50Z)
• Unveiling A Core Linguistic Region in Large Language Models [49.860260050718516]
  本稿では,脳局在化をプロトタイプとして用いた類似研究を行う。 我々は、言語能力に対応する大規模言語モデルにおいて、中核領域を発見した。 我々は,言語能力の向上が必ずしもモデルの知識レベルの向上に伴わないことを観察する。
  論文  参考訳（メタデータ） (2023-10-23T13:31:32Z)
• Testing the Ability of Language Models to Interpret Figurative Language [69.59943454934799]
  比喩的・比喩的な言語は言論において一般的である。 現代の言語モデルが非リテラルなフレーズをどの程度解釈できるかについては、未解決の疑問が残る。 ウィノグラードスタイルの非文字言語理解タスクであるFig-QAを紹介する。
  論文  参考訳（メタデータ） (2022-04-26T23:42:22Z)
• Language Models as a Knowledge Source for Cognitive Agents [9.061356032792954]
  言語モデル (LM) は大量のコーパスで訓練された文補完エンジンである。 本稿では,認知システムのための新たな知識源として言語モデルを用いる上での課題と機会について概説する。 また、認知システムが提供する能力を用いて、言語モデルからの知識抽出を改善する方法も特定する。
  論文  参考訳（メタデータ） (2021-09-17T01:12:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。