論文の概要: Dissociating language and thought in large language models

• arxiv url: http://arxiv.org/abs/2301.06627v3
• Date: Sat, 23 Mar 2024 19:52:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 04:08:18.585284
• Title: Dissociating language and thought in large language models
• Title（参考訳）: 大規模言語モデルにおける言語と思考の解離
• Authors: Kyle Mahowald, Anna A. Ivanova, Idan A. Blank, Nancy Kanwisher, Joshua B. Tenenbaum, Evelina Fedorenko,
• Abstract要約: 大規模言語モデル(LLM)は、人間の言語を習得する上で、今までに最も近いモデルである。 我々は、この区別を人間の神経科学に根ざし、形式的、機能的な能力は異なる神経機構に依存していることを示した。 LLMは形式的能力は驚くほど優れているが、機能的能力のタスクにおける性能はいまだに不明瞭である。
• 参考スコア（独自算出の注目度）: 52.39241645471213
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have come closest among all models to date to mastering human language, yet opinions about their linguistic and cognitive capabilities remain split. Here, we evaluate LLMs using a distinction between formal linguistic competence - knowledge of linguistic rules and patterns - and functional linguistic competence - understanding and using language in the world. We ground this distinction in human neuroscience, which has shown that formal and functional competence rely on different neural mechanisms. Although LLMs are surprisingly good at formal competence, their performance on functional competence tasks remains spotty and often requires specialized fine-tuning and/or coupling with external modules. We posit that models that use language in human-like ways would need to master both of these competence types, which, in turn, could require the emergence of mechanisms specialized for formal linguistic competence, distinct from functional competence.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、人間の言語を習得する上で今までに最も近いモデルであるが、その言語的・認知的能力に関する意見は相変わらず分かれている。 本稿では,形式言語能力 (言語規則とパターンの知識) と機能言語能力 (機能言語能力) の区別を用いてLLMを評価する。 我々は、この区別を人間の神経科学に根ざし、形式的、機能的な能力は異なる神経機構に依存していることを示した。 LLMの形式的能力は驚くほど優れているが、機能的能力のタスクのパフォーマンスは不明瞭であり、しばしば特別な微調整や外部モジュールとの結合を必要とする。 我々は、言語を人間的な方法で使用するモデルは、これらの能力の型の両方を習得する必要があると仮定し、機能的能力とは別の形式的な言語能力に特化したメカニズムの出現を必要とする可能性があると仮定する。

関連論文リスト

• The LLM Language Network: A Neuroscientific Approach for Identifying Causally Task-Relevant Units [16.317199232071232]
  大規模言語モデル(LLM)は、言語タスクだけでなく、言語的でない様々なタスクにも顕著な能力を示す。 人間の脳では、神経科学は言語処理を選択的に因果的にサポートするコア言語システムを特定している。 言語選択単位を18のLLMで同定し、神経科学で用いられるのと同じ局所化手法を用いて同定する。
  論文  参考訳（メタデータ） (2024-11-04T17:09:10Z)
• Lens: Rethinking Multilingual Enhancement for Large Language Models [70.85065197789639]
  Lensは、大規模言語モデル(LLM)の多言語機能を強化する新しいアプローチである LLMの上位層から言語に依存しない、言語固有のサブ空間内の隠された表現を操作できる。 既存のポストトレーニング手法に比べて計算資源がはるかに少ないため、優れた結果が得られる。
  論文  参考訳（メタデータ） (2024-10-06T08:51:30Z)
• Language Models as Models of Language [0.0]
  この章は、理論言語学への現代言語モデルの潜在的貢献について批判的に考察する。 言語モデルが階層的な構文構造を学習し,様々な言語現象に対する感受性を示すことを示唆する経験的証拠の蓄積を概説する。 私は、理論言語学者と計算研究者の緊密な協力が貴重な洞察をもたらすと結論づける。
  論文  参考訳（メタデータ） (2024-08-13T18:26:04Z)
• Language Guided Skill Discovery [56.84356022198222]
  言語ガイドスキル発見(LGSD)を導入し,スキル間の意味的多様性を最大化する。 LGSDはユーザープロンプトを入力として取り、セマンティックなスキルのセットを出力する。 本研究は,LGSDにより,単にプロンプトを変更するだけで,手足のロボットが平面上の異なるユーザ意図のエリアを訪問できることを実証する。
  論文  参考訳（メタデータ） (2024-06-07T04:25:38Z)
• Comuniqa : Exploring Large Language Models for improving speaking skills [2.8227892155844088]
  本稿では,Large Language Models (LLMs) の英語能力向上の可能性について検討する。 人工知能(AI)の最近の進歩は、限界を克服する有望なソリューションを提供する。 我々は,英語のスキル向上を目的とした,新しいLLMベースのシステムであるComuniqaを提案する。
  論文  参考訳（メタデータ） (2024-01-28T07:37:33Z)
• How Proficient Are Large Language Models in Formal Languages? An In-Depth Insight for Knowledge Base Question Answering [52.86931192259096]
  知識ベース質問回答(KBQA)は,知識ベースにおける事実に基づいた自然言語質問への回答を目的としている。 最近の研究は、論理形式生成のための大規模言語モデル(LLM)の機能を活用して性能を向上させる。
  論文  参考訳（メタデータ） (2024-01-11T09:27:50Z)
• Unveiling A Core Linguistic Region in Large Language Models [49.860260050718516]
  本稿では,脳局在化をプロトタイプとして用いた類似研究を行う。 我々は、言語能力に対応する大規模言語モデルにおいて、中核領域を発見した。 我々は,言語能力の向上が必ずしもモデルの知識レベルの向上に伴わないことを観察する。
  論文  参考訳（メタデータ） (2023-10-23T13:31:32Z)
• Testing the Ability of Language Models to Interpret Figurative Language [69.59943454934799]
  比喩的・比喩的な言語は言論において一般的である。 現代の言語モデルが非リテラルなフレーズをどの程度解釈できるかについては、未解決の疑問が残る。 ウィノグラードスタイルの非文字言語理解タスクであるFig-QAを紹介する。
  論文  参考訳（メタデータ） (2022-04-26T23:42:22Z)
• Language Models as a Knowledge Source for Cognitive Agents [9.061356032792954]
  言語モデル (LM) は大量のコーパスで訓練された文補完エンジンである。 本稿では,認知システムのための新たな知識源として言語モデルを用いる上での課題と機会について概説する。 また、認知システムが提供する能力を用いて、言語モデルからの知識抽出を改善する方法も特定する。
  論文  参考訳（メタデータ） (2021-09-17T01:12:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。