論文の概要: Lost in Translation: The Algorithmic Gap Between LMs and the Brain

• arxiv url: http://arxiv.org/abs/2407.04680v1
• Date: Fri, 5 Jul 2024 17:43:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 12:31:56.273354
• Title: Lost in Translation: The Algorithmic Gap Between LMs and the Brain
• Title（参考訳）: 翻訳で失われた: LMと脳のアルゴリズム的ギャップ
• Authors: Tommaso Tosato, Pascal Jr Tikeng Notsawo, Saskia Helbling, Irina Rish, Guillaume Dumas,
• Abstract要約: 言語モデル(LM)は、様々な言語課題において印象的な性能を達成しているが、脳内の人間の言語処理との関係は未だ不明である。 本稿では、異なるレベルの分析において、LMと脳のギャップと重複について検討する。 神経科学からの洞察(空間性、モジュール性、内部状態、インタラクティブ学習など)が、より生物学的に妥当な言語モデルの開発にどのように役立つかについて議論する。
• 参考スコア（独自算出の注目度）: 8.799971499357499
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Language Models (LMs) have achieved impressive performance on various linguistic tasks, but their relationship to human language processing in the brain remains unclear. This paper examines the gaps and overlaps between LMs and the brain at different levels of analysis, emphasizing the importance of looking beyond input-output behavior to examine and compare the internal processes of these systems. We discuss how insights from neuroscience, such as sparsity, modularity, internal states, and interactive learning, can inform the development of more biologically plausible language models. Furthermore, we explore the role of scaling laws in bridging the gap between LMs and human cognition, highlighting the need for efficiency constraints analogous to those in biological systems. By developing LMs that more closely mimic brain function, we aim to advance both artificial intelligence and our understanding of human cognition.
• Abstract（参考訳）: 言語モデル(LM)は、様々な言語課題において印象的な性能を達成しているが、脳内の人間の言語処理との関係は未だ不明である。 本稿では,異なるレベルの解析において,LMと脳のギャップと重なりについて検討し,これらのシステムの内部過程を検証・比較するために,入力・出力動作を超えて見ることの重要性を強調した。 神経科学からの洞察(空間性、モジュール性、内部状態、インタラクティブ学習など)が、より生物学的に妥当な言語モデルの開発にどのように役立つかについて議論する。 さらに,LMと人間の認知のギャップを埋める上でのスケーリング法則の役割について考察し,生物学的システムに類似した効率制約の必要性を強調した。 脳機能をより密接に模倣するLMを開発することで、人工知能と人間の認知の理解の両方を前進させることを目指している。

関連論文リスト

• Psychomatics -- A Multidisciplinary Framework for Understanding Artificial Minds [0.319565400223685]
  本稿では,認知科学,言語学,コンピュータ科学を橋渡しする心理学を紹介する。 LLMの高レベル機能をよりよく理解することを目的としている。 心理学は、言語の性質、認知、知性に関する変革的な洞察を与える可能性を秘めている。
  論文  参考訳（メタデータ） (2024-07-23T12:53:41Z)
• Large Language Model-based FMRI Encoding of Language Functions for Subjects with Neurocognitive Disorder [53.575426835313536]
  LLMを用いたfMRIエンコーディングと脳のスコアを用いた高齢者の言語関連機能変化について検討する。 脳のスコアと認知スコアの相関関係を脳全体のROIと言語関連ROIの両方で分析した。 以上の結果から,認知能力の向上は,中側頭回に有意な相関がみられた。
  論文  参考訳（メタデータ） (2024-07-15T01:09:08Z)
• The neural correlates of logical-mathematical symbol systems processing resemble that of spatial cognition more than natural language processing [6.613108038833871]
  論理数学記号(LMS)を操作する能力は、人間特有の認知能力である。 これまでの研究では、自然言語処理と空間認知という2つの主要な候補が指摘されてきた。 本研究は, ドメインレベルでの神経相関を, メタアナリシスと合成マップの両方で比較した。
  論文  参考訳（メタデータ） (2024-06-20T14:31:09Z)
• Exploring Spatial Schema Intuitions in Large Language and Vision Models [8.944921398608063]
  大規模言語モデル(LLM)が言語ブロック構築に関する暗黙の人間の直感を効果的に捉えているかどうかを検討する。 驚くべきことに、モデル出力と人間の反応の相関が出現し、具体的体験と具体的なつながりのない適応性が明らかになる。 本研究は,大規模言語モデルによる言語,空間経験,計算間の相互作用の微妙な理解に寄与する。
  論文  参考訳（メタデータ） (2024-02-01T19:25:50Z)
• Contextual Feature Extraction Hierarchies Converge in Large Language Models and the Brain [12.92793034617015]
  大規模言語モデル(LLM)がベンチマークタスクで高いパフォーマンスを達成するにつれ、より脳に近いものになることを示す。 また、モデルの性能と脳の類似性を改善する上で、文脈情報の重要性を示す。
  論文  参考訳（メタデータ） (2024-01-31T08:48:35Z)
• Divergences between Language Models and Human Brains [63.405788999891335]
  最近の研究は、言語モデルの内部表現(LM)を用いて脳信号が効果的に予測できることを示唆している。 我々は、LMと人間が言語をどのように表現し、使用するかに明確な違いがあることを示します。 我々は、社会的・情緒的知性と身体的常識という、LMによってうまく捉えられていない2つの領域を識別する。
  論文  参考訳（メタデータ） (2023-11-15T19:02:40Z)
• Unveiling A Core Linguistic Region in Large Language Models [49.860260050718516]
  本稿では,脳局在化をプロトタイプとして用いた類似研究を行う。 我々は、言語能力に対応する大規模言語モデルにおいて、中核領域を発見した。 我々は,言語能力の向上が必ずしもモデルの知識レベルの向上に伴わないことを観察する。
  論文  参考訳（メタデータ） (2023-10-23T13:31:32Z)
• Language Cognition and Language Computation -- Human and Machine Language Understanding [51.56546543716759]
  言語理解は認知科学とコンピュータ科学の分野で重要な科学的問題である。 これらの規律を組み合わせることで、インテリジェントな言語モデルを構築する上で、新たな洞察が得られますか?
  論文  参考訳（メタデータ） (2023-01-12T02:37:00Z)
• Model-based analysis of brain activity reveals the hierarchy of language in 305 subjects [82.81964713263483]
  言語の神経基盤を分解する一般的なアプローチは、個人間で異なる刺激に対する脳の反応を関連付けている。 そこで本研究では,自然刺激に曝露された被験者に対して,モデルに基づくアプローチが等価な結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-12T15:30:21Z)
• CogAlign: Learning to Align Textual Neural Representations to Cognitive Language Processing Signals [60.921888445317705]
  自然言語処理モデルに認知言語処理信号を統合するためのCogAlignアプローチを提案する。 我々は、CogAlignが、パブリックデータセット上の最先端モデルよりも、複数の認知機能で大幅な改善を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-10T07:10:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。