論文の概要: Exploring Spatial Schema Intuitions in Large Language and Vision Models

• arxiv url: http://arxiv.org/abs/2402.00956v1
• Date: Thu, 1 Feb 2024 19:25:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-05 18:19:12.221364
• Title: Exploring Spatial Schema Intuitions in Large Language and Vision Models
• Title（参考訳）: 大規模言語と視覚モデルにおける空間的スキーマ直観の探索
• Authors: Philipp Wicke and Lennart Wachowiak
• Abstract要約: 大規模言語モデル(LLM)が言語ブロック構築に関する暗黙の人間の直感を効果的に捉えているかどうかを検討する。 驚くべきことに、モデル出力と人間の反応の相関が出現し、具体的体験と具体的なつながりのない適応性が明らかになる。 本研究は,大規模言語モデルによる言語,空間経験,計算間の相互作用の微妙な理解に寄与する。
• 参考スコア（独自算出の注目度）: 10.567239684448344
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the ubiquity of large language models (LLMs) in AI research, the question of embodiment in LLMs remains underexplored, distinguishing them from embodied systems in robotics where sensory perception directly informs physical action. Our investigation navigates the intriguing terrain of whether LLMs, despite their non-embodied nature, effectively capture implicit human intuitions about fundamental, spatial building blocks of language. We employ insights from spatial cognitive foundations developed through early sensorimotor experiences, guiding our exploration through the reproduction of three psycholinguistic experiments. Surprisingly, correlations between model outputs and human responses emerge, revealing adaptability without a tangible connection to embodied experiences. Notable distinctions include polarized language model responses and reduced correlations in vision language models. This research contributes to a nuanced understanding of the interplay between language, spatial experiences, and the computations made by large language models. More at https://cisnlp.github.io/Spatial_Schemas/
• Abstract（参考訳）: AI研究における大きな言語モデル(LLMs)の多様さにもかかわらず、LLMの具体化に関する問題は未解決のままであり、知覚が直接身体行動に影響を及ぼすロボット工学における具体化システムと区別されている。 我々の調査は、llmが言語の基本で空間的な構成要素についての暗黙の人間の直観を効果的に捉えているかどうか、興味深い地形をナビゲートする。 我々は,3つの心理言語実験の再現を通じて,初期の感覚運動経験を通じて発達した空間認知基盤からの洞察を用いて,探索を導く。 驚くべきことに、モデル出力と人間の反応の相関が出現し、具体的体験と具体的なつながりのない適応性を明らかにする。 注目すべき区別は、偏極言語モデル応答と視覚言語モデルにおける相関の減少である。 本研究では,言語間の相互作用,空間経験,大規模言語モデルによる計算の微妙な理解に寄与する。 詳しくはhttps://cisnlp.github.io/Spatial_Schemas/を参照のこと。

関連論文リスト

• Brain-Like Language Processing via a Shallow Untrained Multihead Attention Network [16.317199232071232]
  大規模言語モデル(LLM)は、人間の言語システムの効果的なモデルであることが示されている。 本研究では、未学習モデルの驚くほどのアライメントを駆動する重要なアーキテクチャコンポーネントについて検討する。
  論文  参考訳（メタデータ） (2024-06-21T12:54:03Z)
• Sharing Matters: Analysing Neurons Across Languages and Tasks in LLMs [70.3132264719438]
  我々は,タスクや言語間でニューロンの活性化がどのように共有されるかを調べることで,研究ギャップを埋めることを目指している。 我々は、異なる言語にまたがる特定の入力に対する応答に基づいて、ニューロンを4つの異なるカテゴリに分類する。 分析の結果, (i) ニューロン共有のパターンはタスクや例の特徴に大きく影響され, (ii) ニューロン共有は言語類似性に完全には対応しない, (iii) 共有ニューロンは応答の生成において重要な役割を担っている。
  論文  参考訳（メタデータ） (2024-06-13T16:04:11Z)
• Large language models as linguistic simulators and cognitive models in human research [0.0]
  人間のようなテキストを生成する大きな言語モデル(LLM)の台頭は、行動や認知研究における人間の参加者を置き換える可能性についての議論を巻き起こした。 心理学・社会科学における言語モデルの基本的有用性を評価するために,この代替視点を批判的に評価する。 この視点は、行動科学と認知科学における言語モデルの役割を再定義し、言語シミュレータや認知モデルとして機能し、マシンインテリジェンスと人間の認知と思考の類似点と相違点に光を当てている。
  論文  参考訳（メタデータ） (2024-02-06T23:28:23Z)
• Causal Graph in Language Model Rediscovers Cortical Hierarchy in Human Narrative Processing [0.0]
  これまでの研究では、言語モデルの特徴がfMRI脳活動にマッピングできることが示されている。 これは、言語モデルにおける情報処理と人間の脳の間に共通点があるのだろうか? 言語モデルにおける情報フローパターンを推定するために,異なる層間の因果関係について検討した。
  論文  参考訳（メタデータ） (2023-11-17T10:09:12Z)
• Divergences between Language Models and Human Brains [63.405788999891335]
  最近の研究は、言語モデルの内部表現(LM)を用いて脳信号が効果的に予測できることを示唆している。 我々は、LMと人間が言語をどのように表現し、使用するかに明確な違いがあることを示します。 我々は、社会的・情緒的知性と身体的常識という、LMによってうまく捉えられていない2つの領域を識別する。
  論文  参考訳（メタデータ） (2023-11-15T19:02:40Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Unveiling A Core Linguistic Region in Large Language Models [49.860260050718516]
  本稿では,脳局在化をプロトタイプとして用いた類似研究を行う。 我々は、言語能力に対応する大規模言語モデルにおいて、中核領域を発見した。 我々は,言語能力の向上が必ずしもモデルの知識レベルの向上に伴わないことを観察する。
  論文  参考訳（メタデータ） (2023-10-23T13:31:32Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Is the Computation of Abstract Sameness Relations Human-Like in Neural Language Models? [4.0810783261728565]
  この研究は、人間の認知から知られている基本的なメカニズムを、最先端のNLPモデルが示すかどうかを考察する。 抽象的同性関係」の計算は、人間の言語習得と処理において重要な役割を果たしていると考えられている。
  論文  参考訳（メタデータ） (2022-05-12T15:19:54Z)
• Model-based analysis of brain activity reveals the hierarchy of language in 305 subjects [82.81964713263483]
  言語の神経基盤を分解する一般的なアプローチは、個人間で異なる刺激に対する脳の反応を関連付けている。 そこで本研究では,自然刺激に曝露された被験者に対して,モデルに基づくアプローチが等価な結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-12T15:30:21Z)
• Crossmodal Language Grounding in an Embodied Neurocognitive Model [28.461246169379685]
  ヒトの幼児は早期に自然言語を習得することができる。 神経科学的な観点では、自然言語は具現化され、ほとんど全てではなく、感覚と感覚のモダリティに基礎を置いている。 バイオインスパイアされたメカニズムを反映した言語接地のための神経認知モデルを提案する。
  論文  参考訳（メタデータ） (2020-06-24T08:12:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。