論文の概要: On Representational Dissociation of Language and Arithmetic in Large Language Models

• arxiv url: http://arxiv.org/abs/2502.11932v1
• Date: Mon, 17 Feb 2025 15:42:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:12:13.709198
• Title: On Representational Dissociation of Language and Arithmetic in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける言語と算術の表現的解離について
• Authors: Riku Kisako, Tatsuki Kuribayashi, Ryohei Sasano,
• Abstract要約: 簡単な算術方程式と一般言語入力は、大言語モデルにおいて完全に分離された領域に符号化されていることを示す。 これは、算術的推論が一般的な言語入力とは異なる領域にマッピングされることを示している。
• 参考スコア（独自算出の注目度）: 12.182463768190509
• License:
• Abstract: The association between language and (non-linguistic) thinking ability in humans has long been debated, and recently, neuroscientific evidence of brain activity patterns has been considered. Such a scientific context naturally raises an interdisciplinary question -- what about such a language-thought dissociation in large language models (LLMs)? In this paper, as an initial foray, we explore this question by focusing on simple arithmetic skills (e.g., $1+2=$ ?) as a thinking ability and analyzing the geometry of their encoding in LLMs' representation space. Our experiments with linear classifiers and cluster separability tests demonstrate that simple arithmetic equations and general language input are encoded in completely separated regions in LLMs' internal representation space across all the layers, which is also supported with more controlled stimuli (e.g., spelled-out equations). These tentatively suggest that arithmetic reasoning is mapped into a distinct region from general language input, which is in line with the neuroscientific observations of human brain activations, while we also point out their somewhat cognitively implausible geometric properties.
• Abstract（参考訳）: 人間における言語と(非言語的な)思考能力の関係は長い間議論されてきたが、近年では脳活動パターンの神経科学的証拠も検討されている。 このような科学的文脈は、学際的な疑問を自然に引き起こします -- 大きな言語モデル(LLM)における言語思考の解離はどうでしょうか? 本稿では,まず,簡単な算術的スキル(例えば,1+2=$ ?)を思考能力として取り上げ,LLMの表現空間における符号化の形状を解析することによって,この問題を考察する。 線形分類器とクラスタ分離性試験による実験により,LLMの内部表現空間において,単純な算術方程式と一般言語入力が完全に分離された領域に符号化されることが実証された。 これらの仮に、算術的推論は、人間の脳活性化の神経科学的な観察と一致し、一般言語入力とは別の領域にマッピングされることを示唆している。

関連論文リスト

• The neural correlates of logical-mathematical symbol systems processing resemble that of spatial cognition more than natural language processing [6.613108038833871]
  論理数学記号(LMS)を操作する能力は、人間特有の認知能力である。 これまでの研究では、自然言語処理と空間認知という2つの主要な候補が指摘されてきた。 本研究は, ドメインレベルでの神経相関を, メタアナリシスと合成マップの両方で比較した。
  論文  参考訳（メタデータ） (2024-06-20T14:31:09Z)
• Sharing Matters: Analysing Neurons Across Languages and Tasks in LLMs [70.3132264719438]
  我々は,タスクや言語間でニューロンの活性化がどのように共有されるかを調べることで,研究ギャップを埋めることを目指している。 我々は、異なる言語にまたがる特定の入力に対する応答に基づいて、ニューロンを4つの異なるカテゴリに分類する。 分析の結果, (i) ニューロン共有のパターンはタスクや例の特徴に大きく影響され, (ii) ニューロン共有は言語類似性に完全には対応しない, (iii) 共有ニューロンは応答の生成において重要な役割を担っている。
  論文  参考訳（メタデータ） (2024-06-13T16:04:11Z)
• What Are Large Language Models Mapping to in the Brain? A Case Against Over-Reliance on Brain Scores [1.8175282137722093]
  大規模言語モデル(LLM)の内部表現は最先端の脳スコアを達成し、人間の言語処理と計算原理を共有するという憶測に繋がる。 本稿では、LLM-to-Brainマッピングに関する衝撃的な研究で使用される3つのニューラルデータセットを分析し、参加者が短いパスを読み取るfMRIデータセットに特に焦点をあてる。 このデータセット上で訓練されたLLMの脳のスコアは、文の長さ、位置、代名詞による単語の埋め込みによって大きく説明できる。
  論文  参考訳（メタデータ） (2024-06-03T17:13:27Z)
• Revealing the Parallel Multilingual Learning within Large Language Models [50.098518799536144]
  本研究では,多言語大言語モデル(LLM)の文脈内学習能力を明らかにする。 入力を複数の言語に翻訳することで、並列入力(PiM)をLLMに提供し、その理解能力を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-03-14T03:33:46Z)
• Divergences between Language Models and Human Brains [59.100552839650774]
  我々は,人間と機械語処理の相違点を体系的に探求する。 我々は、LMがうまく捉えられない2つの領域、社会的/感情的知性と身体的常識を識別する。 以上の結果から,これらの領域における微調整LMは,ヒト脳反応との整合性を向上させることが示唆された。
  論文  参考訳（メタデータ） (2023-11-15T19:02:40Z)
• Unveiling A Core Linguistic Region in Large Language Models [49.860260050718516]
  本稿では,脳局在化をプロトタイプとして用いた類似研究を行う。 我々は、言語能力に対応する大規模言語モデルにおいて、中核領域を発見した。 我々は,言語能力の向上が必ずしもモデルの知識レベルの向上に伴わないことを観察する。
  論文  参考訳（メタデータ） (2023-10-23T13:31:32Z)
• Information-Restricted Neural Language Models Reveal Different Brain Regions' Sensitivity to Semantics, Syntax and Context [87.31930367845125]
  テキストコーパスを用いて語彙言語モデルGloveと超語彙言語モデルGPT-2を訓練した。 そして、これらの情報制限されたモデルが、自然主義的テキストを聴く人間のfMRI信号の時間軸を予測することができるかを評価した。 分析の結果、言語に関わるほとんどの脳領域は、構文変数と意味変数の両方に敏感であるが、これらの影響の相対的な大きさは、これらの領域で大きく異なることがわかった。
  論文  参考訳（メタデータ） (2023-02-28T08:16:18Z)
• Low-Dimensional Structure in the Space of Language Representations is Reflected in Brain Responses [62.197912623223964]
  言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。 この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。 これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
  論文  参考訳（メタデータ） (2021-06-09T22:59:12Z)
• Emergence of Separable Manifolds in Deep Language Representations [26.002842878797765]
  ディープニューラルネットワーク(DNN)は、様々な認知的モダリティをまたいだ知覚的タスクの解決において、非常に経験的な成功を示している。 最近の研究では、タスク最適化DNNから抽出された表現と脳内の神経集団の間にかなりの類似性が報告されている。 DNNは後に、複雑な認知機能の基礎となる計算原理を推論する一般的なモデルクラスとなった。
  論文  参考訳（メタデータ） (2020-06-01T17:23:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。