論文の概要: Are Linguistic and Arithmetic Circuits Dissociated in LLMs?

• arxiv url: http://arxiv.org/abs/2610.27790v1
• Date: Tue, 20 Oct 2026 07:52:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.704739
• Title: Are Linguistic and Arithmetic Circuits Dissociated in LLMs?
• Title（参考訳）: LLMにおける言語回路と算術回路は関連しているのか?
• Abstract要約: 大規模言語モデル(LLM)は、例えば文法的判断能力によって表現された言語知識と、数学語による問題解決のような言語を通してタスクを実行する能力の両方を示す。 大規模言語モデル(LLM)における回路の重なりについて検討する。 実験の結果、回路の類似性は、入力と出力の語彙や、自然言語文と算術表現の構文的類似性よりも、主にタスク領域(言語対算術)によって説明されることがわかった。
• 参考スコア（独自算出の注目度）: 17.915791762377562
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) exhibit both knowledge of language, rendered by, for example, grammatical judgment ability, and abilities to perform tasks through language, such as math-word problem solving. Motivated by neurolinguistic studies of their neural dissociation in human brains, in this study, we investigate the overlap of their circuits in large language models (LLMs). Specifically, we examine the overlap and causal effects between the circuits extracted for linguistic and arithmetic tasks, using controlled materials and circuit discovery methods from the mechanistic interpretability field. Our experiments with five LLMs show that circuit similarity is mostly explained by task domains (linguistic vs. arithmetic), rather than by their input and output vocabularies or by the syntactic similarities between natural-language sentences and arithmetic expressions. This finding suggests that LLMs may process linguistic and arithmetic information using largely separate neural circuits, highlighting an ability-based modular organization of circuits within these models.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、例えば文法的判断能力によって表現された言語知識と、数学語による問題解決のような言語を通してタスクを実行する能力の両方を示す。 本研究では,ヒト脳における神経解離の神経言語学的研究により,大きな言語モデル(LLM)における神経回路の重なりについて検討した。 具体的には,言語的・算術的なタスクのために抽出された回路間の重なり合いと因果関係について,制御材料と機械的解釈可能性分野からの回路発見手法を用いて検討する。 5つの LLM を用いた実験により,回路の類似性は,入力と出力の語彙や,自然言語文と算術表現の構文的類似性よりも,タスク領域(言語対算術)によって説明されることがわかった。 この発見は、LLMが言語情報と算術情報を大まかに分離したニューラルネットワークで処理し、これらのモデル内の回路の能力に基づくモジュラー構成を強調することを示唆している。

関連論文リスト

• The LLM Language Network: A Neuroscientific Approach for Identifying Causally Task-Relevant Units [16.317199232071232]
  大規模言語モデル(LLM)は、言語タスクだけでなく、言語的でない様々なタスクにも顕著な能力を示す。 人間の脳では、神経科学は言語処理を選択的に因果的にサポートするコア言語システムを特定している。 言語選択単位を18のLLMで同定し、神経科学で用いられるのと同じ局所化手法を用いて同定する。
  論文  参考訳（メタデータ） (2024-11-04T17:09:10Z)
• Large Language Models are Interpretable Learners [53.56735770834617]
  本稿では,Large Language Models(LLM)とシンボルプログラムの組み合わせによって,表現性と解釈可能性のギャップを埋めることができることを示す。 自然言語プロンプトを持つ事前訓練されたLLMは、生の入力を自然言語の概念に変換することができる解釈可能な膨大なモジュールセットを提供する。 LSPが学んだ知識は自然言語の記述と記号規則の組み合わせであり、人間(解釈可能)や他のLLMに容易に転送できる。
  論文  参考訳（メタデータ） (2024-06-25T02:18:15Z)
• What Are Large Language Models Mapping to in the Brain? A Case Against Over-Reliance on Brain Scores [1.8175282137722093]
  大規模言語モデル(LLM)の内部表現は最先端の脳スコアを達成し、人間の言語処理と計算原理を共有するという憶測に繋がる。 本稿では、LLM-to-Brainマッピングに関する衝撃的な研究で使用される3つのニューラルデータセットを分析し、参加者が短いパスを読み取るfMRIデータセットに特に焦点をあてる。 このデータセット上で訓練されたLLMの脳のスコアは、文の長さ、位置、代名詞による単語の埋め込みによって大きく説明できる。
  論文  参考訳（メタデータ） (2024-06-03T17:13:27Z)
• Do Large Language Models Mirror Cognitive Language Processing? [43.68923267228057]
  大規模言語モデル(LLM)は、テキスト理解と論理的推論において顕著な能力を示した。 脳認知処理信号は、典型的には人間の言語処理を研究するために使用される。
  論文  参考訳（メタデータ） (2024-02-28T03:38:20Z)
• Do Language Models Exhibit the Same Cognitive Biases in Problem Solving as Human Learners? [140.9751389452011]
  本研究では,大言語モデル(LLM)の偏りを,算術語問題を解く際に,子どもに知られているものと関連づけて検討する。 我々は,これらの各テストに対して,問題特徴のきめ細かい制御を可能にするニューロシンボリックアプローチを用いて,新しい単語問題を生成する。
  論文  参考訳（メタデータ） (2024-01-31T18:48:20Z)
• Divergences between Language Models and Human Brains [59.100552839650774]
  我々は,人間と機械語処理の相違点を体系的に探求する。 我々は、LMがうまく捉えられない2つの領域、社会的/感情的知性と身体的常識を識別する。 以上の結果から,これらの領域における微調整LMは,ヒト脳反応との整合性を向上させることが示唆された。
  論文  参考訳（メタデータ） (2023-11-15T19:02:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。