論文の概要: Language Impairment as a Lens onto Large Language Models
- arxiv url: http://arxiv.org/abs/2610.28992v1
- Date: Tue, 20 Oct 2026 23:42:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:06.161271
- Title: Language Impairment as a Lens onto Large Language Models
- Title(参考訳): 大規模言語モデルに対するレンズとしての言語障害
- Abstract要約: 大規模言語モデル(LLM)が高度に分散した空間における言語を符号化するかどうかを検討する。
言語関数は離散構造回路と連続表現に分離可能である。
ステアリングは下流のタスクに対して強固に一般化するが、構造的障害は非対称に制約される。
- 参考スコア(独自算出の注目度): 15.409252968695144
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Although large language models (LLMs) encode language in highly distributed spaces, they remain vulnerable to focal disruptions---a phenomenon strikingly similar to how localized brain damage causes clinical aphasia in humans. To investigate this theoretical tension, we ask whether LLMs possess a functional structure analogous to the human language system, by introducing a novel mechanistic interpretability framework inspired by aphasia. Through two complementary approaches, classifier-guided lesioning and continuous activation steering, we systematically induce aphasia-like breakdowns in LLMs. We find that language functions can be successfully isolated to discrete structural circuits and continuous representational vectors, yet these functions remain densely entangled with significant circuit overlap and vector similarities across distinct aphasic profiles. Furthermore, while steering generalizes robustly across downstream tasks, structural lesioning remains asymmetrically constrained. By bridging neuropsychology and mechanistic interpretability, we demonstrate that LLMs, functionally analogous to biological brains, rely on a densely entangled architecture that can be systematically mapped through clinically-informed interventions.
- Abstract(参考訳): 大規模言語モデル(LLM)は、高度に分散した空間で言語を符号化するが、局所的な脳損傷がヒトの臨床的失語を引き起こす現象と著しく類似した、焦点障害に弱いままである。
この理論的緊張を解明するために,失語症に触発された新しい機械的解釈可能性フレームワークを導入することにより,LLMが人間の言語システムに類似した機能的構造を持つかどうかを問う。
2つの相補的アプローチ,分類器誘導病変と連続活性化ステアリングを通じて,LLMにおける失語症様の分解を系統的に誘導する。
言語関数を離散構造回路や連続表現ベクトルに分離することは可能であるが、これらの関数は有意な回路重なりと異なる失語プロファイル間のベクトル類似性で密接な絡み合いを保っている。
さらに、下流のタスクに対してステアリングが強固に一般化される一方で、構造的歪みは非対称に制約される。
神経心理学と機械論的解釈可能性の橋渡しにより、LLMは生物学的脳と機能的に類似しており、臨床的にインフォームドされた介入を通じて体系的にマッピングできる密接な絡み合ったアーキテクチャに依存していることを示した。
関連論文リスト
- Forbid Your Attention: Fooling Multimodal Large Language Models by Selectively Removing Intrinsic Focus in Spectral Domain [94.64605746540472]
MLLM(Multimodal large language model)は、より文脈的なマルチモーダル情報を処理するために、大規模言語モデル(LLM)の能力を拡張した。
近年の研究では、MLLMは敵対的な入力、特に視覚成分を標的とする入力に対して非常に脆弱であることが示されている。
本稿では, 構造関連位相領域に対する対向的摂動を明示的に制限する, 位相対応型対向攻撃フレームワークを提案する。
論文 参考訳(メタデータ) (2026-09-01T06:34:32Z) - When Language Representations Interact: Separability and Cross-Lingual Effects in LLMs [20.39151103511549]
大規模言語モデルは強い多言語能力を示すが、その内部表現は解釈が難しい。
近年の研究では、因果幾何学構造が、どのようにある概念がほぼ線形かつ分離可能な方向としてエンコードされているかを説明することができることが示されている。
因果幾何学的解析を多言語LLMに適用し、3つのモデル間の28の両言語コントラストについて検討した。
論文 参考訳(メタデータ) (2026-06-12T11:00:59Z) - Beyond representational alignment with brain-guided language models for robust reasoning [51.87370932573858]
大規模言語モデル(LLM)は推論関連領域の神経信号と一致していることを示す。
ニューラルネットワークの予測基準を用いて,LLMは推論関連領域における説明可能な分散のかなりの部分を説明する。
我々は、モデルと脳表現の結合構造によって誘導される方向に沿って、モデル表現を操る脳誘導フレームワークを提案する。
論文 参考訳(メタデータ) (2026-06-10T10:22:49Z) - Component-Level Lesioning of Language Models Reveals Clinically Aligned Aphasia Phenotypes [40.41503864764337]
大規模言語モデルにおける機能的コンポーネントを選択的に摂動することで失語をシミュレートするコンポーネントレベルフレームワークを提案する。
我々のパイプラインはBrocaとWernickeの失語に対するサブタイプリンクコンポーネントを特定し、トップkサブタイプリンクコンポーネントを段階的に摂動させることにより、段階的障害を誘発する。
アーキテクチャや障害戦略を越えて、サブタイプターゲットの摂動は、サイズにマッチしたランダムな摂動よりも、より体系的で失語症のような回帰をもたらす。
論文 参考訳(メタデータ) (2026-01-27T15:47:22Z) - Towards a Neurosymbolic Reasoning System Grounded in Schematic Representations [12.910444755119082]
大規模言語モデル(LLM)は論理的推論を行う際にエラーを起こしやすい。
本稿では,図式表現の理解と論理的推論を基盤とした,神経記号システム Embodied-LM の試作について紹介する。
論文 参考訳(メタデータ) (2025-09-03T18:50:18Z) - The Emergence of Abstract Thought in Large Language Models Beyond Any Language [95.50197866832772]
大規模言語モデル(LLM)は様々な言語で効果的に機能する。
予備的研究では、LLMの隠れた活性化は、英語以外のプロンプトに反応してもしばしば英語に類似している。
近年の結果は多言語のパフォーマンスが強く、他の言語での特定のタスクにおける英語のパフォーマンスを超えている。
論文 参考訳(メタデータ) (2025-06-11T16:00:54Z) - Mechanistic Understanding and Mitigation of Language Confusion in English-Centric Large Language Models [56.61984030508691]
言語混乱に関する最初の機械論的解釈可能性研究について述べる。
混乱点(CP)がこの現象の中心であることを示す。
比較分析によって同定された少数の臨界ニューロンを多言語で調整したニューロンで編集すると、混乱が著しく軽減されることがわかった。
論文 参考訳(メタデータ) (2025-05-22T11:29:17Z) - When Less Language is More: Language-Reasoning Disentanglement Makes LLMs Better Multilingual Reasoners [111.50503126693444]
言語固有のアブレーションは多言語推論性能を継続的に向上させることを示す。
トレーニング後のアブレーションと比較して、トレーニング不要のアブレーションは、計算オーバーヘッドを最小限に抑えながら、同等または優れた結果が得られる。
論文 参考訳(メタデータ) (2025-05-21T08:35:05Z) - TopoLM: brain-like spatio-functional organization in a topographic language model [2.817212075185821]
本研究では,2次元空間モデルユニットを明示したトランスフォーマー言語モデルであるTopoLMを開発する。
TopoLMは皮質言語系の機能的構造の出現をうまく予測する。
この結果から,人間の言語システムの機能的構造は,統合された空間的目的によって駆動されていることが示唆された。
論文 参考訳(メタデータ) (2024-10-15T11:37:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。