論文の概要: The Achilles' Heel of LLMs: How Altering a Handful of Neurons Can Cripple Language Abilities

• arxiv url: http://arxiv.org/abs/2510.10238v1
• Date: Sat, 11 Oct 2025 14:39:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:29.852825
• Title: The Achilles' Heel of LLMs: How Altering a Handful of Neurons Can Cripple Language Abilities
• Title（参考訳）: LLMのアキレス腱
• Authors: Zixuan Qin, Kunlin Lyu, Qingchen Yu, Yifan Sun, Zhaoxin Fan,
• Abstract要約: 大規模言語モデル(LLM)は自然言語処理の基礎となるツールとなっている。 近年の研究では、人間の脳内の生物学的ニューロンのごく一部が、コア認知機能に欠かせないことが判明している。
• 参考スコア（独自算出の注目度）: 16.20947034847556
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have become foundational tools in natural language processing, powering a wide range of applications and research. Many studies have shown that LLMs share significant similarities with the human brain. Recent neuroscience research has found that a small subset of biological neurons in the human brain are crucial for core cognitive functions, which raises a fundamental question: do LLMs also contain a small subset of critical neurons? In this paper, we investigate this question by proposing a Perturbation-based Causal Identification of Critical Neurons method to systematically locate such critical neurons in LLMs. Our findings reveal three key insights: (1) LLMs contain ultra-sparse critical neuron sets. Disrupting these critical neurons can cause a 72B-parameter model with over 1.1 billion neurons to completely collapse, with perplexity increasing by up to 20 orders of magnitude; (2) These critical neurons are not uniformly distributed, but tend to concentrate in the outer layers, particularly within the MLP down\_proj components; (3) Performance degradation exhibits sharp phase transitions, rather than a gradual decline, when these critical neurons are disrupted. Through comprehensive experiments across diverse model architectures and scales, we provide deeper analysis of these phenomena and their implications for LLM robustness and interpretability. These findings can offer guidance for developing more robust model architectures and improving deployment security in safety-critical applications.
• Abstract（参考訳）: 大規模言語モデル(LLM)は自然言語処理の基礎となるツールとなり、幅広い応用や研究の動力となっている。 多くの研究により、LLMは人間の脳と大きな類似性を持っていることが示されている。 最近の神経科学研究で、人間の脳内の生物学的ニューロンの小さなサブセットがコア認知機能に欠かせないことが判明した。 本稿では, 摂動に基づく臨界ニューロンの因果同定法を提案する。 1) LLM は超スパース臨界ニューロンセットを含む。 これらの臨界ニューロンの破壊は、12億以上の神経細胞を持つ72Bパラメーターモデルが完全に崩壊し、最大20桁のパープレキシティが増加し、(2)これらの臨界ニューロンは均一に分散せず、特にMLPダウン_proj成分の外側層に集中する傾向にある。 多様なモデルアーキテクチャとスケールにわたる包括的な実験を通じて、これらの現象とそのLLMの堅牢性と解釈可能性に対する影響をより深く分析する。 これらの発見は、より堅牢なモデルアーキテクチャの開発と、安全クリティカルなアプリケーションのデプロイメントセキュリティ改善のためのガイダンスを提供することができる。

関連論文リスト

• Neuro-Symbolic Artificial Intelligence: Towards Improving the Reasoning Abilities of Large Language Models [49.52128963321304]
  大きな言語モデル(LLM)は様々なタスクで有望な結果を示しているが、その推論能力は依然として根本的な課題である。 本稿では,LLM推論の高度化に向けたニューロシンボリックアプローチの最近の展開を包括的にレビューする。
  論文  参考訳（メタデータ） (2025-08-19T09:27:46Z)
• NLP4Neuro: Sequence-to-sequence learning for neural population decoding [0.9086712846902969]
  動物の行動が神経活動からどのように起こるかを説明することは神経科学の基礎的な目標である。 現代の大規模言語モデル(LLM)のバックボーンであるトランスフォーマーは、より小さな神経集団からの神経復号のための強力なツールとなっている。
  論文  参考訳（メタデータ） (2025-07-03T03:14:55Z)
• Probing Neural Topology of Large Language Models [12.298921317333452]
  本稿では,大規模言語モデルの機能的接続を明らかにするためのグラフ探索手法を提案する。 多様なLLMファミリーやスケールのモデルを探索することにより、次の予測性能の普遍的な予測可能性を見出す。 興味深いことに、トポロジーの探索は、最大130.4%のアクティベーションでの探索よりも優れている。
  論文  参考訳（メタデータ） (2025-06-01T14:57:03Z)
• Brain-Inspired Exploration of Functional Networks and Key Neurons in Large Language Models [53.91412558475662]
  我々は,大言語モデル(LLM)における機能的ネットワークの探索と同定のために,機能的ニューロイメージング解析の分野における機能的ニューロイメージングと類似した手法を用いる。 実験の結果、人間の脳と同様、LLMは手術中に頻繁に再帰する機能的ネットワークを含んでいることが明らかとなった。 主要な機能的ネットワークのマスキングはモデルの性能を著しく損なう一方、サブセットだけを保持することは効果的な操作を維持するのに十分である。
  論文  参考訳（メタデータ） (2025-02-13T04:42:39Z)
• Brain-like Functional Organization within Large Language Models [58.93629121400745]
  人間の脳は長い間人工知能(AI)の追求にインスピレーションを与えてきた 最近のニューロイメージング研究は、人工ニューラルネットワーク(ANN)の計算的表現と、人間の脳の刺激に対する神経反応との整合性の説得力のある証拠を提供する。 本研究では、人工ニューロンのサブグループと機能的脳ネットワーク(FBN)を直接結合することで、このギャップを埋める。 このフレームワークはANサブグループをFBNにリンクし、大きな言語モデル(LLM)内で脳に似た機能的組織を記述できる。
  論文  参考訳（メタデータ） (2024-10-25T13:15:17Z)
• Sharing Matters: Analysing Neurons Across Languages and Tasks in LLMs [85.0284555835015]
  大規模言語モデル(LLM)は自然言語処理(NLP)の分野に革命をもたらした。 多言語環境でのLLMの内部動作を探究する研究はほとんどない。 我々は、異なる言語にまたがる特定の入力に対する応答に基づいて、ニューロンを4つの異なるカテゴリに分類する。
  論文  参考訳（メタデータ） (2024-06-13T16:04:11Z)
• Too Big to Fail: Larger Language Models are Disproportionately Resilient to Induction of Dementia-Related Linguistic Anomalies [7.21603206617401]
  より大型のGPT-2モデルでは、マスキングによる劣化の程度を示すために、被マスキング/被マスキングを行うために、不均等に多くの注意ヘッドを必要とすることが示されている。 これらの結果から, トランスフォーマーモデルにおける注意機構は, 認知と脳保護の概念に類似している可能性が示唆された。
  論文  参考訳（メタデータ） (2024-06-05T00:31:50Z)
• Neural Language Models are not Born Equal to Fit Brain Data, but Training Helps [75.84770193489639]
  音声ブックを聴く被験者の機能的磁気共鳴イメージングの時間軸予測に及ぼすテスト損失,トレーニングコーパス,モデルアーキテクチャの影響について検討した。 各モデルの訓練されていないバージョンは、同じ単語をまたいだ脳反応の類似性を捉えることで、脳内のかなりの量のシグナルをすでに説明していることがわかりました。 ニューラル言語モデルを用いたヒューマン・ランゲージ・システムの説明を目的とした今後の研究の実践を提案する。
  論文  参考訳（メタデータ） (2022-07-07T15:37:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。