論文の概要: Identifying Good and Bad Neurons for Task-Level Controllable LLMs

• arxiv url: http://arxiv.org/abs/2601.04548v1
• Date: Thu, 08 Jan 2026 03:24:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-09 17:01:53.015174
• Title: Identifying Good and Bad Neurons for Task-Level Controllable LLMs
• Title（参考訳）: タスクレベル制御可能なLLMのための良質ニューロンと悪質ニューロンの同定
• Authors: Wenjie Li, Guansong Pang, Hezhe Qiao, Debin Gao, David Lo,
• Abstract要約: 大規模言語モデルは、複数の質問応答ベンチマークで顕著な機能を示した。 大型ニューロンの基盤となる複雑なメカニズムは不透明であり、LLMの理解と操舵に重大な課題を生んでいる。 本稿では,LLMニューロン識別における機能的アンタゴニティの生物学的原理を取り入れた,タスクレベルのLLM理解フレームワークであるNeuronLLMを提案する。
• 参考スコア（独自算出の注目度）: 43.20582224913806
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models have demonstrated remarkable capabilities on multiple-choice question answering benchmarks, but the complex mechanisms underlying their large-scale neurons remain opaque, posing significant challenges for understanding and steering LLMs. While recent studies made progress on identifying responsible neurons for certain abilities, these ability-specific methods are infeasible for task-focused scenarios requiring coordinated use of multiple abilities. Moreover, these approaches focus only on supportive neurons that correlate positively with task completion, while neglecting neurons with other roles-such as inhibitive roles-and misled neuron attribution due to fortuitous behaviors in LLMs (i.e., correctly answer the questions by chance rather than genuine understanding). To address these challenges, we propose NeuronLLM, a novel task-level LLM understanding framework that adopts the biological principle of functional antagonism for LLM neuron identification. The key insight is that task performance is jointly determined by neurons with two opposing roles: good neurons that facilitate task completion and bad neurons that inhibit it. NeuronLLM achieves a holistic modeling of neurons via contrastive learning of good and bad neurons, while leveraging augmented question sets to mitigate the fortuitous behaviors in LLMs. Comprehensive experiments on LLMs of different sizes and families show the superiority of NeuronLLM over existing methods in four NLP tasks, providing new insights into LLM functional organization.
• Abstract（参考訳）: 大規模言語モデルは、複数の質問応答ベンチマークにおいて顕著な能力を示してきたが、その大規模ニューロンの基盤となる複雑なメカニズムは不透明であり、LLMの理解とステアリングに重大な課題を生じさせている。 近年の研究では、特定の能力に対して責任あるニューロンを同定する研究が進んでいるが、これらの能力特異的な手法は、複数の能力の協調的使用を必要とするタスク中心のシナリオでは不可能である。 さらに、これらのアプローチは、タスク完了と正に相関する支持ニューロンにのみ焦点をあてる一方で、他の役割を持つニューロンを無視する。 これらの課題に対処するために我々は,LLMニューロン識別に機能的アンタゴニティの生物学的原理を取り入れた,新しいタスクレベルのLLM理解フレームワークであるNeuronLLMを提案する。 重要な洞察は、タスクパフォーマンスは2つの対立する役割を持つニューロンによって共同で決定されるということだ。 NeuronLLMは、良質なニューロンと悪質なニューロンの対照的な学習を通じて神経細胞の全体的モデリングを実現し、拡張された質問セットを活用してLLMの求心行動を緩和する。 異なるサイズと家族のLLMに関する総合的な実験は、4つのNLPタスクにおける既存の方法よりもNeuronLLMの方が優れており、LLMの機能的組織に対する新たな洞察を与えている。

関連論文リスト

• The Achilles' Heel of LLMs: How Altering a Handful of Neurons Can Cripple Language Abilities [16.20947034847556]
  大規模言語モデル(LLM)は自然言語処理の基礎となるツールとなっている。 近年の研究では、人間の脳内の生物学的ニューロンのごく一部が、コア認知機能に欠かせないことが判明している。
  論文  参考訳（メタデータ） (2025-10-11T14:39:09Z)
• Brain-Inspired Exploration of Functional Networks and Key Neurons in Large Language Models [53.91412558475662]
  我々は,大言語モデル(LLM)における機能的ネットワークの探索と同定のために,機能的ニューロイメージング解析の分野における機能的ニューロイメージングと類似した手法を用いる。 実験の結果、人間の脳と同様、LLMは手術中に頻繁に再帰する機能的ネットワークを含んでいることが明らかとなった。 主要な機能的ネットワークのマスキングはモデルの性能を著しく損なう一方、サブセットだけを保持することは効果的な操作を維持するのに十分である。
  論文  参考訳（メタデータ） (2025-02-13T04:42:39Z)
• Brain-like Functional Organization within Large Language Models [58.93629121400745]
  人間の脳は長い間人工知能(AI)の追求にインスピレーションを与えてきた 最近のニューロイメージング研究は、人工ニューラルネットワーク(ANN)の計算的表現と、人間の脳の刺激に対する神経反応との整合性の説得力のある証拠を提供する。 本研究では、人工ニューロンのサブグループと機能的脳ネットワーク(FBN)を直接結合することで、このギャップを埋める。 このフレームワークはANサブグループをFBNにリンクし、大きな言語モデル(LLM)内で脳に似た機能的組織を記述できる。
  論文  参考訳（メタデータ） (2024-10-25T13:15:17Z)
• Towards Understanding Multi-Task Learning (Generalization) of LLMs via Detecting and Exploring Task-Specific Neurons [45.04661608619081]
  大規模言語モデル(LLM)におけるタスク依存ニューロンは,タスク固有データに対する勾配属性によって検出される。 タスク固有のニューロンの重複は、タスク間の一般化と特殊化と強く関連している。 連続学習において,現在のタスク固有ニューロンのみを微調整するニューロンレベルの連続微調整法を提案する。
  論文  参考訳（メタデータ） (2024-07-09T01:27:35Z)
• Sharing Matters: Analysing Neurons Across Languages and Tasks in LLMs [85.0284555835015]
  大規模言語モデル(LLM)は自然言語処理(NLP)の分野に革命をもたらした。 多言語環境でのLLMの内部動作を探究する研究はほとんどない。 我々は、異なる言語にまたがる特定の入力に対する応答に基づいて、ニューロンを4つの異なるカテゴリに分類する。
  論文  参考訳（メタデータ） (2024-06-13T16:04:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。