論文の概要: Weakening Neurons: An Input-Output Functionality in Transformers with Outsize Influence

• arxiv url: http://arxiv.org/abs/2609.18612v1
• Date: Wed, 16 Sep 2026 13:03:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.812875
• Title: Weakening Neurons: An Input-Output Functionality in Transformers with Outsize Influence
• Title（参考訳）: 弱体化ニューロン:大域的影響を有する変圧器の入力出力機能
• Abstract要約: 大規模言語モデルにおけるGLUベースニューロンの入力出力挙動を解析する。 弱いニューロンは驚くべき行動を示す。
• 参考スコア（独自算出の注目度）: 61.04955764026749
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We analyze the learned input-output behavior of GLU-based neurons in large language models (LLMs). We propose a simple analysis method: For each neuron, we compute the cosine similarities between its input (reading) and output (writing) weight vectors. In this scheme, a strong negative cosine similarity indicates the neuron weakens the direction it detects in the residual stream, so we call this a weakening neuron. This allows us to gain a number of novel insights. First, we show that nine different LLMs have similar patterns: weakening neurons appear mostly in late layers whereas their counterparts, (conditional) strengthening neurons, are frequent in early-middle layers. Second, we find that weakening neurons display surprising behavior: even though there are few, they activate often and have a large influence on model behavior. Third, weakening neurons have a strong effect on model output when gate values are negative -- which is surprising since negative gate values are not expected to encode functionality.
• Abstract（参考訳）: 大規模言語モデル(LLM)におけるGLU系ニューロンの入力出力挙動を解析した。 本稿では,各ニューロンに対して,入力(読み)と出力(書き)重みベクトルのコサイン類似性を計算する。 このスキームでは、強い負のコサイン類似性は、神経細胞が残留ストリームで検出する方向を弱めることを示すので、これを弱化ニューロンと呼ぶ。 これにより、多くの新しい洞察が得られます。 まず、9つの異なるLDMが類似したパターンを持つことを示す: 弱体化ニューロンは、主に後期層に出現し、他方のニューロン(条件付き)強化ニューロンは、初期中間層に頻繁に出現する。 第2に、弱体化ニューロンは驚くべき行動を示しており、少ないにもかかわらず頻繁に活性化し、モデル行動に大きな影響を及ぼす。 第三に、弱化ニューロンはゲート値が負のときモデル出力に強い影響を与える。

関連論文リスト

• Understanding Gated Neurons in Transformers from Their Input-Output Functionality [48.91500104957796]
  ニューロンの入力重みと出力重みのコサイン類似性について検討する。 初期中間層ではエンリッチメントニューロンが支配的であり,後期層では枯渇傾向が見られた。
  論文  参考訳（メタデータ） (2025-05-23T14:14:17Z)
• Confidence Regulation Neurons in Language Models [91.90337752432075]
  本研究では,大規模言語モデルが次世代の予測において不確実性を表現・規制するメカニズムについて検討する。 エントロピーニューロンは異常に高い重量ノルムを特徴とし、最終層正規化(LayerNorm)スケールに影響を与え、ロジットを効果的にスケールダウンさせる。 ここで初めて説明するトークン周波数ニューロンは、各トークンのログをそのログ周波数に比例して増加または抑制することで、出力分布をユニグラム分布から遠ざかる。
  論文  参考訳（メタデータ） (2024-06-24T01:31:03Z)
• Interpreting the Second-Order Effects of Neurons in CLIP [73.54377859089801]
  CLIPの個々のニューロンの機能をテキストで自動的に記述することで解釈する。 ニューロンから後続のアテンションヘッドに流れる影響を、直接出力に解析する「第2次レンズ」を提案する。 以上の結果から,ニューロンの自動解釈は,モデル騙しや新しいモデル機能の導入に有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-06-06T17:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。