論文の概要: Universal Neurons in GPT-2: Emergence, Persistence, and Functional Impact

• arxiv url: http://arxiv.org/abs/2508.00903v1
• Date: Mon, 28 Jul 2025 22:45:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 20:32:48.67714
• Title: Universal Neurons in GPT-2: Emergence, Persistence, and Functional Impact
• Title（参考訳）: GPT-2におけるユニバーサルニューロンの出現,持続性,機能的影響
• Authors: Advey Nandan, Cheng-Ting Chou, Amrit Kurakula, Cole Blondin, Kevin Zhu, Vasu Sharma, Sean O'Brien,
• Abstract要約: 独立訓練GPT-2小モデルにおけるニューロンの普遍性現象について検討する。 我々は500万トークンのデータセット上での活性化のペアワイズ相関解析により普遍ニューロンを同定する。 我々はニューロンの持続性を定量化し、トレーニングチェックポイント間で普遍ニューロンの高い安定性を示す。
• 参考スコア（独自算出の注目度）: 3.6335172274433414
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate the phenomenon of neuron universality in independently trained GPT-2 Small models, examining how these universal neurons-neurons with consistently correlated activations across models-emerge and evolve throughout training. By analyzing five GPT-2 models at three checkpoints (100k, 200k, 300k steps), we identify universal neurons through pairwise correlation analysis of activations over a dataset of 5 million tokens. Ablation experiments reveal significant functional impacts of universal neurons on model predictions, measured via loss and KL divergence. Additionally, we quantify neuron persistence, demonstrating high stability of universal neurons across training checkpoints, particularly in deeper layers. These findings suggest stable and universal representational structures emerge during neural network training.
• Abstract（参考訳）: 独立に訓練されたGPT-2小モデルにおけるニューロンの普遍性現象について検討し、これらのニューロンニューロンがモデルエマージ全体にわたって一貫した活性化を保ち、トレーニングを通して進化していくかを検討した。 5つのGPT-2モデルを3つのチェックポイント(100k,200k,300kステップ)で解析することにより,500万トークンのデータセット上での活性化の相互相関解析により,普遍ニューロンを同定する。 アブレーション実験は、損失とKLの発散によって測定されたモデル予測に普遍ニューロンが有意な機能的影響を示す。 さらに、ニューロンの持続性を定量化し、トレーニングチェックポイント、特に深い層において、普遍ニューロンの高い安定性を示す。 これらの結果は、ニューラルネットワークトレーニング中に安定かつ普遍的な表現構造が出現することを示唆している。

関連論文リスト

• Langevin Flows for Modeling Neural Latent Dynamics [81.81271685018284]
  逐次変分自動エンコーダであるLangevinFlowを導入し、潜伏変数の時間的進化をアンダーダム化したLangevin方程式で制御する。 われわれのアプローチは、慣性、減衰、学習されたポテンシャル関数、力などの物理的事前を組み込んで、ニューラルネットワークにおける自律的および非自律的プロセスの両方を表現する。 本手法は,ロレンツ誘引器によって生成される合成神経集団に対する最先端のベースラインより優れる。
  論文  参考訳（メタデータ） (2025-07-15T17:57:48Z)
• NOBLE -- Neural Operator with Biologically-informed Latent Embeddings to Capture Experimental Variability in Biological Neuron Models [68.89389652724378]
  NOBLEは、解釈可能なニューロンの特徴を連続周波数変調した埋め込みから電流注入によって誘導されるソマティック電圧応答へのマッピングを学ぶ神経オペレーターフレームワークである。 内在的な実験変数を考慮したニューラルダイナミクスの分布を予測する。 NOBLEは、実際の実験データに基づいて検証された最初のスケールアップされたディープラーニングフレームワークである。
  論文  参考訳（メタデータ） (2025-06-05T01:01:18Z)
• Single-neuron deep generative model uncovers underlying physics of neuronal activity in Ca imaging data [0.0]
  自己回帰変分オートエンコーダ(AVAE)を用いた単一ニューロン表現学習のための新しいフレームワークを提案する。 我々のアプローチでは、スパイク推論アルゴリズムを必要とせずに、個々のニューロンの信号を縮小次元空間に埋め込む。 AVAEは、より情報的で差別的な潜在表現を生成することによって、従来の線形手法よりも優れている。
  論文  参考訳（メタデータ） (2025-01-24T16:33:52Z)
• Confidence Regulation Neurons in Language Models [91.90337752432075]
  本研究では,大規模言語モデルが次世代の予測において不確実性を表現・規制するメカニズムについて検討する。 エントロピーニューロンは異常に高い重量ノルムを特徴とし、最終層正規化(LayerNorm)スケールに影響を与え、ロジットを効果的にスケールダウンさせる。 ここで初めて説明するトークン周波数ニューロンは、各トークンのログをそのログ周波数に比例して増加または抑制することで、出力分布をユニグラム分布から遠ざかる。
  論文  参考訳（メタデータ） (2024-06-24T01:31:03Z)
• Universal Neurons in GPT2 Language Models [4.9892471449871305]
  異なる初期ランダムシードから学習したGPT2モデルにおける個々のニューロンの普遍性について検討した。 ニューロンの1-5%が普遍的、すなわち、同じ入力で一貫して活性化されるニューロンのペアであることがわかった。
  論文  参考訳（メタデータ） (2024-01-22T18:11:01Z)
• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• Generalization of generative model for neuronal ensemble inference method [0.0]
  本研究では,ニューロンの状態を表す変数の範囲を拡大し,拡張変数に対するモデルの可能性を一般化する。 この2値入力の制限のない一般化により,ソフトクラスタリングが可能となり,非定常神経活動データに適用できる。
  論文  参考訳（メタデータ） (2022-11-07T07:58:29Z)
• STNDT: Modeling Neural Population Activity with a Spatiotemporal Transformer [19.329190789275565]
  我々は、個々のニューロンの応答を明示的にモデル化するNDTベースのアーキテクチャであるSpatioTemporal Neural Data Transformer (STNDT)を紹介する。 本モデルは,4つのニューラルデータセット間での神経活動の推定において,アンサンブルレベルでの最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-06-09T18:54:23Z)
• Continuous Learning and Adaptation with Membrane Potential and Activation Threshold Homeostasis [91.3755431537592]
  本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。 このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。 実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
  論文  参考訳（メタデータ） (2021-04-22T04:01:32Z)
• The Neural Coding Framework for Learning Generative Models [91.0357317238509]
  本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。 同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
  論文  参考訳（メタデータ） (2020-12-07T01:20:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。