論文の概要: Neuron Populations Exhibit Divergent Selectivity with Scale

• arxiv url: http://arxiv.org/abs/2606.03990v1
• Date: Tue, 02 Jun 2026 17:59:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:05.248628
• Title: Neuron Populations Exhibit Divergent Selectivity with Scale
• Title（参考訳）: 神経集団は尺度による発散性選択性を制限する
• Authors: Amil Dravid, Yasaman Bahri, Alexei A. Efros, Yossi Gandelsman,
• Abstract要約: ロゼッタニューロン(Rosetta Neurons)は、独立に訓練されたモデルにおいて、活性化パターンが類似しているニューロンのクラスである。 最大30Bパラメータと最大5Bパラメータの視覚モデルの解析において、ロゼッタニューロンの集団はモデルサイズにおけるサブ線形パワー則に従う。 さらに、ロゼッタニューロンはより選択的になり、スケールとともに単意味になりつつあります。
• 参考スコア（独自算出の注目度）: 46.27365621560269
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate whether neuron populations within neural networks evolve predictably with scale, extending scaling laws beyond macroscopic observables such as loss. To probe this question, we study Rosetta Neurons, a previously characterized class of neurons whose activation patterns are similar across independently trained models (Dravid et al., 2023). In separate analyses of language models up to 30B parameters and vision models up to 5B parameters, we observe that the population of Rosetta Neurons follows a sublinear power law in model size, growing in absolute number but occupying a shrinking fraction of the total neuron count. We further observe a Neuron Polarization Effect: Rosetta Neurons become more selective and increasingly monosemantic with scale, separating from a growing non-Rosetta population that remains less selective. An analytical model balancing feature utility against limited neuron capacity explains the sublinear power-law scaling and this polarization effect. Finally, we find that Rosetta Neurons become more domain-specialized with scale and illustrate their selectivity through a targeted data-filtering case study for continued pretraining. Our results point to a scaling law for interpretable, shared neuron-level structure, linking model size to systematic changes in neuron universality, selectivity, and specialization.
• Abstract（参考訳）: 我々は、ニューラルネットワーク内のニューロン集団がスケールとともに予測可能に進化し、損失などのマクロな観測範囲を超えてスケーリング法則を拡張するかどうかを考察する。 この問題を調査するために、独立に訓練されたモデル(Dravid et al , 2023)間でアクティベーションパターンが類似している、以前特徴付けられるニューロンのクラスであるRosetta Neuronsについて検討した。 最大30Bパラメータの言語モデルと最大5Bパラメータの視覚モデルの解析において、ロゼッタニューロンの個体群はモデルサイズのサブ線形パワー則に従い、絶対数で成長するが、総ニューロン数の縮小分数を占める。 さらに、ロゼッタニューロンはより選択的になり、スケールで単調になり、ロセッタ以外の個体群は選択性が低いままである。 限定されたニューロン容量に対する分析モデルバランス機能ユーティリティは、サブ線形パワーロースケーリングとこの偏極効果を説明する。 最後に、ロゼッタニューロンは、スケールでよりドメイン特化され、ターゲットデータフィルタリングケーススタディを通じて選択性を示す。 本研究は, ニューロンの普遍性, 選択性, 特殊化の体系的変化とモデルサイズをリンクする, 解釈可能な共有ニューロン構造に対するスケーリング法則を示す。

関連論文リスト

• In Search of Grandmother Cells: Tracing Interpretable Neurons in Tabular Representations [1.503974529275767]
  いくつかのニューロンは、高レベルの概念に対して中等度で統計的に有意な唾液濃度と選択性を示す。 これらの結果は、解釈可能なニューロンが自然に出現し、より複雑な解釈可能性技術に頼らずに特定できることを示唆している。
  論文  参考訳（メタデータ） (2026-01-07T07:13:01Z)
• Neuromorphic Online Clustering and Its Application to Spike Sorting [0.783218941317936]
  動的オンラインクラスタリングが可能な基本的なニューラルネットワーク構築ブロックとして,ニューロモルフィックデンドライトを開発した。 ニューロモルフィックデンドライトの特徴と能力は、実験的神経科学(スパイクソート)のベンチマークによって示される。 提案したデンドライトの精度は、より計算集約的でオフラインなk平均クラスタリング手法と比較される。
  論文  参考訳（メタデータ） (2025-06-14T15:53:55Z)
• NOBLE -- Neural Operator with Biologically-informed Latent Embeddings to Capture Experimental Variability in Biological Neuron Models [63.592664795493725]
  NOBLEは、解釈可能なニューロンの特徴を連続周波数変調した埋め込みから電流注入によって誘導されるソマティック電圧応答へのマッピングを学ぶ神経オペレーターフレームワークである。 内在的な実験変数を考慮したニューラルダイナミクスの分布を予測する。 NOBLEは、その一般化を実際の実験データで検証する最初の大規模ディープラーニングフレームワークである。
  論文  参考訳（メタデータ） (2025-06-05T01:01:18Z)
• Confidence Regulation Neurons in Language Models [91.90337752432075]
  本研究では,大規模言語モデルが次世代の予測において不確実性を表現・規制するメカニズムについて検討する。 エントロピーニューロンは異常に高い重量ノルムを特徴とし、最終層正規化(LayerNorm)スケールに影響を与え、ロジットを効果的にスケールダウンさせる。 ここで初めて説明するトークン周波数ニューロンは、各トークンのログをそのログ周波数に比例して増加または抑制することで、出力分布をユニグラム分布から遠ざかる。
  論文  参考訳（メタデータ） (2024-06-24T01:31:03Z)
• Understanding Neural Coding on Latent Manifolds by Sharing Features and Dividing Ensembles [3.625425081454343]
  システム神経科学は、単一ニューロンのチューニング曲線と集団活動の分析を特徴とする2つの相補的な神経データ観に依存している。 これらの2つの視点は、潜伏変数とニューラルアクティビティの関係を制約するニューラル潜伏変数モデルにおいてエレガントに結合する。 ニューラルチューニング曲線にまたがる機能共有を提案し、性能を大幅に改善し、より良い最適化を実現する。
  論文  参考訳（メタデータ） (2022-10-06T18:37:49Z)
• Improving Spiking Neural Network Accuracy Using Time-based Neurons [0.24366811507669117]
  アナログニューロンを用いた低消費電力スパイクニューラルネットワークに基づくニューロモルフィックコンピューティングシステムの研究が注目されている。 技術のスケールダウンに伴い、アナログニューロンはスケールが難しく、電圧ヘッドルーム/ダイナミックレンジの減少と回路の非線形性に悩まされる。 本稿では,28nmプロセスで設計した既存の電流ミラー型電圧ドメインニューロンの非線形挙動をモデル化し,ニューロンの非線形性の影響によりSNN推定精度を著しく劣化させることができることを示す。 本稿では,時間領域のスパイクを処理し,線形性を大幅に向上させる新しいニューロンを提案する。
  論文  参考訳（メタデータ） (2022-01-05T00:24:45Z)
• The Neural Coding Framework for Learning Generative Models [91.0357317238509]
  本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。 同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
  論文  参考訳（メタデータ） (2020-12-07T01:20:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。