論文の概要: Distributed Specialization: Rare-Token Neurons in Large Language Models

• arxiv url: http://arxiv.org/abs/2509.21163v1
• Date: Thu, 25 Sep 2025 13:49:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-26 20:58:12.948061
• Title: Distributed Specialization: Rare-Token Neurons in Large Language Models
• Title（参考訳）: 分散スペシャライゼーション:大規模言語モデルにおける希少ニューロン
• Authors: Jing Liu, Haozheng Wang, Yueheng Li,
• Abstract要約: 大型言語モデル(LLM)は、特殊なドメインにおいて重要であるにもかかわらず、希少なトークンの表現と生成に苦慮している。 LLMは、離散モジュラーアーキテクチャや分散パラメータレベルの微分ドメインを通じて内部特殊化機構を開発するかを検討する。
• 参考スコア（独自算出の注目度）: 8.13000021263958
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) struggle with representing and generating rare tokens despite their importance in specialized domains. We investigate whether LLMs develop internal specialization mechanisms through discrete modular architectures or distributed parameter-level differentiation. Through systematic analysis of final-layer MLP neurons across multiple model families, we discover that rare-token processing emerges via \textit{distributed specialization}: functionally coordinated but spatially distributed subnetworks that exhibit three distinct organizational principles. First, we identify a reproducible three-regime influence hierarchy comprising highly influential plateau neurons(also termed as rare-token neurons), power-law decay neurons, and minimally contributing neurons, which is absent in common-token processing. Second, plateau neurons demonstrate coordinated activation patterns (reduced effective dimensionality) while remaining spatially distributed rather than forming discrete clusters. Third, these specialized mechanisms are universally accessible through standard attention pathways without requiring dedicated routing circuits. Training dynamics reveal that functional specialization emerges gradually through parameter differentiation, with specialized neurons developing increasingly heavy-tailed weight correlation spectra consistent with Heavy-Tailed Self-Regularization signatures. Our findings establish that LLMs process rare-tokens through distributed coordination within shared architectures rather than mixture-of-experts-style modularity. These results provide insights for interpretable model editing, computational efficiency optimization, and understanding emergent functional organization in transformer networks.
• Abstract（参考訳）: 大型言語モデル(LLM)は、特殊なドメインにおいて重要であるにもかかわらず、希少なトークンの表現と生成に苦慮している。 LLMは、離散モジュラーアーキテクチャや分散パラメータレベルの微分によって内部特殊化機構を開発するかを検討する。 複数のモデルファミリーにまたがる最終層MLPニューロンの系統的解析により,3つの異なる組織原理を示す機能的コーディネートだが空間的に分散されたサブネットによる希少な処理が出現することを発見した。 まず、高い影響力を持つプラトーニューロン(レアトーケンニューロンとも呼ばれる)、パワーロッド崩壊ニューロン、およびコモントーケン処理に欠如している最小結合ニューロンからなる再現可能な3つのレジーム影響階層を同定する。 第2に、プラトーニューロンは、離散クラスタを形成するのではなく、空間的に分散したまま、協調した活性化パターン(有効次元の再現)を示す。 第3に、これらの特殊なメカニズムは、専用のルーティング回路を必要とせずに、標準的な注意経路を通じて普遍的にアクセス可能である。 訓練力学は、機能的特殊化はパラメータ分化を通じて徐々に出現し、特殊ニューロンは重み付き自己規則化符号と整合する重み付き重み付き相関スペクトルを発達させる。 この結果から, LLMは, 共有アーキテクチャ内での分散協調により, 希少な処理を行うことが明らかとなった。 これらの結果は,解釈可能なモデル編集,計算効率の最適化,トランスフォーマネットワークにおける創発的機能構造を理解するための洞察を与える。

関連論文リスト

• Fractional neural attention for efficient multiscale sequence processing [0.0]
  マルチスケール情報処理の原理的フレームワークであるFNA(Frictional Neural Attention)を導入する。 FNAは、ラプラシアン分数によって支配されるレヴィ拡散によるトークン相互作用をモデル化する。 FNAは、単一の層と単一のヘッドであっても、競合するテキスト分類性能を達成する。
  論文  参考訳（メタデータ） (2025-11-13T11:27:39Z)
• Neuronal Group Communication for Efficient Neural representation [85.36421257648294]
  本稿では, 効率的な, モジュラー, 解釈可能な表現を学習する, 大規模ニューラルシステムの構築方法に関する問題に対処する。 本稿では、ニューラルネットワークを相互作用する神経群の動的システムとして再認識する理論駆動型フレームワークである神経グループ通信(NGC)を提案する。 NGCは、重みを埋め込みのようなニューロン状態間の過渡的な相互作用として扱い、神経計算はニューロン群間の反復的なコミュニケーションを通じて展開する。
  論文  参考訳（メタデータ） (2025-10-19T14:23:35Z)
• Beyond Benchmarks: Understanding Mixture-of-Experts Models through Internal Mechanisms [55.1784306456972]
  Mixture-of-Experts (MoE)アーキテクチャは、推論中にパラメータのサブセットだけをアクティベートすることで、効率とスケーラビリティを提供する、有望な方向性として登場した。 内部メトリックを用いて、ルーティング機構を明示的に取り入れ、専門家レベルの振る舞いを分析することで、MoEアーキテクチャのメカニズムを解明する。 その結果,(1)モデルの発展に伴ってニューロンの利用が減少し,より高度な一般化が期待できる,(2)ベンチマークのパフォーマンスが限られた信号のみを提供するダイナミックな軌道を示す,(3)複数の専門家の協力的貢献からタスク完了が生じる,(4)ニューロンレベルでの活性化パターンがデータ多様性のきめ細かいプロキシを提供する,といった結果が得られた。
  論文  参考訳（メタデータ） (2025-09-28T15:13:38Z)
• No Clustering, No Routing: How Transformers Actually Process Rare Tokens [6.581088182267414]
  大規模言語モデルは希少なトークン予測に苦しむが、それらの特殊化を駆動するメカニズムはいまだ不明である。 我々は、GPT-2 XLおよびPythiaモデルにおいて、ニューロンの影響分析、グラフベースのクラスタリング、およびアテンションヘッドアブレーションを通してこれを検証した。
  論文  参考訳（メタデータ） (2025-08-30T22:20:41Z)
• Detecting and Pruning Prominent but Detrimental Neurons in Large Language Models [68.57424628540907]
  大規模言語モデル(LLM)は、しばしば特定のデータセットに特化した学習メカニズムを開発する。 本稿では,データセット固有のメカニズムに関連するニューロンの同定と解析により,一般化の促進を目的とした微調整手法を提案する。 本手法では,各ニューロンの高信頼度予測への影響を定量化するため,データセット固有の性能に不均等に寄与するニューロンを同定する。
  論文  参考訳（メタデータ） (2025-07-12T08:10:10Z)
• CodeBrain: Towards Decoupled Interpretability and Multi-Scale Architecture for EEG Foundation Model [52.466542039411515]
  EEGファウンデーションモデル(EFM)は、タスク固有のモデルのスケーラビリティ問題に対処するために登場した。 このギャップを埋めるために設計された2段階のEMFであるCodeBrainを紹介します。 第1段階では、異種時間・周波数の脳波信号を離散トークンに分解するTFDual-Tokenizerを導入する。 第2段階では、構造化されたグローバル畳み込みとスライディングウインドウの注意を結合したマルチスケールEEGSSMアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-06-10T17:20:39Z)
• Emergent Specialization: Rare Token Neurons in Language Models [5.946977198458224]
  大きな言語モデルは、特殊なドメインにおいて重要であるにもかかわらず、希少なトークンの表現と生成に苦労する。 本研究では,レアトークンニューロンと呼ばれる,言語モデルの希少トークン予測に極めて強い影響を与えるニューロン構造を同定する。
  論文  参考訳（メタデータ） (2025-05-19T08:05:13Z)
• Astrocyte-mediated hierarchical modulation enables learning-to-learn in recurrent spiking networks [20.88195975299024]
  生物学的知性の中心的な特徴は学習能力であり、新しいタスクや環境への迅速な適応を可能にする。 学習から学習までの学習をモデル化する階層型ニューラルネットワーク(HM-RSNN)を提案する。 我々は,HM-RSNNを4つの認知タスクで評価し,標準のRSNNや人工ニューラルネットワークよりも計算上の優位性を実証した。
  論文  参考訳（メタデータ） (2025-01-24T14:45:03Z)
• Spatial embedding promotes a specific form of modularity with low entropy and heterogeneous spectral dynamics [0.0]
  空間的に埋め込まれたリカレントニューラルネットワークは、学習よりもネットワークの構造と機能を組み合わせた組織をどのように形成するかを研究するための有望な道を提供する。 我々は,これらの制約を,速度とスパイクニューラルネットワークの両面にわたって,ニューラルウェイトと固有スペクトルのエントロピー測定によって研究することが可能であることを示す。 この作業は、ニューラルネットワークにおける制約付き学習の理解を深め、コーディングスキームやタスクを越えて、同時に構造的および機能的目的に対するソリューションをタンデムで達成する必要がある。
  論文  参考訳（メタデータ） (2024-09-26T10:00:05Z)
• Interpretable Spatio-Temporal Embedding for Brain Structural-Effective Network with Ordinary Differential Equation [56.34634121544929]
  本研究では,まず動的因果モデルを用いて脳効果ネットワークを構築する。 次に、STE-ODE(Spatio-Temporal Embedding ODE)と呼ばれる解釈可能なグラフ学習フレームワークを導入する。 このフレームワークは、構造的および効果的なネットワーク間の動的相互作用を捉えることを目的とした、特異的に設計されたノード埋め込み層を含んでいる。
  論文  参考訳（メタデータ） (2024-05-21T20:37:07Z)
• Learning Multiscale Consistency for Self-supervised Electron Microscopy Instance Segmentation [48.267001230607306]
  本稿では,EMボリュームのマルチスケール一貫性を高める事前学習フレームワークを提案する。 当社のアプローチでは,強力なデータ拡張と弱いデータ拡張を統合することで,Siameseネットワークアーキテクチャを活用している。 効果的にボクセルと機能の一貫性をキャプチャし、EM分析のための転送可能な表現を学習する。
  論文  参考訳（メタデータ） (2023-08-19T05:49:13Z)
• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Theory of gating in recurrent neural networks [5.672132510411465]
  リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、機械学習(ML)や神経科学で広く使われている強力な動的モデルである。 ここでは、ゲーティングが集合力学の2つの健全な特徴を柔軟に制御できることを示す。 ゲート制御の時間スケールは、ネットワークがフレキシブルインテグレータとして機能する、新しい、極端に安定な状態につながる。
  論文  参考訳（メタデータ） (2020-07-29T13:20:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。