論文の概要: Decodable But Not Detachable: Training Data Granularity Determines Parametric Modularity in Large Language Models

• arxiv url: http://arxiv.org/abs/2608.10214v1
• Date: Mon, 10 Aug 2026 20:35:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:45.808353
• Title: Decodable But Not Detachable: Training Data Granularity Determines Parametric Modularity in Large Language Models
• Title（参考訳）: 決定可能ではあるが分離不能:大規模言語モデルにおけるパラメトリックなモジュール性を決定するデータのグラニュラリティのトレーニング
• Abstract要約: 2つのドメインの粒度、3つのモデルファミリ、8つのドメインに一様因果方法論を適用する。 学術的な対象レベルでは、ゼロニューロンは939,008個の組み合わせFFNニューロンで60%以上のドメイン選択性を持つ。 マスキング符号選択ニューロンは、すべてのモデルで16-24ポイントの数学的推論精度を低下させる。
• 参考スコア（独自算出の注目度）: 0.7162422068114824
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Do large language models contain domain-specific parametric shells: concentrated, causally necessary neuron populations whose removal selectively degrades a target domain while sparing others? We apply a uniform causal methodology across two domain granularities, three model families (1.5B to 7B parameters), and eight domains. At the academic subject level, zero neurons exceed 60\% domain selectivity across 939,008 combined FFN neurons and causal damage matrices are flat, despite domain identity being linearly decodable above 85\% accuracy. At the language and modality level, 0.65--1.14\% of neurons exceed 60\% selectivity, damage matrices are near-perfectly diagonal (ratios up to 595:1), and shell neuron sets are essentially disjoint (IoU $< 0.003$). Masking code-selective neurons reduces mathematical reasoning accuracy by 16--24 percentage points across all models; masking Spanish or Chinese neurons leaves it at or below random. Shell strength increases monotonically with scale and shells are spatially interleaved in a pattern that precludes group-level selective quantization. Parametric shells form where and only where training data was modular at the token level.
• Abstract（参考訳）: 大きな言語モデルにはドメイン固有のパラメトリックシェルが含まれていますか:集中的で因果的に必要なニューロン集団は、他の領域を分散しながら選択的に標的ドメインを分解しますか? 2つのドメインの粒度、3つのモデルファミリー(1.5Bから7Bパラメータ)、8つのドメインに一様因果手法を適用する。 学術的対象レベルでは、ゼロニューロンは939,008個のFFNニューロンにまたがって60\%のドメイン選択性を超え、因果損傷行列は85\%の精度で線形デオード可能であるにもかかわらず平坦である。 言語とモダリティのレベルでは、0.65--1.14\%のニューロンが60\%の選択性を超え、損傷行列はほぼ完全な対角線(595:1まで)であり、シェルニューロン集合は本質的には解離している(IoU $<0.003$)。 マスキング符号選択ニューロンは、すべてのモデルで16-24ポイントの数学的推論精度を低下させる。 シェル強度はスケールとともに単調に増加し、シェルはグループレベルの選択的量子化を妨げるパターンで空間的にインターリーブされる。 パラメトリックシェルはトークンレベルでトレーニングデータがモジュール化された場所と場所のみを形成する。

関連論文リスト

• Output Vector Editing for Memorization Mitigation in Large Language Models [68.30351930772788]
  大規模な言語モデルは、トレーニングデータからシーケンスを記憶し、再現し、プライバシ、著作権、セキュリティリスクを生み出す。 既存のニューロンレベルの緩和方法は、ニューロンの活性化をゼロにすることで編集を等しくするが、活性化はニューロンが関与するかどうかのみを制御する。 記憶継続に責任を負うニューロンの小さな集合を探索する制約最適化編集である出力ベクトル編集を提案する。
  論文  参考訳（メタデータ） (2026-06-17T07:29:18Z)
• Neuron Populations Exhibit Divergent Selectivity with Scale [46.27365621560269]
  ロゼッタニューロン(Rosetta Neurons)は、独立に訓練されたモデルにおいて、活性化パターンが類似しているニューロンのクラスである。 最大30Bパラメータと最大5Bパラメータの視覚モデルの解析において、ロゼッタニューロンの集団はモデルサイズにおけるサブ線形パワー則に従う。 さらに、ロゼッタニューロンはより選択的になり、スケールとともに単意味になりつつあります。
  論文  参考訳（メタデータ） (2026-06-02T17:59:52Z)
• Tiny Brains, Giant Impact: Uncovering the Keystone Neurons of LLM with Just a Few Prompts [57.98275914877019]
  広い範囲のオープンウェイトトランスフォーマーにおいて、ニューロンのサブセットは、複数の能力次元のタスクをまたいだ推論において、常に高度に活性化されることが示される。 クロスタスク活性化強度に沿って探索することにより、非常にスパースなサブセットが分離され、その除去はモデル挙動の崩壊を引き起こす。 解析の結果,キーストーンニューロンは,前訓練中にほぼ確立されたモデルの安定で内在的なニューロンサブセットであることが明らかとなった。
  論文  参考訳（メタデータ） (2026-05-24T03:31:07Z)
• NSFL: A Post-Training Neuro-Symbolic Fuzzy Logic Framework for Boolean Operators in Neural Embeddings [0.35498685419210285]
  Neuro-Symbolic Fuzzy Logic (NSFL) は、フォーマルなt-ノルムとt-コノルムを、再トレーニングを必要とせずに神経埋め込み空間に適応させる。 NSFLは1次ハイブリッド計算として動作する。 孤立したゼロ階類似度スコアの論理演算をアンカーする。 ニューロシンボリックデルタを用いて積極的に表現を操る。
  論文  参考訳（メタデータ） (2026-04-12T12:19:10Z)
• Language Model Circuits Are Sparse in the Neuron Basis [50.460651620833055]
  その結果, textbfMLP ニューロンは SAE と同様の機能的基盤であることがわかった。 この作業は、追加のトレーニングコストなしで言語モデルの自動解釈可能性を向上させる。
  論文  参考訳（メタデータ） (2026-01-30T05:41:19Z)
• Skeletonization of neuronal processes using Discrete Morse techniques from computational topology [3.9341278092649925]
  脊椎動物脳におけるメソスケール神経回路のマッピング手法を提案する。 ラベル付き軸索の断片を骨格化し、体積長の密度を推定することで、基底ニューロンとよりうまく結びついている。 この手法は、非局所接続情報を考慮し、ノイズロバスト性を提供する。
  論文  参考訳（メタデータ） (2025-05-12T16:59:36Z)
• Efficient Vectorized Backpropagation Algorithms for Training Feedforward Networks Composed of Quadratic Neurons [1.474723404975345]
  本稿では,1つの二次ニューロンを用いたXOR問題の解法を提案する。 これは$mathcalC$境界クラスタからなる任意のデータセットが、$mathcalC$二次ニューロンの単一の層でのみ分離可能であることを示している。
  論文  参考訳（メタデータ） (2023-10-04T15:39:57Z)
• Cross-Model Comparative Loss for Enhancing Neuronal Utility in Language Understanding [82.46024259137823]
  幅広いタスクに対するクロスモデル比較損失を提案する。 3つの異なるNLUタスクから14のデータセットに対する広範な実験により比較損失の普遍的有効性を示す。
  論文  参考訳（メタデータ） (2023-01-10T03:04:27Z)
• Revisiting Gaussian Neurons for Online Clustering with Unknown Number of Clusters [0.0]
  参照するクラスタ数の最大限のオンラインクラスタリングを行う、新しいローカルラーニングルールが提示される。 実験結果は,学習パラメータの安定性を多数のトレーニングサンプルで実証した。
  論文  参考訳（メタデータ） (2022-05-02T14:01:40Z)
• The Neural Coding Framework for Learning Generative Models [91.0357317238509]
  本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。 同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
  論文  参考訳（メタデータ） (2020-12-07T01:20:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。