論文の概要: Revenge of Monosemanticity: Specialized Neurons Improve Data Efficiency in MLPs

• arxiv url: http://arxiv.org/abs/2608.24007v1
• Date: Tue, 25 Aug 2026 02:54:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.766492
• Title: Revenge of Monosemanticity: Specialized Neurons Improve Data Efficiency in MLPs
• Title（参考訳）: モノセマンティリティの回復:特殊ニューロンはMLPのデータ効率を向上する
• Abstract要約: 多層パーセプトロン(MLP)は自然に単節性特異的ニューロンを発達させる。 単一の大域的な低次元表現を学ぶのではなく、関連人は高次元空間を集合的に扱うことのできる局所的な低次元表現の集合を学ぶ。
• 参考スコア（独自算出の注目度）: 17.43268776924599
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding how neural networks learn and organize features is central to understanding their behavior. Much existing theory of feature learning has focused on the emergence of a global low-dimensional predictive geometry. We show that this picture is incomplete. In regression problems with clustered data, we demonstrate that multilayer perceptrons (MLPs) naturally develop monosemantic specialized neurons: individual neurons become strongly aligned with a specific predictive feature relevant to a particular region of the input space. Rather than learning a single global low-dimensional representation, MLPs learn a collection of local low-dimensional representations that can collectively span a high-dimensional space. This specialization provably gives MLPs a data-efficiency advantage over feature-learning methods based on a global low-dimensional representation.
• Abstract（参考訳）: ニューラルネットワークが機能をどのように学習し、整理するかを理解することは、その振る舞いを理解する上で重要である。 特徴学習の理論の多くは、グローバルな低次元の予測幾何学の出現に焦点を当てている。 私たちはこの絵が不完全であることを示す。 クラスタ化データを用いた回帰問題では、多層パーセプトロン(MLP)が自然に単相性特化ニューロンを発達することを示し、個々のニューロンは入力空間の特定の領域に関連する特定の予測的特徴と強く整合する。 MLPは単一の大域的な低次元表現を学ぶのではなく、局所的な低次元表現の集合を学習し、高次元空間をまとめることができる。 この特殊化により、MPPはグローバルな低次元表現に基づく特徴学習法よりもデータ効率の優位性が得られる。

関連論文リスト

• Emergent Generalization by Representation Learning in Artificial Neural Networks [0.0]
  一般化には,再帰的ニューラルネットワークに低次元表現を学習させる明示的な情報ボトルネックが不可欠であることを示す。 因果発生に関する情報理論的尺度を用いて,この表現の力学を記憶から一般化への遷移を通して特徴づける。 この軌道はタスクの複雑さとともにスケールし、創発的構造の大きさは一般化性能を確実に予測する。
  論文  参考訳（メタデータ） (2026-07-11T18:25:23Z)
• Hedonic Neurons: A Mechanistic Mapping of Latent Coalitions in Transformer MLPs [18.335932098245895]
  本稿では,連立ゲーム理論に基づく機械的解釈可能性フレームワークを提案する。 非添加作用を有する神経細胞の安定な連なりを抽出する。 次に、レイヤ間の遷移を永続性、分割、マージ、消失として追跡します。
  論文  参考訳（メタデータ） (2025-09-28T06:55:24Z)
• Global Convergence and Rich Feature Learning in $L$-Layer Infinite-Width Neural Networks under $μ$P Parametrization [66.03821840425539]
  本稿では, テンソル勾配プログラム(SGD)フレームワークを用いた$L$層ニューラルネットワークのトレーニング力学について検討する。 SGDにより、これらのネットワークが初期値から大きく逸脱する線形独立な特徴を学習できることを示す。 このリッチな特徴空間は、関連するデータ情報をキャプチャし、トレーニングプロセスの収束点が世界最小であることを保証する。
  論文  参考訳（メタデータ） (2025-03-12T17:33:13Z)
• You Are Your Own Best Teacher: Achieving Centralized-level Performance in Federated Learning under Heterogeneous and Long-tailed Data [54.56492110703343]
  局所的な非IIDデータとグローバルな長期分布から生ずるデータ不均一性は、連邦学習(FL)における大きな課題である 弱い局所サンプルと強い局所サンプルの知識を蒸留し,表現学習を改善するためにFedYoYoを提案する。 我々は、FedYoYoが最先端の結果を達成し、グローバルな長期的設定の下で集中ロジット調整手法を5.4%超えたことを示します。
  論文  参考訳（メタデータ） (2025-03-10T04:57:20Z)
• From MLP to NeoMLP: Leveraging Self-Attention for Neural Fields [26.659511924272962]
  我々は,NeoMLPと呼ばれる,隠れたスケーラブルなノードに基づく新しいタイプの接続性を開発している。 マルチモーダル音声・視覚データを含む高分解能信号を取り付けることで,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-12-11T19:01:38Z)
• Generalization from Starvation: Hints of Universality in LLM Knowledge Graph Learning [8.025148264640967]
  グラフ学習中にニューラルネットワークが知識をどのように表現するかを検討する。 我々は普遍性のヒントを見つけ、同値表現は様々なモデルサイズで学習される。 これらのアトラクタ表現は、一般化を目に見えない例に最適化することを示す。
  論文  参考訳（メタデータ） (2024-10-10T16:23:42Z)
• Spatiotemporal Graph Learning with Direct Volumetric Information Passing and Feature Enhancement [62.91536661584656]
  本稿では,CeFeGNN(CeFeGNN)とCell-embeddedとFeature-enhanced Graph Neural Networkを学習用として提案する。 学習可能なセル属性を共通ノードエッジメッセージパッシングプロセスに埋め込むことで,地域特性の空間依存性をよりよく把握する。 各種PDEシステムと1つの実世界のデータセットを用いた実験により、CeFeGNNは他のベースラインと比較して優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-09-26T16:22:08Z)
• Self-Supervised Learning of Representations for Space Generates Multi-Modular Grid Cells [16.208253624969142]
  哺乳類の系統は 顕著な空間表現を発達させました 重要な空間表現の一つがノーベル賞受賞格子細胞である。 ノーベル賞受賞時のグリッド細胞は、自己位置、局所的および周期的な量を表す。
  論文  参考訳（メタデータ） (2023-11-04T03:59:37Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。