論文の概要: Effects of sparsity and superposition on loss in simple autoencoders

• arxiv url: http://arxiv.org/abs/2606.18538v1
• Date: Tue, 16 Jun 2026 23:14:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 17:16:50.931672
• Title: Effects of sparsity and superposition on loss in simple autoencoders
• Title（参考訳）: 単純自己エンコーダの損失に及ぼすスパシティと重ね合わせの影響
• Authors: Mriganka Basu Roy Chowdhury, Eric McLaughlin Weiner,
• Abstract要約: 多意味性(Polysemanticity)は、ニューラルネットワークの機械論的解釈の難しさである。 重ね合わせ(英: superposition)は、ニューラルネットワークが低次元空間における非直交方向として特徴を区別する現象である。 本研究の貢献は, 重ね合わせの発生と最適性に関する数学的基礎を解析し, それらの発見のいくつかを厳密に裏付けることである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One of the major difficulties in the mechanistic interpretability of neural networks is the occurrence of polysemanticity, which suggests that each neuron is typically responsible for multiple different tasks, impeding a clean interpretation of their function. The seminal paper of Elhage et al. (2022) argues that this occurs due to superposition, a phenomenon where the neural network represents distinct features as non-orthogonal directions in a lower-dimensional space, a strategy that allows much greater compression of the data without sacrificing fidelity due to the feature sparsity of input vectors. Elhage et al. (2022) empirically validates these hypotheses in a rather natural and simple autoencoder with sparse inputs. The contribution of the present work is to analyze the mathematical basis for the occurrence and optimality of superposition, while rigorously corroborating some of their findings. In particular, we provide upper and lower bounds for the L2 reconstruction loss, tight in the very sparse regime, for power activation functions. A short list of interesting open problems are also included at the end.
• Abstract（参考訳）: ニューラルネットワークの機械的解釈可能性の大きな難しさの1つは、多意味性の発生であり、これは各ニューロンが典型的に複数の異なるタスクに責任を負っており、その機能のクリーンな解釈を妨げることを示唆している。 Elhage et al (2022) のセミナー論文は、これは重畳(重ね合わせ)、ニューラルネットワークが低次元空間における非直交方向として異なる特徴を表す現象、入力ベクトルの特徴の空間性による忠実さを犠牲にすることなくデータをはるかに大きな圧縮を可能にする戦略によって起こると論じている。 Elhage et al (2022) は、スパース入力を持つ比較的自然で単純なオートエンコーダでこれらの仮説を実証的に検証している。 本研究の貢献は, 重ね合わせの発生と最適性に関する数学的基礎を解析し, それらの発見のいくつかを厳密に裏付けることである。 特に、電力活性化関数に対して、非常にスパースな状態において厳密なL2再構成損失に対して、上下境界を提供する。 興味深いオープン問題の短いリストも最後に掲載されている。

関連論文リスト

• Superposition as Lossy Compression: Measure with Sparse Autoencoders and Connect to Adversarial Vulnerability [23.64717985754014]
  本稿では,神経表現の有効自由度を測定する情報理論フレームワークを提案する。 我々はシャノンエントロピーをスパースオートエンコーダアクティベーションに適用し、干渉のない符号化に必要な最小限のニューロンとして有効な特徴の数を計算した。 提案手法は, 玩具模型における地中真実と強く相関し, アルゴリズム作業における極小重ね合わせを検出し, ドロップアウト下での系統的縮小を明らかにする。
  論文  参考訳（メタデータ） (2025-12-15T17:25:39Z)
• Semantic Loss Functions for Neuro-Symbolic Structured Prediction [74.18322585177832]
  このような構造に関する知識を象徴的に定義した意味的損失をトレーニングに注入する。 記号の配置に非依存であり、それによって表現される意味論にのみ依存する。 識別型ニューラルモデルと生成型ニューラルモデルの両方と組み合わせることができる。
  論文  参考訳（メタデータ） (2024-05-12T22:18:25Z)
• A simple connection from loss flatness to compressed neural representations [3.5502600490147196]
  損失ランドスケープの平坦さを反映したパラメータ空間の幾何学的測度であるシャープネスは、ニューラルネットワークの挙動と潜在的な関係について長い間研究されてきた。 本稿では,特徴空間におけるニューラル表現の局所的幾何学的特徴がシャープさがどのように影響するかを考察する。
  論文  参考訳（メタデータ） (2023-10-03T03:36:29Z)
• Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
  ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。 トラクタブル回路において,これを効率的に計算する方法を示す。 我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
  論文  参考訳（メタデータ） (2023-02-28T00:04:22Z)
• On the Omnipresence of Spurious Local Minima in Certain Neural Network Training Problems [0.0]
  本研究では,1次元実出力を持つ深層ニューラルネットワークにおける学習課題の損失状況について検討する。 このような問題は、アフィンでないすべての対象函数に対して、刺激的(すなわち、大域的最適ではない)局所ミニマの連続体を持つことが示されている。
  論文  参考訳（メタデータ） (2022-02-23T14:41:54Z)
• Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
  ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。 本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。 他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。 驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
  論文  参考訳（メタデータ） (2021-10-21T07:28:11Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。