論文の概要: Spectral Superposition: A Theory of Feature Geometry

• arxiv url: http://arxiv.org/abs/2602.02224v1
• Date: Mon, 02 Feb 2026 15:28:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:34.255929
• Title: Spectral Superposition: A Theory of Feature Geometry
• Title（参考訳）: スペクトル重ね合わせ:特徴幾何学の理論
• Authors: Georgi Ivanov, Narmeen Oozeer, Shivam Raval, Tasana Pejovic, Shriyash Upadhyay, Amir Abdullah,
• Abstract要約: 重み付き行列のスペクトルを解析することにより特徴の幾何学的構造を研究する理論を開発する。 重ね合わせのおもちゃモデルでは、キャパシティ飽和がスペクトル局在を強制することを示すためにこの理論を用いる。
• 参考スコア（独自算出の注目度）: 1.3837984867394175
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks represent more features than they have dimensions via superposition, forcing features to share representational space. Current methods decompose activations into sparse linear features but discard geometric structure. We develop a theory for studying the geometric structre of features by analyzing the spectra (eigenvalues, eigenspaces, etc.) of weight derived matrices. In particular, we introduce the frame operator $F = WW^\top$, which gives us a spectral measure that describes how each feature allocates norm across eigenspaces. While previous tools could describe the pairwise interactions between features, spectral methods capture the global geometry (``how do all features interact?''). In toy models of superposition, we use this theory to prove that capacity saturation forces spectral localization: features collapse onto single eigenspaces, organize into tight frames, and admit discrete classification via association schemes, classifying all geometries from prior work (simplices, polygons, antiprisms). The spectral measure formalism applies to arbitrary weight matrices, enabling diagnosis of feature localization beyond toy settings. These results point toward a broader program: applying operator theory to interpretability.
• Abstract（参考訳）: ニューラルネットワークは、重ね合わせによる次元よりも多くの特徴を表現し、特徴を表現空間を共有するように強制する。 現在の方法では、アクティベーションを疎線形な特徴に分解するが、幾何学的構造を捨てる。 重み付き行列のスペクトル(固有値、固有空間など)を解析することにより特徴の幾何学的構造を研究する理論を開発する。 特に、フレーム演算子$F = WW^\top$を導入し、各特徴が固有空間全体にわたってノルムをどのように割り当てるかを記述するスペクトル測度を与える。 以前のツールでは、機能間の相互の相互作用を記述できたが、スペクトルメソッドはグローバルな幾何学をキャプチャする( ``How do all features interact?'')。 スーパーポジションのおもちゃモデルでは、キャパシティ飽和力(英語版)がスペクトル局在化(英語版)を証明するためにこの理論を用いる: 特徴は単一の固有空間に崩壊し、タイトなフレームに編成され、アソシエーションスキームを通して離散的な分類を認め、すべてのジオメトリを以前の作業(単純性、多角形、アンチプリズム)から分類する。 スペクトル測度形式は任意の重量行列に適用され、おもちゃの設定を超えた特徴定位を診断することができる。 これらの結果は、解釈可能性に作用素理論を適用するという、より広範なプログラムに向けられている。

関連論文リスト

• Critical quantum states and hierarchical spectral statistics in a Cantor potential [0.0]
  カントール型フラクタルポテンシャルを受ける一次元量子系のスペクトル統計と波動関数特性について検討する。 ポテンシャルの自己相似幾何学が量子スペクトルにどのように印加されるかを示す。
  論文  参考訳（メタデータ） (2026-01-13T08:25:41Z)
• Grand Unification of All Discrete Wigner Functions on $d \times d$ Phase Space [0.5242869847419834]
  ウィグナー関数は量子状態と力学を可視化し、量子情報の定量的解析をサポートする。 単一の$d$次元量子システムに対して、可能な$dtimes d$離散ウィグナー関数を全て排気するステンシルベースのフレームワークを導入する。
  論文  参考訳（メタデータ） (2025-03-12T12:55:37Z)
• Geometry of Lightning Self-Attention: Identifiability and Dimension [2.9816332334719773]
  任意の層数に対するパラメトリゼーションの一般的な繊維の表現を提供することにより、深い注意の識別可能性について検討する。 単層モデルでは特異点と境界点を特徴付ける。 最後に,本研究の結果を正規化された自己注意ネットワークに拡張し,単一層として証明し,深部ケースで数値的に検証する。
  論文  参考訳（メタデータ） (2024-08-30T12:00:36Z)
• Understanding Matrix Function Normalizations in Covariance Pooling through the Lens of Riemannian Geometry [63.694184882697435]
  グローバル共分散プーリング(GCP)は、高レベルの表現の2階統計を利用して、ディープニューラルネットワーク(DNN)の性能を向上させることが実証されている。 本稿では、リーマン幾何学の観点から行列対数とパワーの包括的かつ統一的な理解を提供する。
  論文  参考訳（メタデータ） (2024-07-15T07:11:44Z)
• Gaussian Entanglement Measure: Applications to Multipartite Entanglement of Graph States and Bosonic Field Theory [50.24983453990065]
  フービニ・スタディ計量に基づく絡み合い尺度は、Cocchiarellaと同僚によって最近導入された。 本稿では,多モードガウス状態に対する幾何絡み合いの一般化であるガウスエンタングルメント尺度(GEM)を提案する。 自由度の高い系に対する計算可能な多部絡み合わせ測度を提供することにより、自由なボゾン場理論の洞察を得るために、我々の定義が利用できることを示す。
  論文  参考訳（メタデータ） (2024-01-31T15:50:50Z)
• Sign and Basis Invariant Networks for Spectral Graph Representation Learning [75.18802152811539]
  SignNetとBasisNetは、すべての必須対称性に不変な新しいニューラルアーキテクチャであり、したがって、原則化された方法で固有空間のコレクションを処理する。 我々のネットワークは理論的にはグラフ表現学習に強い -- 任意のスペクトルグラフ畳み込みを近似することができる。 実験により、スペクトルグラフフィルタの学習とグラフ位置エンコーディングの学習のためのネットワークの強みが示された。
  論文  参考訳（メタデータ） (2022-02-25T23:11:59Z)
• Statistical Mechanics of Neural Processing of Object Manifolds [3.4809730725241605]
  この論文は、物体の神経処理の計算理論の基礎を築いた。 多様体のキャパシティは,有効半径, R_M, 有効次元, D_Mと決定される。
  論文  参考訳（メタデータ） (2021-06-01T20:49:14Z)
• The role of feature space in atomistic learning [62.997667081978825]
  物理的にインスパイアされた記述子は、原子論シミュレーションへの機械学習技術の応用において重要な役割を果たしている。 異なる記述子のセットを比較するためのフレームワークを導入し、メトリクスとカーネルを使ってそれらを変換するさまざまな方法を紹介します。 原子密度のn-体相関から構築した表現を比較し,低次特徴の利用に伴う情報損失を定量的に評価した。
  論文  参考訳（メタデータ） (2020-09-06T14:12:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。