論文の概要: Towards a mathematical theory of superposition

• arxiv url: http://arxiv.org/abs/2608.27540v1
• Date: Thu, 27 Aug 2026 16:08:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.102046
• Title: Towards a mathematical theory of superposition
• Title（参考訳）: 重ね合わせの数学的理論に向けて
• Abstract要約: 我々は,ニューラルネットワークにおける重畳理論を,フレーム理論と圧縮センシングのツールを用いて開発する。 このモデルに対するいくつかの回復定理を証明した。
• 参考スコア（独自算出の注目度）: 3.0082219334119515
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We develop a mathematical theory of superposition in neural networks using tools from frame theory and compressed sensing. In our model, a sparse binary vector \(x\) of active features is encoded through an overcomplete dictionary \(W\), and feature recovery is performed by applying \(\operatorname{ReLU}(W^\top W x+b)\) with an appropriate bias vector \(b\). We prove several recovery theorems for this model. In the random-support setting, we establish high-probability support recovery for nearly tight, low-coherence dictionaries, with guarantees when the expected sparsity is up to order \(d/\log n\). In the worst-case support setting, we give a sharp and computable criterion for which sparsity levels permit support recovery. We apply this criterion to Gaussian random matrices and equiangular tight frames. For real equiangular tight frames with \(n>d+1\), we determine the exact recovery threshold in terms of the coherence. The proof of this result for real equiangular tight frames relies on a novel characterization---which should be of independent interest to frame theorists---of the distribution of signs in the Gram matrix.
• Abstract（参考訳）: 我々は,ニューラルネットワークにおける重ね合わせの数学的理論を,フレーム理論と圧縮センシングのツールを用いて開発する。 我々のモデルでは、活性特徴のスパース二進ベクトル \(x\) をオーバーコンプリート辞書 \(W\) で符号化し、適切なバイアスベクトル \(b\) で \(\operatorname{ReLU}(W^\top W x+b)\) を適用して特徴回復を行う。 このモデルに対するいくつかの回復定理を証明した。 ランダムサポート設定では、ほぼ緊密で低コヒーレンスな辞書に対して、期待される間隔が(d/\log n\) になる場合に保証される高確率サポートリカバリを確立する。 最悪の場合のサポート設定では、スパーシリティレベルがサポート回復を許容するシャープで計算可能な基準を与えます。 この基準をガウス的ランダム行列と等角的タイトフレームに適用する。 \(n>d+1\) を持つ実等角的強フレームに対しては、コヒーレンスの観点から正確な回復しきい値を決定する。 実等角的強フレームに対するこの結果の証明は、グラム行列における符号の分布の、フレーム理論に独立な興味を持つべきという、新しい特徴づけに依存している。

関連論文リスト

• Provably Adaptive Linear Approximation for the Shapley Value and Beyond [73.0940890296463]
  基本的で長期にわたる課題は、その効率的な近似である。 一般に用いられるすべての半値に対して$P(|hatboldsymbol-boldsymbol|_2geq)leq$を必要とする線形空間アルゴリズムを開発する。 本アルゴリズムは,各ユーティリティ関数の平均二乗誤差の明示的最小化を可能にする。
  論文  参考訳（メタデータ） (2026-04-09T16:38:14Z)
• A Theoretical Framework for Discovering Groups and Unitary Representations via Tensor Factorization [9.572235167281685]
  我々は、この帰納的バイアスの厳密な理論的説明を、その目的を規制因子スケールの項に分解することで提供する。 1)大域的最小値は群に対するユニタリ正規表現によって達成され、(2)非群演算は厳密に高い目的値をもたらす。
  論文  参考訳（メタデータ） (2025-11-28T12:58:13Z)
• Graph-based Clustering Revisited: A Relaxation of Kernel $k$-Means Perspective [73.18641268511318]
  本稿では,クラスタリング結果を導出するための正規制約のみを緩和するグラフベースのクラスタリングアルゴリズムを提案する。 二重制約を勾配に変換するために、非負の制約をクラス確率パラメータに変換する。
  論文  参考訳（メタデータ） (2025-09-23T09:14:39Z)
• Provable Non-Convex Euclidean Distance Matrix Completion: Geometry, Reconstruction, and Robustness [8.113729514518495]
  ユークリッド距離行列補完問題は、センサーネットワークの局所化、分子ロバスト性、多様体学習など、幅広い応用で発生する。 本稿では,正半定値グラム行列の空間上の低ランク行列補完タスクを提案する。 利用可能な距離の測定は非直交基底で拡張係数として符号化され、グラム行列の最適化は非負性や三角形の不等式を通じて暗黙的に幾何的整合を強制する。
  論文  参考訳（メタデータ） (2025-07-31T18:40:42Z)
• On the Robustness of Spectral Algorithms for Semirandom Stochastic Block Models [11.137244714693779]
  半ランダムな敵に対するスペクトルアルゴリズムの堅牢性について検討する。 我々は,_unnormalized_Laplacian を用いたスペクトル二分法が強い整合性を持つ半ランダム逆数クラスを同定した。
  論文  参考訳（メタデータ） (2024-12-18T20:35:02Z)
• Accelerating Distributed Stochastic Optimization via Self-Repellent Random Walks [11.3631620309434]
  エージェントのネットワークをランダムウォーク方式で横断するトークンによって勾配をサンプリングする分散最適化アルゴリズムの一群について検討する。 我々は、正則線型マルコフトークンを非線形マルコフ連鎖、すなわち自己推進ラドムウォーク(SRRW)に従うものに置き換えることで、新しいアプローチをとる。 結果のSA-SRRWの最適化誤差はほぼ確実にゼロに収束し、中心極限定理を証明する。
  論文  参考訳（メタデータ） (2024-01-18T00:50:37Z)
• Semi-Supervised Laplace Learning on Stiefel Manifolds [48.3427853588646]
  グラフベースで教師付きサンプルを低ラベルレートで作成するためのフレームワークSequential Subspaceを開発した。 我々の手法は極めて低いレートで、高いラベルレートで達成できる。
  論文  参考訳（メタデータ） (2023-07-31T20:19:36Z)
• A coherence parameter characterizing generative compressed sensing with Fourier measurements [8.106641866299379]
  サブサンプルアイソメトリーを用いた生成的圧縮センシングのための,最初の制限されたアイソメトリーの保証を証明した。 回復効率は、ネットワークの範囲と測定行列の間の相互作用を測定する新しいパラメータであるコヒーレンスによって特徴づけられる。
  論文  参考訳（メタデータ） (2022-07-19T15:49:41Z)
• Semi-Supervised Subspace Clustering via Tensor Low-Rank Representation [64.49871502193477]
  本稿では,初期監視情報を同時に拡張し,識別親和性行列を構築することのできる,新しい半教師付きサブスペースクラスタリング手法を提案する。 6つの一般的なベンチマークデータセットの総合的な実験結果から,本手法が最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-21T01:47:17Z)
• The Schr\"odinger Bridge between Gaussian Measures has a Closed Form [101.79851806388699]
  我々は OT の動的定式化(Schr"odinger bridge (SB) 問題)に焦点を当てる。 本稿では,ガウス測度間のSBに対する閉形式表現について述べる。
  論文  参考訳（メタデータ） (2022-02-11T15:59:01Z)
• Sparse Quadratic Optimisation over the Stiefel Manifold with Application to Permutation Synchronisation [71.27989298860481]
  二次目的関数を最大化するスティーフェル多様体上の行列を求める非最適化問題に対処する。 そこで本研究では,支配的固有空間行列を求めるための,単純かつ効果的なスパーシティプロモーティングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-09-30T19:17:35Z)
• A Precise Performance Analysis of Support Vector Regression [105.94855998235232]
  我々は,n$の線形測定に応用したハードおよびソフトサポートベクター回帰法について検討した。 得られた結果は、ハードおよびソフトサポートベクトル回帰アルゴリズムの設計に介入するパラメータを最適に調整するために使用される。
  論文  参考訳（メタデータ） (2021-05-21T14:26:28Z)
• Online and Distribution-Free Robustness: Regression and Contextual Bandits with Huber Contamination [29.85468294601847]
  線形回帰と文脈的帯域幅という2つの古典的高次元オンライン学習問題を再考する。 従来の手法が失敗した場合にアルゴリズムが成功することを示す。
  論文  参考訳（メタデータ） (2020-10-08T17:59:05Z)
• Robust Compressed Sensing using Generative Models [98.64228459705859]
  本稿では,Median-of-Means (MOM) にヒントを得たアルゴリズムを提案する。 我々のアルゴリズムは、外れ値が存在する場合でも、重み付きデータの回復を保証する。
  論文  参考訳（メタデータ） (2020-06-16T19:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。