論文の概要: Eigen-Spike Emergence and Quadratic Equivalents for Conjugate Kernels on Nonlinearly Separable Data

• arxiv url: http://arxiv.org/abs/2605.29669v1
• Date: Thu, 28 May 2026 09:32:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:56.140906
• Title: Eigen-Spike Emergence and Quadratic Equivalents for Conjugate Kernels on Nonlinearly Separable Data
• Title（参考訳）: 非線形分離データに基づく共役カーネルの固有スパイク創発と二次等価性
• Authors: Collin Cranston, Zhichao Wang, Todd Kemp, Michael W. Mahoney,
• Abstract要約: 我々は、正準非線形分離可能なデータセットの下で、フィードフォワードNNの非線形特徴写像である共役カーネル(CK)を考える。 本研究では,突発的な情報的スパイクを正確に解析することのできる,スパイクされたCK行列に匹敵する頑健な二次構造を開発する。 CK固有ベクトルによる線形分類が可能となる正確なBBP型相転移を導出する。
• 参考スコア（独自算出の注目度）: 41.325451060228126
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work in random matrix theory (RMT) has developed the notion of deterministic equivalents: typically linear surrogate models that approximate the spectral behavior of large nonlinear random matrices, such as nonlinear feature maps in neural networks (NNs). On the one hand, these deterministic equivalents make theoretical predictions tractable by reducing a complex model to a simpler model with properties that fall under the umbrella of classical RMT tools. However, this leaves open the question of whether this idealized linear equivalence remains meaningful when dealing with high-dimensional nonlinearly separable data, such as performing clssification on nonlinearly separable data. Motivated by this, we consider the conjugate kernel (CK), which is the nonlinear feature map of a feedforward NN, under a canonical nonlinearly separable dataset, the XOR problem; and we use the study of informative outlier eigenvalues in the CK and whether their corresponding eigenvectors asymptotically align with XOR labels as a proxy for nonlinear learnability. We develop a robust quadratic equivalent to the spiked CK matrix that enables a precise analysis of emergent informative spikes, as one modifies various knobs common in ML practice: sample complexity, signal-to-noise ratio (SNR), nonlinear activation choice, and pretrained features. In each of these scenarios, we derive a precise BBP-type phase transition in which linear classification via the CK eigenvectors becomes possible. Our analysis helps translate the power of deterministic equivalence tools in RMT to study problems of practical relevance in ML.
• Abstract（参考訳）: 確率行列論(RMT)における最近の研究は、ニューラルネットワーク(NN)における非線形特徴写像のような大きな非線形ランダム行列のスペクトル挙動を近似する線形サロゲートモデルという決定論的等価性の概念を発展させている。 一方、これらの決定論的同値は、古典的なRTTツールの傘の下に収まる性質を持つより単純なモデルに複素モデルを還元することで、理論的な予測が可能である。 しかし、この理想化された線形同値性は、高次元の非線形可分データを扱う場合、例えば非線形可分データに対してクラシフィケーションを行う場合、意味を持つかどうかという疑問が残る。 そこで我々は, 標準非線形分離可能なデータセットであるXOR問題の下で, フィードフォワードNNの非線形特徴写像である共役カーネル(CK)について検討し, CKにおける情報的外部固有値の研究と, 対応する固有ベクトルがXORラベルと漸近的に一致するかどうかを非線形可学習性のプロキシとして利用する。 本研究では, 標本複雑度, 信号-雑音比 (SNR) , 非線形活性化選択, 事前訓練された特徴量など, ML練習に共通する様々なノブを修飾することにより, 創発的情報スパイクを正確に解析することのできる, スパイクされたCK行列に匹敵する頑健な二次構造を開発する。 それぞれのシナリオにおいて、CK固有ベクトルによる線形分類が可能となる正確なBBP型相転移を導出する。 我々の分析は、RTTにおける決定論的等価ツールのパワーを変換し、MLにおける実践的妥当性の問題を研究するのに役立ちます。

関連論文リスト

• Disordered Dynamics in High Dimensions: Connections to Random Matrices and Machine Learning [52.26396748560348]
  ランダム行列によって駆動される高次元力学系について概説する。 機械学習理論における学習と一般化の単純なモデルへの応用に焦点を当てる。
  論文  参考訳（メタデータ） (2026-01-03T00:12:32Z)
• Explicit Discovery of Nonlinear Symmetries from Dynamic Data [50.20526548924647]
  LieNLSDは非線形項の無限小生成器の数とその明示的な表現を決定する最初の方法である。 LieNLSDは既存の手法に比べて質的な利点を示し、ニューラルPDEソルバの長期ロールアウト精度を20%以上改善する。
  論文  参考訳（メタデータ） (2025-10-02T09:54:08Z)
• A Random Matrix Analysis of In-context Memorization for Nonlinear Attention [18.90197287760915]
  非線形注意は、ランダムな入力に対する線形リッジ回帰よりも高い記憶誤差をもたらすことを示す。 その結果,非線形注意の記憶性能を管理するために,非線形性と入力構造がどのように相互作用するかが明らかになった。
  論文  参考訳（メタデータ） (2025-06-23T13:56:43Z)
• Importance Sampling for Nonlinear Models [5.421981644827842]
  非線形写像の随伴作用素の概念を導入する。 これらのノルムとレバレッジスコアの概念に基づくサンプリングは、基礎となる非線形写像に対して近似を保証することを実証する。
  論文  参考訳（メタデータ） (2025-05-18T10:34:39Z)
• Gram-Schmidt Methods for Unsupervised Feature Extraction and Selection [7.373617024876725]
  本稿では,関数空間上のGram-Schmidtプロセスを提案する。 合成および実世界のベンチマークデータセットに対する実験結果を提供する。 驚いたことに、線形特徴抽出アルゴリズムは同等であり、しばしば重要な非線形特徴抽出法よりも優れている。
  論文  参考訳（メタデータ） (2023-11-15T21:29:57Z)
• Function Classes for Identifiable Nonlinear Independent Component Analysis [10.828616610785524]
  潜在変数モデル(LVM)の教師なし学習は機械学習のデータ表現に広く用いられている。 最近の研究は、そのようなモデルの関数クラスを制約することは、識別可能性を促進することを示唆している。 これらの変換のサブクラスである共形写像が同定可能であることを証明し、新しい理論的結果を与える。
  論文  参考訳（メタデータ） (2022-08-12T17:58:31Z)
• Hessian Eigenspectra of More Realistic Nonlinear Models [73.31363313577941]
  私たちは、非線形モデルの広いファミリーのためのヘッセン固有スペクトルの言語的特徴付けを行います。 我々の分析は、より複雑な機械学習モデルで観察される多くの顕著な特徴の起源を特定するために一歩前進する。
  論文  参考訳（メタデータ） (2021-03-02T06:59:52Z)
• Sparse Quantized Spectral Clustering [85.77233010209368]
  このような非線形変換の下で行列の固有スペクトルがどのように変化するのかを、ランダム行列理論のツールを用いて正確に述べる。 急激なスペーシング/量子化の下でも,情報的固有構造にはほとんど変化は見られなかった。
  論文  参考訳（メタデータ） (2020-10-03T15:58:07Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。