論文の概要: Spectral Indistinguishability and Learning-Curve Identifiability in Quadratic Networks
- arxiv url: http://arxiv.org/abs/2610.20678v1
- Date: Wed, 14 Oct 2026 16:01:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:15.978019
- Title: Spectral Indistinguishability and Learning-Curve Identifiability in Quadratic Networks
- Title（参考訳）: 二次ネットワークにおけるスペクトルの識別可能性と学習曲線の識別可能性
- Abstract要約: 解析的な正の入力密度を、正確にはガウス的 1- および 2-コーディネートな辺数で構成する。
非ゼロサイクル不変な選択された一般教師の場合、行列乗法を保たないため、その分解された損失曲線が異なる。
固定次元と異なる教師和に対して、校正された最小の正確な観測は、一般的な局所的な局所的な回復をもたらす。
- 参考スコア（独自算出の注目度）: 0.16921396880325776
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study what spectral summaries and scalar learning curves reveal about centered quadratic networks. We construct analytic positive input densities with exactly Gaussian one- and two-coordinate marginals. Their complete fourth-moment operators are intertwined by an orthogonal map fixing the entire diagonal teacher algebra, so the corresponding anchored spectral measures agree. For selected common teachers with a nonzero cycle invariant, their factorized loss curves differ because the map does not preserve matrix multiplication. Cycle length $r$, which can be arbitrarily large, gives $O(\varepsilon^r)$ contrast uniformly in training time for each fixed construction. For a supplied pair, noisy scalar loss queries require order $\varepsilon^{-2r}$ observations, while bounded initialization interventions with scalar gradient readouts require order $\varepsilon^{-2}$. A shared-input score, equal to a paired-gradient difference, attains the optimal input-sample exponent without knowing the teacher. An explicit family of diverging auxiliary teacher scales instead admits a nonzero finite limiting contrast at coupling $1/\log L$. Conversely, for Gaussian inputs and a rationally independent teacher spectrum, one exact scalar loss curve identifies the initial predictor up to sign conjugation. Within this rationally independent class, with nonzero diagonal inverse-state error in every coordinate and calibrated time and loss scales, it also identifies the unknown teacher spectrum and active dimension, modulo simultaneous rotations. For fixed dimension and distinct unordered teacher sums, dimension-minimal exact observations give generic joint local recovery. Finite exact global bounds hold for a known teacher and, on the active class, under a blind dimension cap. Exact certificates and full-weight replay verify the construction; numerical inverse checks reveal severe ill-conditioning.
- Abstract（参考訳）: 中心2次ネットワークに関するスペクトル要約とスカラー学習曲線について検討する。
解析的な正の入力密度を、正確にはガウス的 1- および 2-座標境界を用いて構成する。
それらの完備な第四モーメント作用素は直交写像で対角的な教師環全体を固定するので、対応するアンカー付きスペクトル測度は一致する。
非ゼロサイクル不変な選択された一般教師の場合、行列乗法を保たないため、その分解された損失曲線が異なる。
任意の大きさのサイクル長$r$は、固定された構成ごとにトレーニング時間に一様に$O(\varepsilon^r)$のコントラストを与える。
供給されたペアに対して、ノイズのあるスカラー損失クエリは順序$\varepsilon^{-2r}$観測を必要とするが、スカラー勾配の読み出しによる境界初期化介入は順序$\varepsilon^{-2}$を必要とする。
共有入力スコアは、ペアの段階差に等しいが、教師を知らずに最適な入力サンプル指数を得る。
補助教師の発散の明示的な族は、その代わりに、結合 1/\log L$ において 0 でない有限極限のコントラストを認める。
逆に、ガウス入力と有理独立な教師スペクトルに対して、1つの正確なスカラー損失曲線は、初期予測器を符号共役まで特定する。
この合理的に独立なクラスの中では、すべての座標における非ゼロ対角逆状態誤差と校正時間と損失スケールがあり、未知の教師スペクトルと活性次元、モジュロ同時回転を識別する。
固定次元と無秩序な教師和に対して、次元最小の正確な観測は、一般的な局所的な局所的な回復を与える。
正確なグローバルな境界は、既知の教師と、アクティブなクラスにおいて、ブラインド次元の上限の下で保持される。
厳密な証明書とフルウェイトなリプレイは、建設を検証します。
関連論文リスト
- Linear Regression Beyond Covariance: Latent Slope Spectra from Higher-Order Cumulants [1.7881540974741597]
高次混合累積物に含まれる付加線形情報について検討する。
我々は正規分離の下で推定とルート$n$推論を開発する。
観察データのみから構造的・因果的解釈の限界を明確にする。
論文 参考訳（メタデータ） (2026-10-13T05:57:33Z) - Quantitative Universality of Approximate Message Passing for Rank-One Quadratic Sensing [12.419537909925083]
Approximate Message Passing (AMP)アルゴリズムは、計算効率が良く、正確な特徴を同時に認めるので魅力的である。
本研究は、AMPの定量的普遍性を確立し、中心となる階数1のセンシング行列を$Z_i=(x_ix_itop-I_d)/sqrt d$とする。
論文 参考訳（メタデータ） (2026-10-04T15:51:25Z) - First Learn, Then Memorize: The Spectral Bias of Diffusion Models [5.939780039158003]
有限データセットでトレーニングされた拡散モデルは、まず新しい高品質なサンプルを生成することを学ぶ。
我々は、それを探査する物体のこの分離の背後にあるメカニズムを同定する。
スコア関数のトレーニング力学は、実際に、任意の幅において、ニューラル・タンジェント・カーネル(NTK)のグラム行列によって制御される。
それらの構造が標準のカーネル設定に類似していないことを示す。
論文 参考訳（メタデータ） (2026-09-28T15:13:46Z) - Intrinsic Structure: Spectral Identifiability for Mechanistic Interpretability [51.56484100374058]
機械論的解釈可能性プリミティブに対する最初の識別可能性定理を証明した。
スペクトルは、正当性分解ではなく、記述されたエラーバーを持つ識別可能なモデル固有の指紋である。
論文 参考訳（メタデータ） (2026-08-10T19:42:01Z) - Exact Rank-Space KL Projection for Shared-Marginal Low-Rank Factors: Application to Doubly Stochastic Clustering [0.7614628596146601]
等しい全質量の任意の正の行辺に対して、合同KL射影はちょうど$r-1の有効変数のみを持つ厳密な凸ゲージ固定双対に還元される。
この幾何学を専門とし、$W=UnameDiag(g)-1Vtop$で2倍グラフ学習を誘導する。
観察されたスパースフィッティング、アンカーエッジ多様体正規化器、ブレグマンのバックトラックと組み合わせることで、ミラー・ディフレッシュ法は受け入れられたステップごとに正確な実現可能性を維持する。
論文 参考訳（メタデータ） (2026-08-09T11:29:05Z) - Optimization Geometrodynamics: Variational Reduction and Interaction Curvature [0.0]
我々は、この隠れ行列式プッシュフォワードの変分理論として、測地力学を発展させる。
アフィン事前還元の場合、誘導的相互作用曲率(英語版)は負半有限作用素 $-G*H-1G$ である。
閉全測地線ファイバーを持つ大域的解析バンドルと、特異な解析的近接制御器部とを証明した。
論文 参考訳（メタデータ） (2026-07-07T18:42:00Z) - Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。
一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。
グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
論文 参考訳（メタデータ） (2026-02-26T15:27:53Z) - Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。
任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。
本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
論文 参考訳（メタデータ） (2026-02-19T17:21:15Z) - Spectral clustering under degree heterogeneity: a case for the random
walk Laplacian [83.79286663107845]
本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。
次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
論文 参考訳（メタデータ） (2021-05-03T16:36:27Z) - Agnostic Learning of Halfspaces with Gradient Descent via Soft Margins [92.7662890047311]
勾配降下は、分類誤差$tilde O(mathsfOPT1/2) + varepsilon$ in $mathrmpoly(d,1/varepsilon)$ time and sample complexity.
論文 参考訳（メタデータ） (2020-10-01T16:48:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。