論文の概要: Spectrum Is Not Enough: A Random-Matrix Account of Data-Free Preconditioning for Differentially Private Learning
- arxiv url: http://arxiv.org/abs/2610.21312v1
- Date: Thu, 15 Oct 2026 06:00:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.20934
- Title: Spectrum Is Not Enough: A Random-Matrix Account of Data-Free Preconditioning for Differentially Private Learning
- Title（参考訳）: スペクトルは十分ではない:差分プライベート学習のためのデータフリープレコンディショニングのランダム行列
- Abstract要約: DP-KFCは、プライベートファクターの固有値減衰とマッチングしてプローブを検証する。
スペクトル形状のマッチングは十分でなく,操作対象でもないことを示す。
- 参考スコア（独自算出の注目度）: 4.387699198136471
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data-free preconditioning builds the Kronecker factors of KFAC from synthetic probes instead of private data. DP-KFC validates a probe by matching the eigenvalue decay of the private factors; we turn this criterion into a random-matrix account of what a probe can reconstruct. A single dichotomy organizes it: in the factorization $ A \otimes G $, the error-signal factor $ G $ and the architecture-determined bulk of the activation factor $ A $ are reconstructible without data, while only the data-induced spikes of $ A $ are not. We prove the $ G $ half is data-insensitive up to an explicit error-energy bound, with zero violations over a full training trajectory across four modalities and a natural-image benchmark. We locate the failure boundary at a Baik-Ben Arous-Péché threshold: a bulk-only probe suffers an exact damage $s^2/(1-s^2)$ from a data-induced spike, which becomes invisible once it exceeds $(d/n)^{1/4}$, confirmed on an injected-spike surrogate. Holding the probe spectrum fixed and varying only its eigenbasis, we show that spectral-shape matching is neither sufficient nor the operative object: a probe with a near-exact matched spectrum (log-ratio dispersion $0.02$) still inflates the residual $2 \times $-$90 \times $ when its eigenvectors are random. A closed-form whitened-volume law explains this and predicts the within-spectrum ordering of the critical volume, though not its cross-dataset magnitude. Downstream, per-layer tuning does not transfer to accuracy and the headroom is a small oracle-minus-white gap. Under a privacy mechanism the source ordering survives while learning does, then inverts at a noise cross-over where the flat probe overtakes the matched ones.
- Abstract（参考訳）: データフリープレコンディショニングは、プライベートデータの代わりに合成プローブからKFACのKronecker因子を構築する。
DP-KFCは、プライベート要素の固有値減衰をマッチングしてプローブを検証する。
因子化 $ A \otimes G $, エラー信号係数 $ G $, アクティベーション係数のアーキテクチャ決定された部分 $ A $ はデータなしで再構成可能であるが、データによって引き起こされる A $ のスパイクだけがそうではない。
G $ halfが明示的なエラーエネルギー境界までデータに敏感であることを証明する。
バルクのみのプローブは、データ誘起スパイクから正確なダメージ$s^2/(1-s^2)$を被り、(d/n)^{1/4}$を超えると見えなくなる。
プローブスペクトルを固定し、固有ベクトルだけに変化させることで、スペクトル形状のマッチングが十分でなく、操作対象でもないことが示される: ほぼ一致するスペクトルを持つプローブ(log-ratiovariance $0.02$)は、固有ベクトルがランダムであるときに、残余の2 \times $-$90 \times $を膨らませる。
閉形式ホワイト付き体積法(英語版)がこれを説明し、臨界体積のスペクトル内順序を予測している。
下流では、層ごとのチューニングは正確さに移行せず、ヘッドルームは小さなオラクル・ミナス・ホワイトギャップである。
プライバシメカニズムの下では、学習中にソースの順序が残り、フラットプローブがマッチしたものを乗っ取るノイズクロスオーバーで反転する。
関連論文リスト
- Improved Private Sparse Covariance Estimation with Multiscale Threshold Tests [19.221722169368494]
サンプル複雑性$ot(k2/2+ksqrt d/(varepsilon)$ for $(varepsilon,)$-differential privacy and error at most $2$。
境界は、既存の$ot(k2/2+k3/2sqrt d/(varepsilon))$ citepkumar2026上界のプライバシー依存項を$sqrt k$で改善し、一致させる。
論文 参考訳（メタデータ） (2026-09-19T05:31:47Z) - Intrinsic Structure: Spectral Identifiability for Mechanistic Interpretability [51.56484100374058]
機械論的解釈可能性プリミティブに対する最初の識別可能性定理を証明した。
スペクトルは、正当性分解ではなく、記述されたエラーバーを持つ識別可能なモデル固有の指紋である。
論文 参考訳（メタデータ） (2026-08-10T19:42:01Z) - From Approachability Residuals to Anytime-Valid Evidence: The Online Convex Geometry of Testing by Betting [0.1624454100511275]
ギャンブリングベースのシーケンシャルテストとブラックウェルのアプローチ性は、支持関数による比例還元によってリンクされる。
正確な経路単位は$$dist(bar r_T,S) =frac1Tsum_t=1Tq_t+fracReg_TTである。
論文 参考訳（メタデータ） (2026-08-10T11:23:30Z) - Detecting and Discriminating Operator Misspecification in Hybrid PDE-Parameter Learning: a Reference-Free Instrument, with Discrimination Bounded In Sample [0.0]
私たちは1つのフィットから読み取る楽器を作り、オラクルは持っていません。
回復時に神経推定器がTikhonov-regularized inversionに負ける、事前登録された負の機器である、装置の盲点を報告する。
論文 参考訳（メタデータ） (2026-08-04T21:20:44Z) - Tight Convergence Rates for Online Distributed Linear Estimation with Adversarial Measurements [66.94250413799232]
分散パラメータ-サーバ-ワーカー設定における乱数ベクトル$X$の推定について検討する。
主な課題は、敵の計測と非同期である。
その結果, 分散線形推定におけるロバスト性, 識別性, 統計的効率の統一的有限時間評価が得られた。
論文 参考訳（メタデータ） (2026-04-07T11:45:55Z) - Spectral Tempering for Embedding Compression in Dense Passage Retrieval [17.660889990235656]
最適スケーリング強度$$はグローバル定数ではないことを示す。
本研究では,適応的な$(k)$をコーパス固有スペクトルから直接導出する学習自由化手法であるSpectral Temperingを提案する。
論文 参考訳（メタデータ） (2026-03-19T10:01:32Z) - Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。
任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。
本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
論文 参考訳（メタデータ） (2026-02-19T17:21:15Z) - Phase-space entropy at acquisition reflects downstream learnability [54.4100065023873]
楽器分解位相空間に基づく取得レベルスカラー$S_mathcal B$を提案する。
本稿では, (S_mathcal B) が周期サンプリングの位相空間コヒーレンスを正確に同定できることを理論的に示す。
$|S_mathcal B|$は一貫してサンプリングジオメトリをランク付けし、トレーニングなしで下流での再構築/認識の困難を予測します。
論文 参考訳（メタデータ） (2025-12-22T10:03:51Z) - General Gaussian Noise Mechanisms and Their Optimality for Unbiased Mean
Estimation [58.03500081540042]
プライベート平均推定に対する古典的なアプローチは、真の平均を計算し、バイアスのないがおそらく相関のあるガウスノイズを加えることである。
すべての入力データセットに対して、集中的な差分プライバシーを満たす非バイアス平均推定器が、少なくとも多くのエラーをもたらすことを示す。
論文 参考訳（メタデータ） (2023-01-31T18:47:42Z) - Subspace Recovery from Heterogeneous Data with Non-isotropic Noise [43.44371292901258]
この問題の基本的な定式化について研究する:主成分分析(PCA)
私たちの目標は、すべてのユーザからのデータポイントを使用して、$mu_i$で共有される線形部分空間を復元することです。
非球面およびユーザ依存雑音下で効率よく計算可能な推定器を設計する。
論文 参考訳（メタデータ） (2022-10-24T18:00:08Z) - The Sample Complexity of Robust Covariance Testing [56.98280399449707]
i. i. d.
形式 $Z = (1-epsilon) X + epsilon B$ の分布からのサンプル。ここで $X$ はゼロ平均で未知の共分散である Gaussian $mathcalN(0, Sigma)$ である。
汚染がない場合、事前の研究は、$O(d)$サンプルを使用するこの仮説テストタスクの単純なテスターを与えた。
サンプル複雑性の上限が $omega(d2)$ for $epsilon$ an arbitrarily small constant and $gamma であることを証明します。
論文 参考訳（メタデータ） (2020-12-31T18:24:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。