論文の概要: Spectral Gradient Orthogonalization Improves Differentially Private Training at Scale
- arxiv url: http://arxiv.org/abs/2608.17415v1
- Date: Tue, 18 Aug 2026 06:35:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-19 21:40:53.23195
- Title: Spectral Gradient Orthogonalization Improves Differentially Private Training at Scale
- Title（参考訳）: スペクトル勾配直交化による個人差分訓練の改善
- Abstract要約: 空間的相関が勾配エネルギーを低ランクの部分空間に集中させる視覚モデルでは、ほとんどのノイズは信号がほとんどない方向に落ちる。
偏極分解によるスペクトル勾配直交化は後処理ステップとして導入される。
直交スペクトル信号対雑音比(SNR)が特異ベクトル回復に十分である場合にのみ精度が向上する。
- 参考スコア（独自算出の注目度）: 17.610398782149293
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Differentially private training adds isotropic Gaussian noise to clipped gradients, corrupting every singular direction equally. In vision models, where spatial correlation concentrates gradient energy into a low-rank subspace, most of this noise falls in directions that carry little signal. Spectral gradient orthogonalization via polar decomposition is introduced as a post-processing step that recovers directional signal from the noisy gradient's low-rank structure at zero additional privacy cost. A phase transition governs the utility of this approach: orthogonalization improves accuracy only when the per-direction spectral signal-to-noise ratio (SNR) suffices for singular vector recovery; in low-SNR regimes, the directional bias of the gradient is replaced by a nearly random orthogonal update, and the transformation is harmful. The recovery threshold is determined by the spectral gap of the gradient and is surpassed at large batch sizes. Empirically, the benefit scales with model capacity: spectral orthogonalization achieves a +20.9% improvement over DP-SGD on WRN-28-10 (B = 4096) and +14.9% on ResNet-18, while reducing inter-run variance by a factor of two to three. In the fine-tuning regime, spectral orthogonalization matches the stability of DP-Adam while maintaining a first-order memory footprint. Combining spectral with temporal denoising yields 50.3% on CIFAR-10 (epsilon = 4), the highest accuracy in any tested configuration. These gains are specific to moderate-to-high-SNR regimes such as large-batch training of higher-capacity models. Small-batch or low-SNR settings are better served by DP-SGD or temporal denoising.
- Abstract（参考訳）: 異なるプライベートトレーニングは、クリップされた勾配に等方的なガウスノイズを加え、すべての特異方向を等しく破壊する。
空間的相関が勾配エネルギーを低ランクの部分空間に集中させる視覚モデルでは、ほとんどのノイズは信号がほとんどない方向に落ちる。
偏極分解によるスペクトル勾配直交化は、ノイズ勾配の低ランク構造からの方向信号を追加のプライバシーコストゼロで回収する後処理ステップとして導入される。
直交化は、直交スペクトル信号-雑音比(SNR)が特異ベクトル回復に十分である場合にのみ精度を向上し、低SNRレジームでは、勾配の方向バイアスがほぼランダムな直交更新に置き換えられ、変換は有害である。
回復閾値は勾配のスペクトルギャップによって決定され、大きなバッチサイズで超える。
スペクトル直交化はWRN-28-10 (B = 4096) のDP-SGDに対して+20.9%、ResNet-18では+14.9%、インターラン分散を2倍から3倍に削減する。
微調整方式では、スペクトル直交化はDP-Adamの安定性と一致し、一階のメモリフットプリントを維持する。
CIFAR-10(エプシロン=4)では、スペクトルと時間分解を組み合わせれば50.3%の精度が得られる。
これらの利得は、高容量モデルの大規模バッチトレーニングなど、中程度のSNR体制に特有である。
小さいバッチや低SNRの設定は、DP-SGDや時間的認知によってより良く機能する。
関連論文リスト
- AOS: Adaptive Optimizer Switching via Training-State Signals for Faster Convergence and Better Generalization [0.0]
AOS-Rは6つのオンライン勾配空間信号を監視する。
状態保存運動量伝達と400ステップの学習速度ブリッジは、遷移点毎に精度を低下させる。
論文 参考訳（メタデータ） (2026-08-03T09:57:50Z) - Drift-Aware RL-based Wavelet Denoising for Network-Traffic Anomaly Detection [1.5469452301122173]
ネットワーク監視のための交通利用測定は、付加雑音と統計的ドリフトによって損なわれる。
2つのタスクに最適化された前処理層として適応ウェーブレットをデノナイズするドリフト対応フレームワークを提案する。
論文 参考訳（メタデータ） (2026-07-22T10:52:05Z) - SDS-LoRA: Overcoming Anisotropic Gradient Scaling in Low-Rank Adaptation [64.33799467286265]
Low-Rank Adaptation (LoRA)は、大規模な事前訓練されたモデルの下流タスクへの効率的な適応を可能にする。
完全な微調整勾配が低ランク行列に逆伝播すると,その特異値によって誘導される異方性スケーリングを受けることを示す。
本稿では,後方パスから特異値を構造的に分離する新しい低ランクパラメータ化SDS-LoRAを提案する。
論文 参考訳（メタデータ） (2026-06-15T09:27:50Z) - Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。
State-of-the-art merging method formulate merging as a layer-wise interference problem。
本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
論文 参考訳（メタデータ） (2026-06-05T14:00:47Z) - Geometry-Correct Diffusion Posterior Sampling with Denoiser-Pullback Curvature Guidance and Manifold-Aligned Damping [2.9985000712079426]
我々は、スカラー誘導をノイズレベルごとの減衰ガウスに置き換える。-拡散状態座標で計算されたニュートン補正。
競合するPSNR/SSIM/LPIPSを実現し、比較したベースラインのほとんどよりも大幅に高速である。
論文 参考訳（メタデータ） (2026-05-27T05:29:35Z) - Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。
NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
論文 参考訳（メタデータ） (2026-05-21T16:45:31Z) - The Malignant Tail: Spectral Segregation of Label Noise in Over-Parameterized Networks [0.0]
ネットワークが機能的に信号とノイズを分離する障害モードであるMorignant Tailを実験的に分離する。
トレーニングされていないネットワークは、ノイズを積極的に分離し、ノイズに支配されたサブスペースを外科的にプルークするポストホックスペクトルトラニケーションを実現する。
以上の結果から,ラベルノイズ下では,余剰スペクトル容量は無害な冗長性ではなく,構造的負債が潜んでいることが示唆された。
論文 参考訳（メタデータ） (2026-03-02T16:39:42Z) - Spectral Gating Networks [65.9496901693099]
我々は、フィードフォワードネットワークに周波数リッチな表現性を導入するために、スペクトルゲーティングネットワーク(SGN)を導入する。
SGNは、標準活性化経路をコンパクトなスペクトル経路と学習可能なゲートで拡張し、安定したベース動作からモデルを開始することができる。
計算予算に匹敵する精度と効率のトレードオフを継続的に改善する。
論文 参考訳（メタデータ） (2026-02-07T20:00:49Z) - Spectral Gradient Descent Mitigates Anisotropy-Driven Misalignment: A Case Study in Phase Retrieval [13.218607858857295]
スペクトル勾配法は、スケールを捨てながら方向情報を保存することによって勾配の更新を変更する。
非線形位相探索モデルの動的解析により,これらの利得のメカニズムを解明する。
論文 参考訳（メタデータ） (2026-01-30T07:12:58Z) - Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。
我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。
我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
論文 参考訳（メタデータ） (2024-10-21T22:40:42Z) - Hyperspectral Image Denoising Using Non-convex Local Low-rank and Sparse
Separation with Spatial-Spectral Total Variation Regularization [49.55649406434796]
本研究では,HSI復調のためのロバストな主成分分析のための新しい非特異なアプローチを提案する。
我々は、ランクとスパースコンポーネントの両方に対する正確な近似を開発する。
シミュレーションと実HSIの両方の実験により,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2022-01-08T11:48:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。