論文の概要: ManifoldFlow: SPD-Relaxed Stiefel Layers with Learnable Singular Spectrum
- arxiv url: http://arxiv.org/abs/2607.04535v1
- Date: Sun, 05 Jul 2026 22:46:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.973683
- Title: ManifoldFlow: SPD-Relaxed Stiefel Layers with Learnable Singular Spectrum
- Title（参考訳）: ManifoldFlow:学習可能な特異スペクトルを持つSPD緩和スティフェル層
- Authors: Haiwen Yi, Xinyuan Song,
- Abstract要約: ManifoldFlowは固定スペクトルSiefel層の最小緩和である。
W = Q S1/2 で有界な正スペクトルを QT Q = I と S の正定値で学習する。
基底が正則であるべきとき、そのスペクトルは凍結する必要はない。
- 参考スコア（独自算出の注目度）: 0.05371337604556311
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Orthogonal and Stiefel layers give neural weights exact spectral control, but they also impose a strong modeling constraint: all represented singular values are fixed at one. Many settings that benefit from an orthonormal basis still need direction-dependent attenuation or amplification. We introduce ManifoldFlow, a minimal relaxation of a fixed-spectrum Stiefel layer that keeps the basis on the Stiefel manifold while learning a bounded positive spectrum through W = Q S^{1/2}, with Q^T Q = I and S positive definite. Since W^T W = S, the eigenvalues of S are exactly the squared singular values of the realized weight, making eigenvalue clipping a direct singular-value control mechanism. Across paired sequence, tabular, and image experiments, the learnable SPD spectrum improves the fixed-spectrum Stiefel counterpart in the reported settings where the Stiefel prior is useful, with the largest gains in recurrent language-model projections. Boundary cases in convolutional classifier heads clarify the intended scope: ManifoldFlow is not a universal dense-layer replacement, but a spectrum-learnable Stiefel relaxation for settings where an orthonormal basis is a useful prior. When the basis should be orthonormal, its spectrum need not be frozen. Code available at https://github.com/Hik289/manifold_flow
- Abstract（参考訳）: 直交層とスティーフェル層は神経重みの正確なスペクトル制御を与えるが、それらもまた強いモデリング制約を課す。
正規直交基底から恩恵を受ける多くの設定は、方向依存の減衰または増幅を必要とする。
W = Q S^{1/2} と Q^T Q = I と S の正定値を持つ有界正スペクトルを学習しながら、スティフェル多様体の基底を保持する固定スペクトルスティーフェル層の最小緩和である ManifoldFlow を導入する。
W^T W = S であるため、S の固有値はちょうど実現された重みの平方特異値であり、固有値は直接特異値制御機構をクリップする。
ペアシーケンス、表、画像実験全体にわたって、学習可能なSPDスペクトルは、Stiefelが有用であるという報告された設定において、Stiefelと同等の固定スペクトルを改善する。
ManifoldFlowは普遍的な高密度層置換ではなく、正規直交基底が有用であるような設定のためのスペクトル学習可能なStiefel緩和である。
基底が正則であるべきとき、そのスペクトルは凍結する必要はない。
https://github.com/Hik289/manifold_flowで利用可能なコード
関連論文リスト
- The Spectral Dynamics and Noise Geometry of Muon [0.6335848702857036]
Muon は行列勾配 $G=UVtop$ を極係数 $UVtop$ に置き換える。
この操作によって生成される最適化バイアスについて検討する。
論文 参考訳（メタデータ） (2026-06-07T00:51:30Z) - Scale-Invariant Neural Network Optimization: Norm Geometry and Heavy-Tailed Noise [12.977441534320041]
スペクトルノルムを持つスケール不変の1次法は$(minm, n-frac3p-2p-1)の呼び出しを必要とすることを示す。
我々は、標準がスペクトルであり、ヘシアンがリプシッツであるとき、バッチ法が$(minm, n-frac5p2p-2p-2)$のマッチング境界を達成することを証明した。
論文 参考訳（メタデータ） (2026-05-18T15:13:18Z) - Gradient Clipping Beyond Vector Norms: A Spectral Approach for Matrix-Valued Parameters [48.3175117923623]
ほとんどの勾配クリッピング規則は、全てのパラメータを重ベクトルとして扱い、現代のベクトルの行列構造を無視する。
実験により、データのアウトリーチは、少数のリード特異値のみを増幅することを示した。
この現象を動機として,特異値で安定化するクリッピングを提案する。
論文 参考訳（メタデータ） (2026-05-12T09:24:59Z) - Geometric and Spectral Alignment for Deep Neural Network I [12.227949990332363]
我々はフロベニウス正規化層因子の特異スペクトルに対する決定論的商-幾何推定を証明した。
フルランク因子は$mathrmGL(d)$から$Amapsto Atop A$によって正の円錐にマッピングされ、次に順序付けられた固有値データにマップされる。
正規化残鎖に対する近似パワーローおよび計量チャートバージョン、逆下界、フィッシャー--KL/バーズ作用推定、およびほぼ同一性拡張を証明した。
論文 参考訳（メタデータ） (2026-05-04T00:07:24Z) - Conservation Law Breaking at the Edge of Stability: A Spectral Theory of Non-Convex Neural Network Optimization [0.0]
非次元ネットワーク最適化において、勾配勾配勾配が確実に良い解となることを示す。
幅依存性の動的遷移によって分離された2つの規則を同定する。
全ての予測は23の実験で検証される。
論文 参考訳（メタデータ） (2026-04-08T10:41:24Z) - Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。
一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。
グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
論文 参考訳（メタデータ） (2026-02-26T15:27:53Z) - Low-Rank Tensor Recovery via Variational Schatten-p Quasi-Norm and Jacobian Regularization [49.85875869048434]
暗黙的神経表現のためのニューラルネットワークによりパラメータ化されたCPベースの低ランクテンソル関数を提案する。
本研究では、スペーサーCP分解を実現するために、冗長なランク1成分に変分Schatten-p quasi-normを導入する。
滑らか性のために、ヤコビアンとハッチンソンのトレース推定器のスペクトルノルムに基づく正規化項を提案する。
論文 参考訳（メタデータ） (2025-06-27T11:23:10Z) - FedNAR: Federated Optimization with Normalized Annealing Regularization [54.42032094044368]
ウェイト崩壊の選択を探索し、ウェイト崩壊値が既存のFLアルゴリズムの収束に有意な影響を及ぼすことを確かめる。
我々は,既存のFLアルゴリズムにシームレスに統合可能なプラグインであるFederated Optimization with Normalized Annealing Regularization (FedNAR)を開発した。
論文 参考訳（メタデータ） (2023-10-04T21:11:40Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳（メタデータ） (2021-09-24T14:48:20Z) - Spectral Learning on Matrices and Tensors [74.88243719463053]
テンソル分解は行列法で欠落する潜伏効果を拾うことができることを示す。
また,効率的なテンソル分解法を設計するための計算手法についても概説する。
論文 参考訳（メタデータ） (2020-04-16T22:53:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。