論文の概要: Why Deep Jacobian Spectra Separate: Depth-Induced Scaling and Singular-Vector Alignment

• arxiv url: http://arxiv.org/abs/2602.12384v2
• Date: Mon, 16 Feb 2026 11:03:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-17 16:22:49.641893
• Title: Why Deep Jacobian Spectra Separate: Depth-Induced Scaling and Singular-Vector Alignment
• Title（参考訳）: 深層ジャコビアンスペクトルが分離する理由:深さ誘起スケーリングと特異ベクトルアライメント
• Authors: Nathanaël Haas, François Gatine, Augustin M Cosse, Zied Bouraoui,
• Abstract要約: 本研究では, 深層ジャコビアンの研究において, 順序特異値の指数的スケーリングと強いスペクトル分離が可能であることを示す。 さらに、行列積における特異ベクトルアライメントが十分に強い分離力を持つことを示し、中間ヤコビアンに対してほぼ共有の特異基底を与える。 固定ゲート設定の実験は、予測スケーリング、アライメント、そして結果のダイナミクスを検証する。
• 参考スコア（独自算出の注目度）: 10.515277266852838
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding why gradient-based training in deep networks exhibits strong implicit bias remains challenging, in part because tractable singular-value dynamics are typically available only for balanced deep linear models. We propose an alternative route based on two theoretically grounded and empirically testable signatures of deep Jacobians: depth-induced exponential scaling of ordered singular values and strong spectral separation. Adopting a fixed-gates view of piecewise-linear networks, where Jacobians reduce to products of masked linear maps within a single activation region, we prove the existence of Lyapunov exponents governing the top singular values at initialization, give closed-form expressions in a tractable masked model, and quantify finite-depth corrections. We further show that sufficiently strong separation forces singular-vector alignment in matrix products, yielding an approximately shared singular basis for intermediate Jacobians. Together, these results motivate an approximation regime in which singular-value dynamics become effectively decoupled, mirroring classical balanced deep-linear analyses without requiring balancing. Experiments in fixed-gates settings validate the predicted scaling, alignment, and resulting dynamics, supporting a mechanistic account of emergent low-rank Jacobian structure as a driver of implicit bias.
• Abstract（参考訳）: ディープ・ネットワークにおける勾配に基づくトレーニングが強い暗黙バイアスを示す理由を理解することは困難であり、その理由の一部は、トラクタブル特異値力学が一般にバランスの取れたディープ・リニア・モデルでのみ利用できるためである。 本稿では, ディープ・ヤコビアンの2つの理論的基礎と実証的証明可能なシグネチャに基づいて, 順序付き特異値の深さ誘起指数的スケーリングと強いスペクトル分離に基づく代替経路を提案する。 ジャコビアンが1つの活性化領域内のマスク付き線型写像の積に還元されるようなピースワイズ線形ネットワークの固定ゲートビューを採用することにより、初期化時に最高特異値を管理するリャプノフ指数の存在を証明し、抽出可能なマスク付きモデルで閉形式表現を与え、有限深度補正を定量化する。 さらに、行列積における特異ベクトルアライメントが十分に強い分離力を持つことを示し、中間ヤコビアンに対してほぼ共有の特異基底を与える。 これらの結果と共に、特異値のダイナミクスが効果的に分離される近似体系を動機付け、古典的なバランスの取れた深い線形解析をバランスを必要とせずに反映する。 固定ゲート設定の実験は、予測されたスケーリング、アライメント、そして結果のダイナミクスを検証する。

関連論文リスト

• Orthogonalized Policy Optimization:Decoupling Sampling Geometry from Optimization Geometry in RLHF [0.0]
  大規模言語モデルアライメントの目的はしばしば、PPO、DPO、IPO、およびそれらの変種といった、異なるアルゴリズムの集合として提示される。 この研究において、この多様性はより単純な基盤構造を曖昧にしていると論じる。 この絡み合いは、単にモデリングの利便性ではなく、体系的な不安定性の源であることを示す。
  論文  参考訳（メタデータ） (2026-01-18T13:57:44Z)
• VIKING: Deep variational inference with stochastic projections [48.946143517489496]
  変分平均場近似は、現代の過度にパラメータ化されたディープニューラルネットワークと競合する傾向がある。 パラメータ空間の2つの独立線型部分空間を考える単純な変分族を提案する。 これにより、オーバーパラメトリゼーションを反映した、完全に相関した近似後部を構築することができる。
  論文  参考訳（メタデータ） (2025-10-27T15:38:35Z)
• Dynamical heterogeneity and large deviations in the open quantum East glass model from tensor networks [0.0]
  数値テンソルネットワークを用いた散逸量子東モデルの非平衡ダイナミクスについて検討する。 我々は行列積状態を用いて、正確な対角化にアクセスできるものを超える大きさの量子ジャンプなき大きさの進化を表現する。
  論文  参考訳（メタデータ） (2024-04-04T18:41:18Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。