論文の概要: Entropic Regularization in the Deep Linear Network

• arxiv url: http://arxiv.org/abs/2512.06137v1
• Date: Fri, 05 Dec 2025 20:36:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-09 22:03:54.202686
• Title: Entropic Regularization in the Deep Linear Network
• Title（参考訳）: 深部線形ネットワークにおけるエントロピー正規化
• Authors: Alan Chen, Tejas Kotwal, Govind Menon,
• Abstract要約: arXiv:2509.09088で導入されたエントロピー式を用いて, ディープ線形ネットワーク(DLN)の正規化について検討した。 自由エネルギーの平衡と勾配流は、終端行列の特異値に依存するエネルギーによって特徴づけられる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study regularization for the deep linear network (DLN) using the entropy formula introduced in arXiv:2509.09088. The equilibria and gradient flow of the free energy on the Riemannian manifold of end-to-end maps of the DLN are characterized for energies that depend symmetrically on the singular values of the end-to-end matrix. The only equilibria are minimizers and the set of minimizers is an orbit of the orthogonal group. In contrast with random matrix theory there is no singular value repulsion. The corresponding gradient flow reduces to a one-dimensional ordinary differential equation whose solution gives explicit relaxation rates toward the minimizers. We also study the concavity of the entropy in the chamber of singular values. The entropy is shown to be strictly concave in the Euclidean geometry on the chamber but not in the Riemannian geometry defined by the DLN metric.
• Abstract（参考訳）: arXiv:2509.09088で導入されたエントロピー式を用いて, ディープ線形ネットワーク(DLN)の正規化について検討した。 DLN の終端写像のリーマン多様体上の自由エネルギーの平衡と勾配流は、終端行列の特異値に対称的に依存するエネルギーによって特徴づけられる。 唯一の平衡は最小値であり、最小値の集合は直交群の軌道である。 ランダム行列理論とは対照的に、特異値の反発は存在しない。 対応する勾配流は、1次元の常微分方程式に還元され、解は最小化子に対して明示的な緩和速度を与える。 また、特異値のチャンバー内のエントロピーの凹凸についても検討する。 エントロピーは、チャンバー上のユークリッド幾何学では厳密な凹みを持つが、DLN計量で定義されるリーマン幾何学では包含されない。

関連論文リスト

• Explicit Discovery of Nonlinear Symmetries from Dynamic Data [50.20526548924647]
  LieNLSDは非線形項の無限小生成器の数とその明示的な表現を決定する最初の方法である。 LieNLSDは既存の手法に比べて質的な利点を示し、ニューラルPDEソルバの長期ロールアウト精度を20%以上改善する。
  論文  参考訳（メタデータ） (2025-10-02T09:54:08Z)
• Noninvertible Symmetry-Resolved Affleck-Ludwig-Cardy Formula and Entanglement Entropy from the Boundary Tube Algebra [0.0]
  1+1d共形場理論に対する Affleck-Ludwig-Cardy 公式の洗練されたバージョンを導出する。 これを用いて、単区間の非可逆対称性分解エントロピーに対する普遍的先行および部分誘導的寄与を決定する。
  論文  参考訳（メタデータ） (2024-09-04T15:25:05Z)
• The geometry of the Hermitian matrix space and the Schrieffer--Wolff transformation [0.0]
  量子力学において、シュリーファー-ヴォルフ変換(Schrieffer--Wolff transformation)はハミルトニアンの摂動次元を減少させる近似法として知られている。 エルミート行列の空間における局所座標が、$k$-foldの縮退部分多様体の近くで誘導されることを証明した。
  論文  参考訳（メタデータ） (2024-07-15T07:05:39Z)
• Last-Iterate Convergence of Adaptive Riemannian Gradient Descent for Equilibrium Computation [52.73824786627612]
  本稿では,テクスト幾何学的強単調ゲームに対する新たな収束結果を確立する。 我々のキーとなる結果は、RGDがテクスト幾何学的手法で最終定位線形収束を実現することを示しています。 全体として、ユークリッド設定を超えるゲームに対して、幾何学的に非依存な最終点収束解析を初めて提示する。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
  この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。 測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
  論文  参考訳（メタデータ） (2023-06-22T23:14:57Z)
• Learning Discretized Neural Networks under Ricci Flow [48.47315844022283]
  低精度重みとアクティベーションからなる離散ニューラルネットワーク(DNN)について検討する。 DNNは、訓練中に微分不可能な離散関数のために無限あるいはゼロの勾配に悩まされる。
  論文  参考訳（メタデータ） (2023-02-07T10:51:53Z)
• The Neural Covariance SDE: Shaped Infinite Depth-and-Width Networks at Initialization [13.872374586700767]
  近年の研究では、ネットワークの深さが大きくなるにつれて活性化関数が形成されることが示されている。 非自明な極限に達するのに必要な活性化関数の正確なスケーリングを特定する。 アクティベーション関数に基づいて,大規模なネットワークの標準を爆発・消滅するためのif-and-only-if条件を回復する。
  論文  参考訳（メタデータ） (2022-06-06T17:45:07Z)
• A Dynamical Central Limit Theorem for Shallow Neural Networks [48.66103132697071]
  平均極限の周りのゆらぎは、トレーニングを通して平均正方形に有界であることを証明する。 平均場ダイナミクスがトレーニングデータを補間する尺度に収束すると、最終的にCLTスケーリングにおいて偏差が消えることを示す。
  論文  参考訳（メタデータ） (2020-08-21T18:00:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。