論文の概要: The Geometry of Neural Nets' Parameter Spaces Under Reparametrization
- arxiv url: http://arxiv.org/abs/2302.07384v2
- Date: Thu, 18 May 2023 21:29:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-22 18:54:04.421428
- Title: The Geometry of Neural Nets' Parameter Spaces Under Reparametrization
- Title(参考訳): リパラメトリゼーションによるニューラルネットのパラメータ空間の幾何学
- Authors: Agustinus Kristiadi and Felix Dangel and Philipp Hennig
- Abstract要約: 我々は、リーマン幾何学の観点から、リパラメトリゼーションの下でのニューラルネットの不変性について研究する。
本稿では,ミニマムの平坦度,最適化,および確率密度について考察する。
- 参考スコア(独自算出の注目度): 28.055877509695932
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Model reparametrization, which follows the change-of-variable rule of
calculus, is a popular way to improve the training of neural nets. But it can
also be problematic since it can induce inconsistencies in, e.g., Hessian-based
flatness measures, optimization trajectories, and modes of probability
densities. This complicates downstream analyses: e.g. one cannot definitively
relate flatness with generalization since arbitrary reparametrization changes
their relationship. In this work, we study the invariance of neural nets under
reparametrization from the perspective of Riemannian geometry. From this point
of view, invariance is an inherent property of any neural net if one explicitly
represents the metric and uses the correct associated transformation rules.
This is important since although the metric is always present, it is often
implicitly assumed as identity, and thus dropped from the notation, then lost
under reparametrization. We discuss implications for measuring the flatness of
minima, optimization, and for probability-density maximization. Finally, we
explore some interesting directions where invariance is useful.
- Abstract(参考訳): モデル再パラメータ化(model reparametrization)は、微積分の可変性規則に従い、ニューラルネットワークのトレーニングを改善する一般的な方法である。
しかし、ヘッセン系平坦度測度、最適化軌道、確率密度のモードなどの矛盾を誘発できるため、問題となることもある。
これは下流解析を複雑にする:例えば、任意の再パラメータ化がそれらの関係を変化させるので、平坦性と一般化を決定的に関連付けることはできない。
本研究では,再パラメータ化下でのニューラルネットの不変性について,リーマン幾何学の観点から検討する。
この観点から、不変性は、計量を明示的に表現し、正しい関連する変換規則を使用する場合、任意のニューラルネット固有の性質である。
これは、計量は常に存在するが、しばしば暗黙的に同一視と見なされ、記法から外され、再パラメータ化によって失われる。
ミニマムの平坦性の測定,最適化,確率密度の最大化について考察する。
最後に,不変性が役に立つ興味深い方向について考察する。
関連論文リスト
- Benign overfitting in Fixed Dimension via Physics-Informed Learning with Smooth Inductive Bias [8.668428992331808]
我々は,線形逆問題に対処する際,カーネルリッジ(レス)回帰のためのソボレフノルム学習曲線を開発した。
この結果から, 逆問題におけるPDE演算子は分散を安定化し, 固定次元問題に対して良性オーバーフィッティングを行うことが可能であることがわかった。
論文 参考訳(メタデータ) (2024-06-13T14:54:30Z) - Reparameterization invariance in approximate Bayesian inference [32.88960624085645]
線形化の成功を説明するために, 線形化の新たな幾何学的視点を構築した。
これらのreパラメータ化不変性は、元のニューラルネットワーク予測に拡張可能であることを実証する。
論文 参考訳(メタデータ) (2024-06-05T14:49:15Z) - The Inductive Bias of Flatness Regularization for Deep Matrix
Factorization [58.851514333119255]
この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。
測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
論文 参考訳(メタデータ) (2023-06-22T23:14:57Z) - Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。
データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。
ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文 参考訳(メタデータ) (2022-11-02T16:39:42Z) - Scale-invariant Bayesian Neural Networks with Connectivity Tangent
Kernel [30.088226334627375]
パラメータのスケールに応じて、平坦性と一般化境界を任意に変更できることが示される。
我々は,パラメータのスケールと接続性をテキスト分解することで,スケーリング変換に不変な新しい事前分布と後続分布を提案する。
我々は, 後部が, 複雑さの低い効果的な平坦度とキャリブレーションの指標を実証的に示す。
論文 参考訳(メタデータ) (2022-09-30T03:31:13Z) - Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
データから解釈可能な等価性を発見する方法について検討する。
具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。
また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
論文 参考訳(メタデータ) (2022-04-07T17:59:19Z) - Revisiting Transformation Invariant Geometric Deep Learning: Are Initial
Representations All You Need? [80.86819657126041]
変換不変および距離保存初期表現は変換不変性を達成するのに十分であることを示す。
具体的には、多次元スケーリングを変更することで、変換不変かつ距離保存された初期点表現を実現する。
我々は、TinvNNが変換不変性を厳密に保証し、既存のニューラルネットワークと組み合わせられるほど汎用的で柔軟なことを証明した。
論文 参考訳(メタデータ) (2021-12-23T03:52:33Z) - Depth Without the Magic: Inductive Bias of Natural Gradient Descent [1.020554144865699]
勾配降下では、モデルをパラメータ化する方法を変えることで、大幅に異なる最適化軌道が導かれる。
深い線形ネットワークにおける自然勾配流の挙動を,ロジスティックな損失と深い行列因数分解の下で分離可能な分類のために特徴づける。
本研究では,自然勾配降下が一般化に失敗する学習問題が存在する一方で,適切なアーキテクチャによる勾配降下が良好に動作することを示す。
論文 参考訳(メタデータ) (2021-11-22T21:20:10Z) - Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。
ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。
分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
論文 参考訳(メタデータ) (2020-12-19T15:24:04Z) - Learning Invariances in Neural Networks [51.20867785006147]
ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。
画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
論文 参考訳(メタデータ) (2020-10-22T17:18:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。