論文の概要: The Geometry of Neural Nets' Parameter Spaces Under Reparametrization

• arxiv url: http://arxiv.org/abs/2302.07384v1
• Date: Tue, 14 Feb 2023 22:48:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-16 16:19:25.774514
• Title: The Geometry of Neural Nets' Parameter Spaces Under Reparametrization
• Title（参考訳）: リパラメトリゼーションによるニューラルネットのパラメータ空間の幾何学
• Authors: Agustinus Kristiadi and Felix Dangel and Philipp Hennig
• Abstract要約: リパラメトリゼーション -- 微分可能なマップを通じてパラメータ空間を変換する -- は、ニューラルネットワークのトレーニングを改善する一般的な方法である。 しかし、再パラメータ化は、ヘッセンの平坦度測度、最適化軌道、確率密度関数のモードの不整合を引き起こす。 我々は、この不変性の概念が、常に存在する計量に関する仮定を認める限り、任意のニューラルネットの固有の性質であることを示す。
• 参考スコア（独自算出の注目度）: 28.055877509695932
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model reparametrization -- transforming the parameter space via a bijective differentiable map -- is a popular way to improve the training of neural networks. But reparametrizations have also been problematic since they induce inconsistencies in, e.g., Hessian-based flatness measures, optimization trajectories, and modes of probability density functions. This complicates downstream analyses, e.g. one cannot make a definitive statement about the connection between flatness and generalization. In this work, we study the invariance quantities of neural nets under reparametrization from the perspective of Riemannian geometry. We show that this notion of invariance is an inherent property of any neural net, as long as one acknowledges the assumptions about the metric that is always present, albeit often implicitly, and uses the correct transformation rules under reparametrization. We present discussions on measuring the flatness of minima, in optimization, and in probability-density maximization, along with applications in studying the biases of optimizers and in Bayesian inference.
• Abstract（参考訳）: モデル再パラメータ化 -- 単射微分可能マップを介してパラメータ空間を変換する -- は、ニューラルネットワークのトレーニングを改善する一般的な方法である。 しかし、レパラメトリゼーションはヘッセン系平坦度測度、最適化軌道、確率密度関数のモードなどの不整合を誘導するため、問題にもなっている。 これは下流解析を複雑にし、例えば平坦性と一般化の関係について決定的な記述をすることはできない。 本研究では,再パラメータ化下でのニューラルネットの不変量について,リーマン幾何学の観点から検討する。 この不変性の概念は、しばしば暗黙的に存在する計量についての仮定を認め、再パラメータ化の下で正しい変換規則を使用する限り、どんなニューラルネットにも固有の性質であることを示している。 本稿では,ミニマムの平坦性,最適化,確率密度の最大化について,最適化器のバイアスやベイズ推定への応用について述べる。

関連論文リスト

• Benign overfitting in Fixed Dimension via Physics-Informed Learning with Smooth Inductive Bias [8.668428992331808]
  我々は,線形逆問題に対処する際,カーネルリッジ(レス)回帰のためのソボレフノルム学習曲線を開発した。 この結果から, 逆問題におけるPDE演算子は分散を安定化し, 固定次元問題に対して良性オーバーフィッティングを行うことが可能であることがわかった。
  論文  参考訳（メタデータ） (2024-06-13T14:54:30Z)
• Reparameterization invariance in approximate Bayesian inference [32.88960624085645]
  線形化の成功を説明するために, 線形化の新たな幾何学的視点を構築した。 これらのreパラメータ化不変性は、元のニューラルネットワーク予測に拡張可能であることを実証する。
  論文  参考訳（メタデータ） (2024-06-05T14:49:15Z)
• The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
  この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。 測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
  論文  参考訳（メタデータ） (2023-06-22T23:14:57Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Scale-invariant Bayesian Neural Networks with Connectivity Tangent Kernel [30.088226334627375]
  パラメータのスケールに応じて、平坦性と一般化境界を任意に変更できることが示される。 我々は,パラメータのスケールと接続性をテキスト分解することで,スケーリング変換に不変な新しい事前分布と後続分布を提案する。 我々は, 後部が, 複雑さの低い効果的な平坦度とキャリブレーションの指標を実証的に示す。
  論文  参考訳（メタデータ） (2022-09-30T03:31:13Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• Revisiting Transformation Invariant Geometric Deep Learning: Are Initial Representations All You Need? [80.86819657126041]
  変換不変および距離保存初期表現は変換不変性を達成するのに十分であることを示す。 具体的には、多次元スケーリングを変更することで、変換不変かつ距離保存された初期点表現を実現する。 我々は、TinvNNが変換不変性を厳密に保証し、既存のニューラルネットワークと組み合わせられるほど汎用的で柔軟なことを証明した。
  論文  参考訳（メタデータ） (2021-12-23T03:52:33Z)
• Depth Without the Magic: Inductive Bias of Natural Gradient Descent [1.020554144865699]
  勾配降下では、モデルをパラメータ化する方法を変えることで、大幅に異なる最適化軌道が導かれる。 深い線形ネットワークにおける自然勾配流の挙動を,ロジスティックな損失と深い行列因数分解の下で分離可能な分類のために特徴づける。 本研究では,自然勾配降下が一般化に失敗する学習問題が存在する一方で,適切なアーキテクチャによる勾配降下が良好に動作することを示す。
  論文  参考訳（メタデータ） (2021-11-22T21:20:10Z)
• Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
  多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。 ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。 分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
  論文  参考訳（メタデータ） (2020-12-19T15:24:04Z)
• Learning Invariances in Neural Networks [51.20867785006147]
  ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。 画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:18:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。