論文の概要: On permutation symmetries in Bayesian neural network posteriors: a variational perspective

• arxiv url: http://arxiv.org/abs/2310.10171v1
• Date: Mon, 16 Oct 2023 08:26:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-17 15:37:37.403358
• Title: On permutation symmetries in Bayesian neural network posteriors: a variational perspective
• Title（参考訳）: ベイズニューラルネットワーク後部における置換対称性について:変分の視点から
• Authors: Simone Rossi, Ankit Singh, Thomas Hannagan
• Abstract要約: 勾配降下の局所解には本質的に損失障壁がないことを示す。 これにより、ベイズニューラルネットワークにおける近似推論に関する疑問が提起される。 線形接続された解を探索するマッチングアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 8.310462710943971
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The elusive nature of gradient-based optimization in neural networks is tied to their loss landscape geometry, which is poorly understood. However recent work has brought solid evidence that there is essentially no loss barrier between the local solutions of gradient descent, once accounting for weight-permutations that leave the network's computation unchanged. This raises questions for approximate inference in Bayesian neural networks (BNNs), where we are interested in marginalizing over multiple points in the loss landscape. In this work, we first extend the formalism of marginalized loss barrier and solution interpolation to BNNs, before proposing a matching algorithm to search for linearly connected solutions. This is achieved by aligning the distributions of two independent approximate Bayesian solutions with respect to permutation matrices. We build on the results of Ainsworth et al. (2023), reframing the problem as a combinatorial optimization one, using an approximation to the sum of bilinear assignment problem. We then experiment on a variety of architectures and datasets, finding nearly zero marginalized loss barriers for linearly connected solutions.
• Abstract（参考訳）: ニューラルネットワークにおける勾配に基づく最適化の解明の性質は、その損失ランドスケープ幾何学と結びついており、理解が不十分である。 しかし、最近の研究は、勾配勾配の局所解の間に本質的に損失障壁がないという確固たる証拠を導いてきた。 これにより、ベイズニューラルネットワーク(BNN)における近似推論に関する疑問が提起される。 本研究では, 線形連結解を探索するためのマッチングアルゴリズムを提案する前に, マージン化損失障壁の形式化と解補間をbnnに拡張する。 これは、置換行列に関して2つの独立近似ベイズ解の分布を整列させることによって達成される。 ainsworth et al. (2023) の結果に基づいて, 双線形割当問題の総和の近似を用いて, 組合せ最適化問題としてこの問題を再現した。 その後、さまざまなアーキテクチャやデータセットを実験し、線形接続されたソリューションに対するほぼゼロの損失障壁を見つけました。

関連論文リスト

• GLinSAT: The General Linear Satisfiability Neural Network Layer By Accelerated Gradient Descent [12.409030267572243]
  ニューラルネットワーク出力のバッチを、有界および一般線形制約を満たすものにする。 これは、すべての操作が微分可能で行列分解自由な、最初の一般線形満足層である。
  論文  参考訳（メタデータ） (2024-09-26T03:12:53Z)
• LinSATNet: The Positive Linear Satisfiability Neural Networks [116.65291739666303]
  本稿では,ニューラルネットワークに人気の高い正の線形満足度を導入する方法について検討する。 本稿では,古典的なシンクホーンアルゴリズムを拡張し,複数の辺分布の集合を共同で符号化する,最初の微分可能満足層を提案する。
  論文  参考訳（メタデータ） (2024-07-18T22:05:21Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
  勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。 また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
  論文  参考訳（メタデータ） (2021-11-03T15:14:20Z)
• Learning through atypical ''phase transitions'' in overparameterized neural networks [0.43496401697112685]
  現在のディープニューラルネットワークは可観測性が高く(最大数十億の接続重み)、非線形である。 しかし、過剰な降下アルゴリズムによってほぼ完全にデータに適合し、予期せぬ精度の予測を達成できる。 これらは一般化なしの恐ろしい挑戦である。
  論文  参考訳（メタデータ） (2021-10-01T23:28:07Z)
• Optimizing Mode Connectivity via Neuron Alignment [84.26606622400423]
  経験的に、損失関数の局所ミニマは、損失がほぼ一定であるようなモデル空間の学習曲線で接続することができる。 本稿では,ネットワークの重み変化を考慮し,対称性がランドスケープ・コネクティビティに与える影響を明らかにするための,より一般的な枠組みを提案する。
  論文  参考訳（メタデータ） (2020-09-05T02:25:23Z)
• Eigendecomposition-Free Training of Deep Networks for Linear Least-Square Problems [107.3868459697569]
  我々は、ディープネットワークのトレーニングに固有分解のないアプローチを導入する。 この手法は固有分解の明示的な微分よりもはるかに堅牢であることを示す。 我々の手法は収束特性が良く、最先端の結果が得られます。
  論文  参考訳（メタデータ） (2020-04-15T04:29:34Z)
• PFNN: A Penalty-Free Neural Network Method for Solving a Class of Second-Order Boundary-Value Problems on Complex Geometries [4.620110353542715]
  本稿では,2次境界値問題のクラスを解くために,ペナルティのないニューラルネットワーク手法であるPFNNを提案する。 PFNNは、精度、柔軟性、堅牢性の点で、既存のいくつかのアプローチよりも優れている。
  論文  参考訳（メタデータ） (2020-04-14T13:36:14Z)
• Convex Geometry and Duality of Over-parameterized Neural Networks [70.15611146583068]
  有限幅2層ReLUネットワークの解析のための凸解析手法を開発した。 正規化学習問題に対する最適解が凸集合の極点として特徴づけられることを示す。 高次元では、トレーニング問題は無限に多くの制約を持つ有限次元凸問題としてキャストできることが示される。
  論文  参考訳（メタデータ） (2020-02-25T23:05:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。