論文の概要: Variational Inference Failures Under Model Symmetries: Permutation Invariant Posteriors for Bayesian Neural Networks
- arxiv url: http://arxiv.org/abs/2408.05496v1
- Date: Sat, 10 Aug 2024 09:06:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-13 18:41:36.326481
- Title: Variational Inference Failures Under Model Symmetries: Permutation Invariant Posteriors for Bayesian Neural Networks
- Title（参考訳）: モデル対称性下の変分推論失敗:ベイズニューラルネットワークの変分不変後続体
- Authors: Yoav Gelberg, Tycho F. A. van der Ouderaa, Mark van der Wilk, Yarin Gal,
- Abstract要約: 重み空間置換対称性が変分推論に与える影響について検討する。
置換不変変分後部を構築するための対称対称性機構を考案する。
本研究は, 対称性分布が真の後部と厳密に適合していること, 元のELBO目標を用いてトレーニングできること, を示す。
- 参考スコア（独自算出の注目度）: 43.88179780450706
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Weight space symmetries in neural network architectures, such as permutation symmetries in MLPs, give rise to Bayesian neural network (BNN) posteriors with many equivalent modes. This multimodality poses a challenge for variational inference (VI) techniques, which typically rely on approximating the posterior with a unimodal distribution. In this work, we investigate the impact of weight space permutation symmetries on VI. We demonstrate, both theoretically and empirically, that these symmetries lead to biases in the approximate posterior, which degrade predictive performance and posterior fit if not explicitly accounted for. To mitigate this behavior, we leverage the symmetric structure of the posterior and devise a symmetrization mechanism for constructing permutation invariant variational posteriors. We show that the symmetrized distribution has a strictly better fit to the true posterior, and that it can be trained using the original ELBO objective with a modified KL regularization term. We demonstrate experimentally that our approach mitigates the aforementioned biases and results in improved predictions and a higher ELBO.
- Abstract（参考訳）: MLPの置換対称性のようなニューラルネットワークアーキテクチャにおける重み空間対称性は、多くの等価モードを持つベイズニューラルネットワークの後部(BNN)を引き起こす。
この多モード性は変分推論(VI)技法の課題であり、通常は後部を単調分布で近似することに依存する。
本研究では, 重み空間置換対称性がVIに与える影響について検討する。
理論的にも経験的にも、これらの対称性が近似後部におけるバイアスを引き起こし、明示的に考慮されていない場合、予測性能と後部適合性を低下させることを示した。
この挙動を緩和するために、後部の対称構造を利用し、置換不変変動後部を構築するための対称性化機構を考案する。
我々は, 対称性分布が真の後方に厳密に適合していることを示し, 修正KL正規化項を用いて, 元のELBO目標を用いて訓練できることを示した。
提案手法は, 上記のバイアスを緩和し, 予測精度が向上し, ELBOが向上することを示した。
関連論文リスト
- Approximate Equivariance in Reinforcement Learning [35.04248486334824]
等変ニューラルネットワークは強化学習において大きな成功を収めている。
多くの問題において、近似対称性のみが存在しており、これは正確な対称性を不適切なものにしている。
我々は、強化学習におけるほぼ同変のアルゴリズムを開発した。
論文 参考訳（メタデータ） (2024-11-06T19:44:46Z) - Relative Representations: Topological and Geometric Perspectives [53.88896255693922]
相対表現はゼロショットモデルの縫合に対する確立されたアプローチである。
相対変換において正規化手順を導入し、非等方的再スケーリングや置換に不変となる。
第二に、クラス内のクラスタリングを促進するトポロジカル正規化損失である、微調整された相対表現におけるトポロジカルデシフィケーションの展開を提案する。
論文 参考訳（メタデータ） (2024-09-17T08:09:22Z) - Reparameterization invariance in approximate Bayesian inference [32.88960624085645]
線形化の成功を説明するために, 線形化の新たな幾何学的視点を構築した。
これらのreパラメータ化不変性は、元のニューラルネットワーク予測に拡張可能であることを実証する。
論文 参考訳（メタデータ） (2024-06-05T14:49:15Z) - The Empirical Impact of Neural Parameter Symmetries, or Lack Thereof [50.49582712378289]
ニューラル・ネットワーク・アーキテクチャの導入により,ニューラル・パラメータ・対称性の影響について検討する。
我々は,パラメータ空間対称性を低減するために,標準的なニューラルネットワークを改良する2つの手法を開発した。
実験により,パラメータ対称性の経験的影響に関する興味深い観察がいくつか示された。
論文 参考訳（メタデータ） (2024-05-30T16:32:31Z) - Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。
我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。
本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
論文 参考訳（メタデータ） (2024-05-22T17:23:15Z) - Symmetry Breaking and Equivariant Neural Networks [17.740760773905986]
我々は「緩和された同注入」という新しい概念を導入する。
我々は、この緩和を同変多層パーセプトロン(E-MLP)に組み込む方法を示す。
対称性の破れの関連性は、様々な応用領域で議論される。
論文 参考訳（メタデータ） (2023-12-14T15:06:48Z) - Learning Probabilistic Symmetrization for Architecture Agnostic Equivariance [16.49488981364657]
群対称性を持つ学習関数における同変アーキテクチャの限界を克服する新しい枠組みを提案する。
我々は、不変量や変圧器のような任意の基底モデルを使用し、それを与えられた群に同変するように対称性付けする。
実証実験は、調整された同変アーキテクチャに対する競争結果を示す。
論文 参考訳（メタデータ） (2023-06-05T13:40:54Z) - Oracle-Preserving Latent Flows [58.720142291102135]
我々はラベル付きデータセット全体にわたって複数の非自明な連続対称性を同時に発見するための方法論を開発する。
対称性変換と対応するジェネレータは、特別に構築された損失関数で訓練された完全連結ニューラルネットワークでモデル化される。
この研究における2つの新しい要素は、縮小次元の潜在空間の使用と、高次元のオラクルに関して不変な変換への一般化である。
論文 参考訳（メタデータ） (2023-02-02T00:13:32Z) - Equivariant neural networks for inverse problems [1.7942265700058986]
群同変畳み込み演算は自然に学習された再構成法に組み込むことができることを示す。
近位作用素を群等価畳み込みニューラルネットワークとしてモデル化する学習反復手法を設計した。
論文 参考訳（メタデータ） (2021-02-23T05:38:41Z) - Learning Invariances in Neural Networks [51.20867785006147]
ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。
画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
論文 参考訳（メタデータ） (2020-10-22T17:18:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。