論文の概要: On the Interplay of Priors and Overparametrization in Bayesian Neural Network Posteriors

• arxiv url: http://arxiv.org/abs/2603.22030v1
• Date: Mon, 23 Mar 2026 14:36:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.720639
• Title: On the Interplay of Priors and Overparametrization in Bayesian Neural Network Posteriors
• Title（参考訳）: ベイジアンニューラルネットワーク後部における先行と過パラメトリゼーションの相互作用について
• Authors: Julius Kobialka, Emanuel Sommer, Chris Kolb, Juntae Kwon, Daniel Dold, David Rügamer,
• Abstract要約: オーバーパラメトリゼーションと先行処理を併用してBNN後部を再構成する方法について検討した。 冗長性は後部幾何学を根本的に再形成する3つの重要な現象をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 12.825948364196057
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian neural network (BNN) posteriors are often considered impractical for inference, as symmetries fragment them, non-identifiabilities inflate dimensionality, and weight-space priors are seen as meaningless. In this work, we study how overparametrization and priors together reshape BNN posteriors and derive implications allowing us to better understand their interplay. We show that redundancy introduces three key phenomena that fundamentally reshape the posterior geometry: balancedness, weight reallocation on equal-probability manifolds, and prior conformity. We validate our findings through extensive experiments with posterior sampling budgets that far exceed those of earlier works, and demonstrate how overparametrization induces structured, prior-aligned weight posterior distributions.
• Abstract（参考訳）: ベイズニューラルネットワーク(BNN)後部は、対称性がそれらを断片化し、非識別能力が次元性を減少させ、重み空間の先行は無意味と見なされるため、推論において実用的でないとみなされることが多い。 本研究は,BNN後部をオーバーパラメトリゼーションと先行化が組み合わさってどのようにしてBNN後部を形作り,それらの相互作用をよりよく理解できるように含意を導出するかを考察する。 冗長性は、平衡性、等確率多様体上の重み再配置、事前整合性という、後続幾何学を根本的に再構成する3つの重要な現象をもたらすことを示す。 本研究は, 従来の作業よりもはるかに多い後方サンプリング予算を用いた広範囲な実験により検証し, オーバーパラメトリゼーションが構造的, 予め整列した重量分布をいかに引き起こすかを示す。

関連論文リスト

• ANCRe: Adaptive Neural Connection Reassignment for Efficient Depth Scaling [57.91760520589592]
  ネットワークの深度を拡大することは、現代の基礎モデルの成功の背後にある中心的な要因である。 本稿では,ニューラルネットワークの奥行き,すなわち残差接続の既定メカニズムを再考する。 我々は、データから残余接続性をパラメータ化し、学習する原則的かつ軽量なフレームワークである、適応型ニューラルネットワーク再割り当て(ANCRe)を導入する。
  論文  参考訳（メタデータ） (2026-02-09T18:54:18Z)
• VIKING: Deep variational inference with stochastic projections [48.946143517489496]
  変分平均場近似は、現代の過度にパラメータ化されたディープニューラルネットワークと競合する傾向がある。 パラメータ空間の2つの独立線型部分空間を考える単純な変分族を提案する。 これにより、オーバーパラメトリゼーションを反映した、完全に相関した近似後部を構築することができる。
  論文  参考訳（メタデータ） (2025-10-27T15:38:35Z)
• Posterior Contraction for Sparse Neural Networks in Besov Spaces with Intrinsic Dimensionality [12.055886881947577]
  この研究は、スパースベイズニューラルネットワークが異方性ベソフ空間とその階層的構成に対して最適な後部収縮率を達成することを証明している。 これらの先行は, 真の関数の滑らか度が未知であっても, 後部を最適速度で収縮させることにより, レート適応を可能にすることを示す。
  論文  参考訳（メタデータ） (2025-06-23T21:29:40Z)
• Variational Inference Failures Under Model Symmetries: Permutation Invariant Posteriors for Bayesian Neural Networks [43.88179780450706]
  重み空間置換対称性が変分推論に与える影響について検討する。 置換不変変分後部を構築するための対称対称性機構を考案する。 本研究は, 対称性分布が真の後部と厳密に適合していること, 元のELBO目標を用いてトレーニングできること, を示す。
  論文  参考訳（メタデータ） (2024-08-10T09:06:34Z)
• A Symmetry-Aware Exploration of Bayesian Neural Network Posteriors [5.54475507578913]
  現代のディープニューラルネットワーク(DNN)の重みの分布は、非常に高次元性のため、顕著に複雑である。 本稿では,BNNの後部分布を大規模に調査し,その研究を現実の視覚タスクやアーキテクチャに拡張した。
  論文  参考訳（メタデータ） (2023-10-12T12:45:13Z)
• Joint Bayesian Inference of Graphical Structure and Parameters with a Single Generative Flow Network [59.79008107609297]
  本稿では,ベイジアンネットワークの構造上の結合後部を近似する手法を提案する。 サンプリングポリシが2フェーズプロセスに従う単一のGFlowNetを使用します。 パラメータは後部分布に含まれるため、これは局所確率モデルに対してより柔軟である。
  論文  参考訳（メタデータ） (2023-05-30T19:16:44Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• Wide Bayesian neural networks have a simple weight posterior: theory and accelerated sampling [48.94555574632823]
  再帰化は、ベイズニューラルネットワーク(BNN)の後部を、層幅が大きくなるにつれてKLがBNNに分岐する分布に変換する。 我々は,BNNを高速に混合するマルコフ連鎖モンテカルロ (MCMC) 後方サンプリングアルゴリズムを開発した。 完全接続ネットワークと残留ネットワークの双方の分離を伴わないため, 最大50倍の有効試料サイズを観測した。
  論文  参考訳（メタデータ） (2022-06-15T17:11:08Z)
• Bayesian neural network priors for edge-preserving inversion [3.2046720177804646]
  重み付きニューラルネットワークの出力に基づく事前分布のクラスを導入する。 ネットワーク幅が有限である場合でも,そのような先行する標本は不連続な性質が望ましいことを理論的に示す。
  論文  参考訳（メタデータ） (2021-12-20T16:39:05Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。