論文の概要: Bayesian neural network unit priors and generalized Weibull-tail property

• arxiv url: http://arxiv.org/abs/2110.02885v1
• Date: Wed, 6 Oct 2021 16:12:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-07 19:05:31.028438
• Title: Bayesian neural network unit priors and generalized Weibull-tail property
• Title（参考訳）: ベイズニューラルネットワークユニットの先行とワイブルテール特性の一般化
• Authors: Mariia Vladimirova, Julyan Arbel, St\'ephane Girard
• Abstract要約: 最近の研究は、有限ベイズニューラルネットワークが内部表現を柔軟に適応するため、無限のニューラルネットワークよりも優れていることを示唆している。 我々の主な成果は、隠れたユニットの尾の正確な記述であり、ユニットの先行がより深くなったことを示している。 この発見は、有限ベイズニューラルネットワークの隠れたユニットの挙動に光を当てる。
• 参考スコア（独自算出の注目度）: 2.578242050187029
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The connection between Bayesian neural networks and Gaussian processes gained a lot of attention in the last few years. Hidden units are proven to follow a Gaussian process limit when the layer width tends to infinity. Recent work has suggested that finite Bayesian neural networks may outperform their infinite counterparts because they adapt their internal representations flexibly. To establish solid ground for future research on finite-width neural networks, our goal is to study the prior induced on hidden units. Our main result is an accurate description of hidden units tails which shows that unit priors become heavier-tailed going deeper, thanks to the introduced notion of generalized Weibull-tail. This finding sheds light on the behavior of hidden units of finite Bayesian neural networks.
• Abstract（参考訳）: ベイジアンニューラルネットワークとガウス過程の関連性は、ここ数年で大きな注目を集めた。 隠れた単位は、層幅が無限になる傾向があるときにガウス過程の限界に従うことが証明される。 最近の研究は、有限ベイズニューラルネットワークが内部表現を柔軟に適応するため、無限のニューラルネットワークよりも優れていることを示唆している。 有限幅ニューラルネットワークの今後の研究の基盤を確立するため,本研究の目的は隠れ単位に対する先行研究である。 我々の主な結果は隠れた単位尾の正確な説明であり、一般化されたweibull-tailの概念のおかげで、単位の先行部がより重い尾部になることを示している。 この発見は、有限ベイズニューラルネットワークの隠れたユニットの挙動に光を当てる。

関連論文リスト

• Sparsity-depth Tradeoff in Infinitely Wide Deep Neural Networks [22.083873334272027]
  我々は,スペーサーネットワークが,様々なデータセットの浅い深度で非スパースネットワークより優れていることを観察した。 カーネルリッジ回帰の一般化誤差に関する既存の理論を拡張した。
  論文  参考訳（メタデータ） (2023-05-17T20:09:35Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• Dependence between Bayesian neural network units [0.0]
  実用的有限幅ベイズニューラルネットワークにおける隠れ単位依存特性に光を当てることを目的としている。 理論的結果に加えて,隠れた単位依存特性に対する深さと幅の影響を実験的に評価した。
  論文  参考訳（メタデータ） (2021-11-29T09:32:09Z)
• Depth induces scale-averaging in overparameterized linear Bayesian neural networks [20.864082353441685]
  ディープベイズニューラルネットワークにおける推論は無限幅極限においてのみ完全に理解される。 ここでは,有限深度線形ベイズニューラルネットワークをガウス過程予測器のデータ依存スケール混合として,出力チャネルにわたって解釈する。
  論文  参考訳（メタデータ） (2021-11-23T15:48:47Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• Asymptotics of representation learning in finite Bayesian neural networks [19.809493085603673]
  有限ネットワークの学習された隠蔽層表現は無限ネットワークの固定表現と異なることを示す。 その結果,ベイジアンニューラルネットワークがどの特徴を表現できるかを解明し始めた。
  論文  参考訳（メタデータ） (2021-06-01T17:30:30Z)
• Exact priors of finite neural networks [20.864082353441685]
  最近の研究は、有限ベイズネットワークが無限のそれより優れていることを示唆している。 以上の結果から,先行する有限ネットワーク事前記述を,そのテール減衰と大幅挙動の観点から統一する。
  論文  参考訳（メタデータ） (2021-04-23T17:31:42Z)
• Bayesian Deep Ensembles via the Neural Tangent Kernel [49.569912265882124]
  我々は、ニューラルタンジェントカーネル(NTK)のレンズを通して、ディープアンサンブルとガウス過程(GP)の関連を探索する。 そこで本研究では,各アンサンブルメンバーに対して,計算可能でランダム化され,訓練不能な関数を追加することで,標準的なディープアンサンブルトレーニングに簡単な修正を加える。 我々はベイズ深部アンサンブルが無限幅極限における標準深部アンサンブルよりも保守的な予測を行うことを証明した。
  論文  参考訳（メタデータ） (2020-07-11T22:10:52Z)
• Exact posterior distributions of wide Bayesian neural networks [51.20413322972014]
  正確なBNN後方収束は、前者のGP限界によって誘導されるものと(弱く)収束することを示す。 実験的な検証のために、リジェクションサンプリングにより、小さなデータセット上で有限BNNから正確なサンプルを生成する方法を示す。
  論文  参考訳（メタデータ） (2020-06-18T13:57:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。