論文の概要: Asymptotics of representation learning in finite Bayesian neural networks

• arxiv url: http://arxiv.org/abs/2106.00651v1
• Date: Tue, 1 Jun 2021 17:30:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-02 14:30:13.796396
• Title: Asymptotics of representation learning in finite Bayesian neural networks
• Title（参考訳）: 有限ベイズニューラルネットワークにおける表現学習の漸近性
• Authors: Jacob A. Zavatone-Veth and Abdulkadir Canatar and Cengiz Pehlevan
• Abstract要約: 有限ネットワークの学習された隠蔽層表現は無限ネットワークの固定表現と異なることを示す。 その結果,ベイジアンニューラルネットワークがどの特徴を表現できるかを解明し始めた。
• 参考スコア（独自算出の注目度）: 19.809493085603673
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent works have suggested that finite Bayesian neural networks may outperform their infinite cousins because finite networks can flexibly adapt their internal representations. However, our theoretical understanding of how the learned hidden layer representations of finite networks differ from the fixed representations of infinite networks remains incomplete. Perturbative finite-width corrections to the network prior and posterior have been studied, but the asymptotics of learned features have not been fully characterized. Here, we argue that the leading finite-width corrections to the average feature kernels for any Bayesian network with linear readout and quadratic cost have a largely universal form. We illustrate this explicitly for two classes of fully connected networks: deep linear networks and networks with a single nonlinear hidden layer. Our results begin to elucidate which features of data wide Bayesian neural networks learn to represent.
• Abstract（参考訳）: 近年の研究では、有限ベイズニューラルネットワークは、有限ネットワークが内部表現を柔軟に適応できるため、無限の従兄弟より優れていることが示唆されている。 しかし、有限ネットワークの学習された隠れ層表現が無限ネットワークの固定表現とどのように異なるかに関する理論的理解は未完のままである。 ネットワーク前後の摂動的有限幅補正について検討するが, 学習特徴の漸近性は十分に評価されていない。 ここで、線形読み出しと二次コストを持つ任意のベイズネットワークの平均的特徴核に対する主有限幅補正は、概ね普遍的な形式であると主張する。 完全連結ネットワークの2つのクラス – 深い線形ネットワークと単一の非線形隠蔽層を持つネットワーク – に対して,これを明示的に説明する。 この結果から,データワイドベイズ型ニューラルネットワークの表現学習における特徴を解明する。

関連論文リスト

• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Local Kernel Renormalization as a mechanism for feature learning in overparametrized Convolutional Neural Networks [0.0]
  実験的な証拠は、無限幅限界における完全連結ニューラルネットワークが最終的に有限幅限界よりも優れていることを示している。 畳み込み層を持つ最先端アーキテクチャは、有限幅構造において最適な性能を達成する。 有限幅FCネットワークの一般化性能は,ガウス事前選択に適した無限幅ネットワークで得られることを示す。
  論文  参考訳（メタデータ） (2023-07-21T17:22:04Z)
• Feature-Learning Networks Are Consistent Across Widths At Realistic Scales [72.27228085606147]
  様々なアーキテクチャやデータセットにわたる特徴学習ニューラルネットワークのダイナミクスに対する幅の影響について検討する。 トレーニングの初期、オンラインデータでトレーニングされた広範なニューラルネットワークは、損失曲線が同じであるだけでなく、トレーニング全体を通じてポイントワイドなテスト予測に一致している。 しかし、より狭いネットワークのアンサンブルは、単一のワイドネットワークよりも性能が劣っている。
  論文  参考訳（メタデータ） (2023-05-28T17:09:32Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• Globally Gated Deep Linear Networks [3.04585143845864]
  我々はGGDLN(Globally Gated Deep Linear Networks)を導入する。 有限幅熱力学極限におけるこれらのネットワークの一般化特性の正確な方程式を導出する。 我々の研究は、有限幅の非線形ネットワークの族における学習に関する最初の正確な理論解である。
  論文  参考訳（メタデータ） (2022-10-31T16:21:56Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• Exact priors of finite neural networks [20.864082353441685]
  最近の研究は、有限ベイズネットワークが無限のそれより優れていることを示唆している。 以上の結果から,先行する有限ネットワーク事前記述を,そのテール減衰と大幅挙動の観点から統一する。
  論文  参考訳（メタデータ） (2021-04-23T17:31:42Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。