Fugu-MT 論文翻訳(概要): An Empirical Analysis of the Advantages of Finite- v.s. Infinite-Width Bayesian Neural Networks

論文の概要: An Empirical Analysis of the Advantages of Finite- v.s. Infinite-Width Bayesian Neural Networks

arxiv url: http://arxiv.org/abs/2211.09184v1
Date: Wed, 16 Nov 2022 20:07:55 GMT
ステータス: 処理完了
システム内更新日: 2022-11-18 15:24:44.287428
Title: An Empirical Analysis of the Advantages of Finite- v.s. Infinite-Width Bayesian Neural Networks
Title（参考訳）: 有限v.s.無限幅ベイズ型ニューラルネットワークの利点に関する実証的研究
Authors: Jiayu Yao, Yaniv Yacoby, Beau Coker, Weiwei Pan, Finale Doshi-Velez
Abstract要約: 実験により,有限幅BNNと無限幅BNNを比較し,その性能差について定量的,質的な説明を行う。モデルが不特定の場合には,BNNの性能を損なう可能性がある。このような場合、有限幅のBNNは、その周波数スペクトルの特性によって部分的に一般化され、モデルミスマッチの下で適応できることを示す。
参考スコア（独自算出の注目度）: 25.135652514472238
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Comparing Bayesian neural networks (BNNs) with different widths is challenging because, as the width increases, multiple model properties change simultaneously, and, inference in the finite-width case is intractable. In this work, we empirically compare finite- and infinite-width BNNs, and provide quantitative and qualitative explanations for their performance difference. We find that when the model is mis-specified, increasing width can hurt BNN performance. In these cases, we provide evidence that finite-width BNNs generalize better partially due to the properties of their frequency spectrum that allows them to adapt under model mismatch.
Abstract（参考訳）: 幅が大きくなるにつれて、複数のモデル特性が同時に変化し、有限幅の場合の推論が難しくなるため、ベイズニューラルネットワーク(BNN)と異なる幅の比較は困難である。本研究では,有限幅bnnと無限幅bnnを実験的に比較し,その性能差に対する定量的・質的説明を与える。モデルが不特定の場合には,BNNの性能を損なう可能性がある。このような場合、有限幅のBNNは、その周波数スペクトルの特性によって部分的に一般化され、モデルミスマッチの下で適応できることを示す。

関連論文リスト

Generalization of Graph Neural Networks is Robust to Model Mismatch [84.01980526069075]
グラフニューラルネットワーク(GNN)は、その一般化能力によってサポートされている様々なタスクにおいて、その効果を実証している。本稿では,多様体モデルから生成される幾何グラフで動作するGNNについて検討する。本稿では,そのようなモデルミスマッチの存在下でのGNN一般化の堅牢性を明らかにする。
論文参考訳（メタデータ） (2024-08-25T16:00:44Z)
Disentangling, Amplifying, and Debiasing: Learning Disentangled Representations for Fair Graph Neural Networks [22.5976413484192]
本稿では,新しいGNNフレームワークであるDAB-GNNを提案する。 Dab-GNNは、正確性と公正性の最適バランスを達成するという点で、最先端の10のライバルを著しく上回っている。
論文参考訳（メタデータ） (2024-08-23T07:14:56Z)
Robust Learning in Bayesian Parallel Branching Graph Neural Networks: The Narrow Width Limit [4.373803477995854]
ベイズ並列分岐グラフニューラルネットワーク(BPB-GNN)の幅制限について検討する。 BPB-GNNの幅がトレーニング例の数に比べて有意に小さい場合、各ブランチはより堅牢な学習を示す。本結果は,並列分岐ネットワークにおいて,新たに定義された狭帯域方式を特徴付けるものである。
論文参考訳（メタデータ） (2024-07-26T15:14:22Z)
Feature-Learning Networks Are Consistent Across Widths At Realistic Scales [72.27228085606147]
様々なアーキテクチャやデータセットにわたる特徴学習ニューラルネットワークのダイナミクスに対する幅の影響について検討する。トレーニングの初期、オンラインデータでトレーニングされた広範なニューラルネットワークは、損失曲線が同じであるだけでなく、トレーニング全体を通じてポイントワイドなテスト予測に一致している。しかし、より狭いネットワークのアンサンブルは、単一のワイドネットワークよりも性能が劣っている。
論文参考訳（メタデータ） (2023-05-28T17:09:32Z)
Posterior Regularized Bayesian Neural Network Incorporating Soft and Hard Knowledge Constraints [12.050265348673078]
本稿では,異なる種類の知識制約を組み込んだ後正規化ベイズニューラルネットワーク(PR-BNN)モデルを提案する。航空機着陸予測と太陽エネルギー出力予測のシミュレーション実験と2つのケーススタディにより,提案モデルの知識制約と性能改善が示された。
論文参考訳（メタデータ） (2022-10-16T18:58:50Z)
Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文参考訳（メタデータ） (2022-05-11T17:43:54Z)
EIGNN: Efficient Infinite-Depth Graph Neural Networks [51.97361378423152]
グラフニューラルネットワーク(GNN)は多くのアプリケーションでグラフ構造化データのモデリングに広く利用されている。この制限により、無限深度GNNモデルを提案し、これをEIGNN(Efficient Infinite-Depth Graph Neural Networks)と呼ぶ。 EIGNNは、最近のベースラインよりも長距離依存関係をキャプチャする能力が優れており、常に最先端のパフォーマンスを実現していることを示す。
論文参考訳（メタデータ） (2022-02-22T08:16:58Z)
Asymptotics of Wide Convolutional Neural Networks [18.198962344790377]
スキップ接続を有する広帯域CNNおよびネットワークのスケーリング法則について検討する。有限幅モデルと無限幅モデルのパフォーマンス差は,モデル幅に対して一定の速度で消失することがわかった。
論文参考訳（メタデータ） (2020-08-19T21:22:19Z)
Belief Propagation Neural Networks [103.97004780313105]
信念伝播ニューラルネットワーク(BPNN)を紹介する。 BPNNは因子グラフ上で動作し、信念伝播(BP)を一般化する BPNNはIsingモデル上で1.7倍高速に収束し、より厳密な境界を提供することを示す。挑戦的なモデルカウント問題に関して、BPNNは最先端の手作り手法の100倍の速さを推定する。
論文参考訳（メタデータ） (2020-07-01T07:39:51Z)
Exact posterior distributions of wide Bayesian neural networks [51.20413322972014]
正確なBNN後方収束は、前者のGP限界によって誘導されるものと(弱く)収束することを示す。実験的な検証のために、リジェクションサンプリングにより、小さなデータセット上で有限BNNから正確なサンプルを生成する方法を示す。
論文参考訳（メタデータ） (2020-06-18T13:57:04Z)
Compromise-free Bayesian neural networks [0.0]
我々は,全(非ガウスおよびマルチモーダル)ネットワークを後方で数値的にサンプリングし,ベイズ証拠の数値的な推定値を得る。 ReLU$アクティベーション関数を持つネットワークは、$tanh$関数を持つネットワークよりも一貫して高いエビデンスを持つ。
論文参考訳（メタデータ） (2020-04-25T19:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。