Fugu-MT 論文翻訳(概要): Wide stochastic networks: Gaussian limit and PAC-Bayesian training

論文の概要: Wide stochastic networks: Gaussian limit and PAC-Bayesian training

arxiv url: http://arxiv.org/abs/2106.09798v1
Date: Thu, 17 Jun 2021 20:25:38 GMT
ステータス: 処理完了
システム内更新日: 2021-06-22 02:49:32.383261
Title: Wide stochastic networks: Gaussian limit and PAC-Bayesian training
Title（参考訳）: 広帯域確率ネットワーク:ガウス極限とPAC-ベイズ訓練
Authors: Eugenio Clerico, George Deligiannidis, Arnaud Doucet
Abstract要約: 極端に大きなネットワークは、訓練前後のガウス過程によって近似されることを示す。出力分布の明示的な評価は、境界を直接最適化するPAC-ベイズ訓練手順を可能にする。大規模だが有限幅のネットワークでは、このトレーニング手法が標準的なPAC-ベイジアン法より優れていることを実証的に示す。
参考スコア（独自算出の注目度）: 21.979820411421827
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The limit of infinite width allows for substantial simplifications in the analytical study of overparameterized neural networks. With a suitable random initialization, an extremely large network is well approximated by a Gaussian process, both before and during training. In the present work, we establish a similar result for a simple stochastic architecture whose parameters are random variables. The explicit evaluation of the output distribution allows for a PAC-Bayesian training procedure that directly optimizes the generalization bound. For a large but finite-width network, we show empirically on MNIST that this training approach can outperform standard PAC-Bayesian methods.
Abstract（参考訳）: 無限幅の限界は、過パラメータ化されたニューラルネットワークの分析研究においてかなりの単純化を可能にする。適切なランダム初期化により、非常に大きなネットワークは、訓練前後のガウス過程によってよく近似される。本研究では,パラメータが確率変数である単純な確率的アーキテクチャに対して,同様の結果を与える。出力分布の明示的な評価は、一般化境界を直接最適化するPAC-ベイズ訓練手順を可能にする。大規模だが有限幅のネットワークでは、このトレーニング手法が標準的なPAC-ベイズ法より優れていることを実証的に示す。

関連論文リスト

A Bayesian Take on Gaussian Process Networks [1.7188280334580197]
この研究はモンテカルロ法とマルコフ・チェイン・モンテカルロ法を実装し、ネットワーク構造の後方分布からサンプリングする。提案手法は,ネットワークのグラフィカルな構造を復元する上で,最先端のアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-06-20T08:38:31Z)
Joint Bayesian Inference of Graphical Structure and Parameters with a Single Generative Flow Network [59.79008107609297]
本稿では,ベイジアンネットワークの構造上の結合後部を近似する手法を提案する。サンプリングポリシが2フェーズプロセスに従う単一のGFlowNetを使用します。パラメータは後部分布に含まれるため、これは局所確率モデルに対してより柔軟である。
論文参考訳（メタデータ） (2023-05-30T19:16:44Z)
Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior: From Theory to Practice [54.03076395748459]
メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。 PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
論文参考訳（メタデータ） (2022-11-14T08:51:04Z)
A simple approach for quantizing neural networks [7.056222499095849]
完全トレーニングニューラルネットワークの重みを定量化する新しい手法を提案する。単純な決定論的事前処理のステップにより、メモリレススカラー量子化によってネットワーク層を定量化できます。提案手法は, ディープ・ネットワークを単一層に連続的に適用することで, 容易に定量化することができる。
論文参考訳（メタデータ） (2022-09-07T22:36:56Z)
Demystify Optimization and Generalization of Over-parameterized PAC-Bayesian Learning [20.295960197612743]
PAC-Bayesianは、後部分布における仮説の重み付け平均としてトレーニングエラーを表現できる分析フレームワークである。 PAC-Bayes学習を適用すると、収束結果がカーネルリッジ回帰の解に一致することを示す。我々はさらに、非確率的ニューラルネットワークに対するラデマッハ複雑性に基づくバウンダリを改良した、均一なPAC-ベイズ一般化バウンダリを特徴付ける。
論文参考訳（メタデータ） (2022-02-04T03:49:11Z)
A General Framework for the Practical Disintegration of PAC-Bayesian Bounds [2.516393111664279]
我々は、分解された境界を与えるために原性を持つ新しいPAC-ベイズ一般化境界を導入する。我々の境界は容易に最適化でき、学習アルゴリズムの設計に使うことができる。
論文参考訳（メタデータ） (2021-02-17T09:36:46Z)
Attentive Gaussian processes for probabilistic time-series generation [4.94950858749529]
本稿では,ガウス過程の回帰と組み合わせて実数値列を生成する,計算効率のよいアテンションベースネットワークを提案する。我々は,GPがフルバッチを用いて訓練されている間,ネットワークのミニバッチトレーニングを可能にするブロックワイズトレーニングアルゴリズムを開発した。アルゴリズムは収束することが証明され、より良くなくても、見いだされた解の品質に匹敵することを示す。
論文参考訳（メタデータ） (2021-02-10T01:19:15Z)
Pathwise Conditioning of Gaussian Processes [72.61885354624604]
ガウス過程後部をシミュレーションするための従来のアプローチでは、有限個の入力位置のプロセス値の限界分布からサンプルを抽出する。この分布中心の特徴づけは、所望のランダムベクトルのサイズで3次スケールする生成戦略をもたらす。条件付けのこのパスワイズ解釈が、ガウス過程の後部を効率的にサンプリングするのに役立てる近似の一般族をいかに生み出すかを示す。
論文参考訳（メタデータ） (2020-11-08T17:09:37Z)
Deep Shells: Unsupervised Shape Correspondence with Optimal Transport [52.646396621449]
本稿では,3次元形状対応のための教師なし学習手法を提案する。提案手法は,複数のデータセット上での最先端技術よりも大幅に改善されていることを示す。
論文参考訳（メタデータ） (2020-10-28T22:24:07Z)
AIN: Fast and Accurate Sequence Labeling with Approximate Inference Network [75.44925576268052]
線形鎖条件ランダム場(CRF)モデルは最も広く使われているニューラルネットワークラベリング手法の1つである。厳密な確率的推論アルゴリズムは典型的にはCRFモデルの訓練と予測段階に適用される。 CRFモデルに対して並列化可能な近似変分推論アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-09-17T12:18:43Z)
Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。