Fugu-MT 論文翻訳(概要): On Margins and Derandomisation in PAC-Bayes

論文の概要: On Margins and Derandomisation in PAC-Bayes

arxiv url: http://arxiv.org/abs/2107.03955v1
Date: Thu, 8 Jul 2021 16:30:08 GMT
ステータス: 処理完了
システム内更新日: 2021-07-09 13:20:44.329192
Title: On Margins and Derandomisation in PAC-Bayes
Title（参考訳）: PACベイにおけるマルジンと非ランダム化について
Authors: Felix Biggs, Benjamin Guedj
Abstract要約: 我々は, PAC-Bayesian 一般化境界をデランドマイズするフレームワークを開発し, 学習データに対するマージンを達成した。我々はこれらのツールを線形予測、異常なエルフ活性化機能を持つ単層ニューラルネットワーク、深いReLUネットワークに適用し、新しい境界を求める。
参考スコア（独自算出の注目度）: 7.1577508803778045
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: We develop a framework for derandomising PAC-Bayesian generalisation bounds achieving a margin on training data, relating this process to the concentration-of-measure phenomenon. We apply these tools to linear prediction, single-hidden-layer neural networks with an unusual erf activation function, and deep ReLU networks, obtaining new bounds. The approach is also extended to the idea of "partial-derandomisation" where only some layers are derandomised and the others are stochastic. This allows empirical evaluation of single-hidden-layer networks on more complex datasets, and helps bridge the gap between generalisation bounds for non-stochastic deep networks and those for randomised deep networks as generally examined in PAC-Bayes.
Abstract（参考訳）: 本研究では, PAC-Bayesian 一般化境界をデランドマイズする枠組みを開発し, トレーニングデータに対するマージンを達成し, この過程を測定の集中現象と関連づける。これらのツールを線形予測、異常なerf活性化関数を持つ単層ニューラルネットワーク、深層reluネットワークに適用し、新たな境界を得る。このアプローチは、一部の層のみが非ランダム化され、他の層が確率的である「部分的デランドミゼーション」という考え方にも拡張されている。これにより、より複雑なデータセット上の単層ネットワークの実証的評価が可能になり、非確率的ディープネットワークの一般化境界と、一般にpac-bayesで検討されたランダム化されたディープネットワークとのギャップを埋めるのに役立つ。

関連論文リスト

On the Convergence of Locally Adaptive and Scalable Diffusion-Based Sampling Methods for Deep Bayesian Neural Network Posteriors [2.3265565167163906]
ベイズニューラルネットワークは、ディープニューラルネットワークにおける不確実性をモデル化するための有望なアプローチである。ニューラルネットワークの後部分布からサンプルを生成することは大きな課題ですこの方向の進歩の1つは、モンテカルロ・マルコフ連鎖サンプリングアルゴリズムへの適応的なステップサイズの導入である。本稿では,これらの手法が,ステップサイズやバッチサイズが小さくても,サンプリングした分布にかなりの偏りがあることを実証する。
論文参考訳（メタデータ） (2024-03-13T15:21:14Z)
Inferring Dynamic Networks from Marginals with Iterative Proportional Fitting [57.487936697747024]
実世界のデータ制約から生じる一般的なネットワーク推論問題は、その時間集約された隣接行列から動的ネットワークを推論する方法である。本稿では,ネットワーク構造に対する最小限の変更の下でIPFの収束を保証するアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-02-28T20:24:56Z)
Joint Bayesian Inference of Graphical Structure and Parameters with a Single Generative Flow Network [59.79008107609297]
本稿では,ベイジアンネットワークの構造上の結合後部を近似する手法を提案する。サンプリングポリシが2フェーズプロセスに従う単一のGFlowNetを使用します。パラメータは後部分布に含まれるため、これは局所確率モデルに対してより柔軟である。
論文参考訳（メタデータ） (2023-05-30T19:16:44Z)
Optimisation & Generalisation in Networks of Neurons [8.078758339149822]
この論文の目的は、人工ニューラルネットワークにおける学習の最適化と一般化理論の基礎を開発することである。アーキテクチャに依存した一階最適化アルゴリズムを導出するための新しい理論的枠組みを提案する。ネットワークと個々のネットワークのアンサンブルの間には,新たな対応関係が提案されている。
論文参考訳（メタデータ） (2022-10-18T18:58:40Z)
Layer Ensembles [95.42181254494287]
本稿では,ネットワークの各層に対する独立なカテゴリ分布の集合を考慮した不確実性推定手法を提案する。その結果,メモリと実行時間が少なくなるモデルが得られた。
論文参考訳（メタデータ） (2022-10-10T17:52:47Z)
Toward Certified Robustness Against Real-World Distribution Shifts [65.66374339500025]
我々は、データから摂動を学ぶために生成モデルを訓練し、学習したモデルの出力に関して仕様を定義する。この設定から生じるユニークな挑戦は、既存の検証者がシグモイドの活性化を厳密に近似できないことである。本稿では,古典的な反例誘導的抽象的洗練の概念を活用するシグモイドアクティベーションを扱うための一般的なメタアルゴリズムを提案する。
論文参考訳（メタデータ） (2022-06-08T04:09:13Z)
On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文参考訳（メタデータ） (2022-05-18T16:57:10Z)
Mixtures of Laplace Approximations for Improved Post-Hoc Uncertainty in Deep Learning [24.3370326359959]
独立に訓練された深層ニューラルネットワークのラプラス近似の重み付け和からなるガウス混合モデル後部モデルを用いて予測することを提案する。我々は,本手法がトレーニングデータから「遠方」に過信を緩和し,標準不確実性定量化ベンチマークにおける最先端のベースラインを実証的に比較することを理論的に検証した。
論文参考訳（メタデータ） (2021-11-05T15:52:48Z)
Wide stochastic networks: Gaussian limit and PAC-Bayesian training [21.979820411421827]
極端に大きなネットワークは、訓練前後のガウス過程によって近似されることを示す。出力分布の明示的な評価は、境界を直接最適化するPAC-ベイズ訓練手順を可能にする。大規模だが有限幅のネットワークでは、このトレーニング手法が標準的なPAC-ベイジアン法より優れていることを実証的に示す。
論文参考訳（メタデータ） (2021-06-17T20:25:38Z)
Network Inference and Influence Maximization from Samples [20.916163957596577]
本研究では,これらの種子の拡散を最大化するために,ソーシャルネットワーク上で少数の種子ノードを選択するタスクについて検討する。我々は,データから拡散パラメータとネットワーク構造を学習するネットワーク推論問題に対して,カスケードの新しい解を提供する。我々のIMSアルゴリズムは, 拡散パラメータの学習が困難な場合でも, 一定の近似比を許容することにより, 学習と最適化のアプローチを強化する。
論文参考訳（メタデータ） (2021-06-07T08:06:36Z)
MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。