論文の概要: A Bayesian Approach to Invariant Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2107.09301v1
- Date: Tue, 20 Jul 2021 07:33:58 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-21 15:07:50.218019
- Title: A Bayesian Approach to Invariant Deep Neural Networks
- Title(参考訳): 不変深層ニューラルネットワークへのベイズ的アプローチ
- Authors: Nikolaos Mourdoukoutas, Marco Federici, Georges Pantalos, Mark van der
Wilk and Vincent Fortuin
- Abstract要約: 我々のモデルは、特定の不変量を含むデータセットでトレーニングされた場合、他の不変でないアーキテクチャよりも優れていることを示す。
データ拡張が行われない場合も同様である。
- 参考スコア(独自算出の注目度): 14.807284992678762
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a novel Bayesian neural network architecture that can learn
invariances from data alone by inferring a posterior distribution over
different weight-sharing schemes. We show that our model outperforms other
non-invariant architectures, when trained on datasets that contain specific
invariances. The same holds true when no data augmentation is performed.
- Abstract(参考訳): 本稿では,異なる重み共有スキーム上の後方分布を推定することにより,データのみから不変性を学習できるベイズ型ニューラルネットワークアーキテクチャを提案する。
モデルは、特定の不変性を含むデータセットでトレーニングされた場合、他の非不変アーキテクチャよりも優れています。
データ拡張が行われない場合も同様である。
関連論文リスト
- Improved Generalization of Weight Space Networks via Augmentations [53.87011906358727]
深度重み空間(DWS)における学習は新たな研究方向であり、2次元および3次元神経場(INRs, NeRFs)への応用
我々は、この過度な適合の理由を実証的に分析し、主要な理由は、DWSデータセットの多様性の欠如であることがわかった。
そこで本研究では,重み空間におけるデータ拡張戦略について検討し,重み空間に適応したMixUp法を提案する。
論文 参考訳(メタデータ) (2024-02-06T15:34:44Z) - Unveiling Invariances via Neural Network Pruning [44.47186380630998]
不変性は、データの基本となるセマンティクスを変更しない変換を記述する。
現代のネットワークは、よく知られた不変性を扱うために手作りされている。
本研究では,データ依存の不変性を抽出する新しいネットワークアーキテクチャの学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-15T05:38:33Z) - Set-based Neural Network Encoding Without Weight Tying [91.37161634310819]
本稿では,ネットワーク特性予測のためのニューラルネットワーク重み符号化手法を提案する。
我々のアプローチは、混合アーキテクチャのモデル動物園でニューラルネットワークを符号化することができる。
ニューラルネットワークのプロパティ予測には,クロスデータセットとクロスアーキテクチャという,2つの新しいタスクを導入する。
論文 参考訳(メタデータ) (2023-05-26T04:34:28Z) - Federated Variational Inference Methods for Structured Latent Variable
Models [1.0312968200748118]
フェデレートされた学習方法は、データが元の場所を離れることなく、分散データソースをまたいだモデルトレーニングを可能にする。
本稿では,ベイズ機械学習において広く用いられている構造的変分推論に基づく汎用的でエレガントな解を提案する。
また、標準FedAvgアルゴリズムに類似した通信効率のよい変種も提供する。
論文 参考訳(メタデータ) (2023-02-07T08:35:04Z) - The Lie Derivative for Measuring Learned Equivariance [84.29366874540217]
我々は、CNN、トランスフォーマー、ミキサーアーキテクチャにまたがる数百の事前訓練されたモデルの同値性について検討する。
その結果,不等式違反の多くは,不等式などのユビキタスネットワーク層における空間エイリアスに関連付けられることがわかった。
例えば、トランスはトレーニング後の畳み込みニューラルネットワークよりも同種である。
論文 参考訳(メタデータ) (2022-10-06T15:20:55Z) - Variational Neural Networks [88.24021148516319]
本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。
VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。
不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
論文 参考訳(メタデータ) (2022-07-04T15:41:02Z) - Equivariance versus Augmentation for Spherical Images [0.7388859384645262]
球面画像に適用した畳み込みニューラルネットワーク(CNN)における回転同値の役割を解析する。
我々は、S2CNNとして知られるグループ同変ネットワークと、データ増大量で訓練された標準非同変CNNの性能を比較した。
論文 参考訳(メタデータ) (2022-02-08T16:49:30Z) - Kalman Bayesian Neural Networks for Closed-form Online Learning [5.220940151628734]
閉形式ベイズ推論によるBNN学習のための新しい手法を提案する。
出力の予測分布の計算と重み分布の更新をベイズフィルタおよび平滑化問題として扱う。
これにより、勾配降下のないシーケンシャル/オンライン方式でネットワークパラメータをトレーニングするためのクローズドフォーム表現が可能になる。
論文 参考訳(メタデータ) (2021-10-03T07:29:57Z) - Learning Invariances in Neural Networks [51.20867785006147]
ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。
画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
論文 参考訳(メタデータ) (2020-10-22T17:18:48Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳(メタデータ) (2020-03-10T03:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。