論文の概要: Structured Weight Priors for Convolutional Neural Networks
- arxiv url: http://arxiv.org/abs/2007.14235v1
- Date: Sun, 12 Jul 2020 13:05:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-11 06:06:13.567374
- Title: Structured Weight Priors for Convolutional Neural Networks
- Title（参考訳）: 畳み込みニューラルネットワークのための構造的重み付け
- Authors: Tim Pearce, Andrew Y.K. Foong, Alexandra Brintrup
- Abstract要約: 本稿では,重み前への構造付加の利点について考察する。
まず、畳み込みNNの第1層フィルタについて検討し、ランダムなガボルフィルタに基づいて事前設計を行う。
実験結果から、これらの構造的な重み付けは、画像データに対してより意味のある機能的先行をもたらすことが示唆された。
- 参考スコア（独自算出の注目度）: 74.1348917619643
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Selection of an architectural prior well suited to a task (e.g. convolutions
for image data) is crucial to the success of deep neural networks (NNs).
Conversely, the weight priors within these architectures are typically left
vague, e.g.~independent Gaussian distributions, which has led to debate over
the utility of Bayesian deep learning. This paper explores the benefits of
adding structure to weight priors. It initially considers first-layer filters
of a convolutional NN, designing a prior based on random Gabor filters. Second,
it considers adding structure to the prior of final-layer weights by estimating
how each hidden feature relates to each class. Empirical results suggest that
these structured weight priors lead to more meaningful functional priors for
image data. This contributes to the ongoing discussion on the importance of
weight priors.
- Abstract（参考訳）: タスク(例えば画像データの畳み込み)に適したアーキテクチャの事前選択は、ディープニューラルネットワーク(NN)の成功に不可欠である。
逆に、これらのアーキテクチャ内の重み付けの優先順位は、例えば--独立ガウス分布のように、一般に曖昧に残され、ベイズ深層学習の有用性に関する議論に繋がる。
本稿では,重み前への構造付加の利点について考察する。
当初は畳み込みnnの第一層フィルタを考慮し、ランダムガバーフィルタに基づく事前設計を行った。
第2に,各隠れた特徴が各クラスにどのように関連しているかを推定することで,最終層重みの前の構造を追加することを検討する。
実験の結果、これらの構造的重み優先は画像データのより有意義な機能的優先につながることが示唆された。
これは、重み付け事前の重要性に関する議論に寄与する。
関連論文リスト
- Unrolled denoising networks provably learn optimal Bayesian inference [54.79172096306631]
我々は、近似メッセージパッシング(AMP)のアンロールに基づくニューラルネットワークの最初の厳密な学習保証を証明した。
圧縮センシングでは、製品から引き出されたデータに基づいてトレーニングを行うと、ネットワークの層がベイズAMPで使用されるのと同じデノイザーに収束することを示す。
論文 参考訳（メタデータ） (2024-09-19T17:56:16Z) - Understanding the Covariance Structure of Convolutional Filters [86.0964031294896]
最近では、ConvMixerやConvNeXtのようなViTにインスパイアされた畳み込みネットワークは、注目すべき構造を持つ大カーネル深度畳み込みを使用している。
まず,このような学習フィルタの共分散行列が高度に構造化されていることを観測し,より大規模なネットワークを効果的に初期化するために,小さなネットワークから計算した共分散が用いられることを発見した。
論文 参考訳（メタデータ） (2022-10-07T15:59:13Z) - Robust Learning of Parsimonious Deep Neural Networks [0.0]
本稿では,ニューラルネットワークにおける無関係構造を識別・排除できる同時学習および刈り取りアルゴリズムを提案する。
最適選択に欠かせないパラメータに対して,新しい超優先度分布を導出する。
我々は,提案アルゴリズムをMNISTデータセット上で評価し,完全連結型および畳み込み型LeNetアーキテクチャを用いた。
論文 参考訳（メタデータ） (2022-05-10T03:38:55Z) - Precise characterization of the prior predictive distribution of deep
ReLU networks [45.46732383818331]
ガウス重み付き有限幅ReLUネットワークの事前予測分布を正確に推定する。
この結果は,例えば,ネットワークの重みについて,深さと幅にインフォームドされた事前の予測分散を制御するなど,事前設計に関する貴重なガイダンスを提供する。
論文 参考訳（メタデータ） (2021-06-11T21:21:52Z) - Bayesian Neural Network Priors Revisited [29.949163519715952]
SGDを用いて訓練された異なるネットワークにおけるニューラルネットワーク重みの要約統計について検討する。
我々は、フルコネクテッドネットワーク(FCNN)は重尾重み分布を示し、畳み込みニューラルネットワーク(CNN)重みは強い空間相関を示すことを発見した。
論文 参考訳（メタデータ） (2021-02-12T15:18:06Z) - Dependency Aware Filter Pruning [74.69495455411987]
重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。
以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。
所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
論文 参考訳（メタデータ） (2020-05-06T07:41:22Z) - Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。
Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文 参考訳（メタデータ） (2020-04-20T18:12:56Z) - Hierarchical Gaussian Process Priors for Bayesian Neural Network Weights [16.538973310830414]
望ましい事前分類は、重みをコンパクトに表現し、重み間の相関を捉え、事前知識を含ませることである。
i) 相関重み構造を柔軟にエンコード可能な単位埋め込みに基づくネットワーク重みのプロセスベース階層モデルと,(ii) 関数空間の規則化に便利な入力依存型の重み前のモデルを提案する。
これらのモデルは、分布外データに基づいて望ましいテスト時間不確実性推定を提供し、カーネルを用いたニューラルネットワークの帰納バイアスをモデル化する事例を示し、アクティブラーニングベンチマークで競合予測性能を示す。
論文 参考訳（メタデータ） (2020-02-10T07:19:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。