論文の概要: Scale generalisation properties of extended scale-covariant and scale-invariant Gaussian derivative networks on image datasets with spatial scaling variations
- arxiv url: http://arxiv.org/abs/2409.11140v1
- Date: Tue, 17 Sep 2024 12:51:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-18 16:45:13.813216
- Title: Scale generalisation properties of extended scale-covariant and scale-invariant Gaussian derivative networks on image datasets with spatial scaling variations
- Title（参考訳）: 空間的スケーリング変動を有する画像データセット上の拡張スケール共変およびスケール不変ガウス微分ネットワークのスケール一般化特性
- Authors: Andrzej Perzanowski, Tony Lindeberg,
- Abstract要約: 本稿では,スケール共変およびスケール不変ガウス微分ネットワークのスケール一般化特性を詳細に解析する。
ガンマデリバティブネットワークは、Fashion-MNISTとCIFAR-10データセットの新たな再スケールバージョンで評価される。
- 参考スコア（独自算出の注目度）: 0.46040036610482665
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents an in-depth analysis of the scale generalisation properties of the scale-covariant and scale-invariant Gaussian derivative networks, complemented with both conceptual and algorithmic extensions. For this purpose, Gaussian derivative networks are evaluated on new rescaled versions of the Fashion-MNIST and the CIFAR-10 datasets, with spatial scaling variations over a factor of 4 in the testing data, that are not present in the training data. Additionally, evaluations on the previously existing STIR datasets show that the Gaussian derivative networks achieve better scale generalisation than previously reported for these datasets for other types of deep networks. We first experimentally demonstrate that the Gaussian derivative networks have quite good scale generalisation properties on the new datasets, and that average pooling of feature responses over scales may sometimes also lead to better results than the previously used approach of max pooling over scales. Then, we demonstrate that using a spatial max pooling mechanism after the final layer enables localisation of non-centred objects in image domain, with maintained scale generalisation properties. We also show that regularisation during training, by applying dropout across the scale channels, referred to as scale-channel dropout, improves both the performance and the scale generalisation. In additional ablation studies, we demonstrate that discretisations of Gaussian derivative networks, based on the discrete analogue of the Gaussian kernel in combination with central difference operators, perform best or among the best, compared to a set of other discrete approximations of the Gaussian derivative kernels. Finally, by visualising the activation maps and the learned receptive fields, we demonstrate that the Gaussian derivative networks have very good explainability properties.
- Abstract（参考訳）: 本稿では,スケール共変およびスケール不変ガウス微分ネットワークのスケール一般化特性について,概念的およびアルゴリズム的拡張を補完した詳細な解析を行った。
この目的のために、ガウス微分ネットワークはFashion-MNISTとCIFAR-10データセットの新たな再スケールバージョンで評価され、トレーニングデータには存在しないテストデータの4倍の空間的スケーリングのばらつきがある。
さらに、既存のSTIRデータセットの評価では、ガウス微分ネットワークは、他のディープネットワークのデータセットに対して以前報告されたよりも、より優れたスケールの一般化を実現している。
まず、ガウス微分ネットワークは、新しいデータセット上で非常に優れたスケールの一般化特性を持ち、スケール上の特徴応答の平均プールは、スケール上の最大プールのアプローチよりも良い結果をもたらす可能性があることを実験的に実証した。
そして,最終層の後における空間最大プーリング機構を用いることで,画像領域における非中心オブジェクトの局所化が可能であり,スケールの一般化特性が維持可能であることを示す。
また、トレーニング中の規則化は、スケールチャネルドロップアウトと呼ばれるスケールチャネルをまたいだドロップアウトを適用することで、パフォーマンスとスケールの一般化の両方を改善することも示している。
さらなるアブレーション研究では、ガウス微分核の離散的類似に基づくガウス微分ネットワークの判別が、ガウス微分核の他の離散的近似の集合と比較すると、ガウス微分作用素と組み合わせて、最も良いか最も良いかを示す。
最後に、アクティベーションマップと学習された受容場を視覚化することにより、ガウス微分ネットワークが非常に優れた説明性を持つことを示す。
関連論文リスト
- Nonuniform random feature models using derivative information [10.239175197655266]
ニューラルネットワークの初期化のための不均一なデータ駆動パラメータ分布を近似する関数の微分データに基づいて提案する。
We address the case of Heaviside and ReLU activation function and their smooth approximations (Sigmoid and softplus)。
入力点における近似微分データに基づいて、これらの正確な密度を単純化し、非常に効率的なサンプリングを可能にし、複数のシナリオにおいて最適なネットワークに近いランダムな特徴モデルの性能をもたらすことを提案する。
論文 参考訳（メタデータ） (2024-10-03T01:30:13Z) - Generalization of Geometric Graph Neural Networks [84.01980526069075]
幾何グラフニューラルネットワーク(GNN)の一般化能力について検討する。
我々は,このGNNの最適経験リスクと最適統計リスクとの一般化ギャップを証明した。
最も重要な観察は、前の結果のようにグラフのサイズに制限されるのではなく、1つの大きなグラフで一般化能力を実現することができることである。
論文 参考訳（メタデータ） (2024-09-08T18:55:57Z) - Classifying Overlapping Gaussian Mixtures in High Dimensions: From Optimal Classifiers to Neural Nets [1.8434042562191815]
高次元重なり合うガウス混合モデル(GMM)データのバイナリ分類におけるベイズ最適決定境界の式を導出する。
我々は、実世界のデータにインスパイアされた合成GMMの実験を通じて、分類のために訓練されたディープニューラルネットワークが、導出した最適な分類器を近似する予測器を学習することを実証的に実証した。
論文 参考訳（メタデータ） (2024-05-28T17:59:31Z) - Neural Tangent Kernels Motivate Graph Neural Networks with
Cross-Covariance Graphs [94.44374472696272]
グラフニューラルネットワーク(GNN)の文脈におけるNTKとアライメントについて検討する。
その結果、2層GNNのアライメントの最適性に関する理論的保証が確立された。
これらの保証は、入力と出力データの相互共分散の関数であるグラフシフト演算子によって特徴づけられる。
論文 参考訳（メタデータ） (2023-10-16T19:54:21Z) - VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。
ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。
本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
論文 参考訳（メタデータ） (2023-04-03T13:13:19Z) - Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。
線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。
また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
論文 参考訳（メタデータ） (2022-12-29T20:57:46Z) - Beyond permutation equivariance in graph networks [1.713291434132985]
我々は,n$-dimensions におけるユークリッド群に同値なグラフネットワークのための新しいアーキテクチャを提案する。
我々のモデルは、グラフネットワークを最も一般的な形で扱うように設計されており、特殊ケースとして特定の変種を含む。
論文 参考訳（メタデータ） (2021-03-25T18:36:09Z) - Scale-covariant and scale-invariant Gaussian derivative networks [0.0]
本稿では,大規模空間論と深層学習のハイブリッドアプローチとして,カスケード内のパラメータ化スケール空間演算を結合してディープラーニングアーキテクチャを構築する。
その結果,学習データに存在しない大規模パターンの分類に優れた性能が得られた。
論文 参考訳（メタデータ） (2020-11-30T13:15:10Z) - Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。
この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。
この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
論文 参考訳（メタデータ） (2020-08-19T12:35:55Z) - Towards GANs' Approximation Ability [8.471366736328811]
本稿ではまず,GANの近似特性を理論的に解析する。
GANの入力潜在変数を持つジェネレータは、ポテンシャルデータ分布を普遍的に近似できることを示す。
実際のデータセットでは、SDGを使用する4つのGANは、モデルアーキテクチャが小さい場合、対応する従来のGANよりも優れる。
論文 参考訳（メタデータ） (2020-04-10T02:40:16Z) - Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。
また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
論文 参考訳（メタデータ） (2020-02-20T15:13:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。