Fugu-MT 論文翻訳(概要): Scale-invariant Gaussian derivative residual networks

論文の概要: Scale-invariant Gaussian derivative residual networks

arxiv url: http://arxiv.org/abs/2603.02843v1
Date: Tue, 03 Mar 2026 10:39:41 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-04 21:38:10.753286
Title: Scale-invariant Gaussian derivative residual networks
Title（参考訳）: スケール不変ガウス微分残留ネットワーク
Authors: Andrzej Perzanowski, Tony Lindeberg,
Abstract要約: 画像スケールを越えた一般化は、ディープネットワークにとって依然として根本的な課題である。証明可能なスケール不変ガウス微分剰余ネットワーク(GaussDerResNets)を提案する。 GaussDerResNetsは、再スケールしたデータセット上で、強力なスケールの一般化とスケールの選択特性を持つことを示す。
参考スコア（独自算出の注目度）: 4.554894288663752
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Generalisation across image scales remains a fundamental challenge for deep networks, which often fail to handle images at scales not seen during training (the out-of-distribution problem). In this paper, we present provably scale-invariant Gaussian derivative residual networks (GaussDerResNets), constructed out of scale-covariant Gaussian derivative residual blocks coupled in cascade, aimed at addressing this problem. By adding residual skip connections to the previous notion of Gaussian derivative layers, deeper networks with substantially increased accuracy can be constructed, while preserving very good scale generalisation properties at the higher level of accuracy. Explicit proofs are provided regarding the underlying scale-covariant and scale-invariant properties in arbitrary dimensions. To analyse the ability of GaussDerResNets to generalise to new scales, we apply them on the new rescaled version of the STL-10 dataset, where training is done at a single fixed scale and evaluation is performed on multiple copies of the test set, each rescaled to a single distinct spatial scale, with scale factors extending over a range of 4. We also conduct similar systematic experiments on the rescaled versions of Fashion-MNIST and CIFAR-10 datasets. Experimentally, we demonstrate that the GaussDerResNets have strong scale generalisation and scale selection properties on all the three rescaled datasets. In our ablation studies, we investigate different architectural variants of GaussDerResNets, demonstrating that basing the architecture on depthwise-separable convolutions allows for decreasing both the number of parameters and the amount of computations, with reasonably maintained accuracy and scale generalisation.
Abstract（参考訳）: 画像スケールの一般化は、トレーニング中に見られないスケールでのイメージ処理に失敗する(配布外問題)ディープネットワークにとって、依然として根本的な課題である。本稿では,カスケードに結合したスケール共変ガウス微分残差ブロックから構築したガウス微分残差ネットワーク(ガウスDerResNets)を提案する。従来のガウス微分層の概念に残留スキップ接続を加えることで、精度が大幅に向上したより深いネットワークを構築することができ、高い精度で非常に優れた一般化特性を保持することができる。任意の次元における下層のスケール-共変とスケール-不変性に関する明示的な証明が提供される。 GaussDerResNetsが新しいスケールに一般化する能力を解析するために、STL-10データセットの新たな再スケール版に適用する。また、Fashion-MNISTとCIFAR-10データセットの再スケール版についても、同様の系統的な実験を行った。実験により,GaussDerResNetsは3つの再スケールデータセットに対して,高いスケールの一般化とスケール選択特性を有することを示した。本稿では,GaussDerResNetsの異なるアーキテクチャ変種について検討し,奥行きの分離可能な畳み込みにアーキテクチャを基盤付けることにより,パラメータ数と計算量の両方を合理的に維持できることを示した。

関連論文リスト

Non-Singularity of the Gradient Descent map for Neural Networks with Piecewise Analytic Activations [53.348574336527854]
重みとバイアスの空間上の関数としてのニューラルネットワークマップについて検討する。我々は、現実的なニューラルネットワークアーキテクチャの損失ランドスケープにおける勾配降下(GD)マップの非特異性を初めて証明した。
論文参考訳（メタデータ） (2025-10-28T14:34:33Z)
Scale generalisation properties of extended scale-covariant and scale-invariant Gaussian derivative networks on image datasets with spatial scaling variations [0.46040036610482665]
GaussDerNetsは、Fashion-MNISTとCIFAR-10データセットの新たな再スケールバージョンで評価されている。最初に実験により、GaussDerNetsは、新しいデータセット上で非常に優れたスケールの一般化特性を持つことを示した。また、トレーニング中の規則化は、スケールチャネル全体にドロップアウトを適用することで、パフォーマンスとスケールの一般化の両方を改善することも示している。
論文参考訳（メタデータ） (2024-09-17T12:51:04Z)
WiNet: Wavelet-based Incremental Learning for Efficient Medical Image Registration [68.25711405944239]
深部画像登録は異常な精度と高速な推測を示した。近年の進歩は、粗大から粗大の方法で密度変形場を推定するために、複数のカスケードまたはピラミッドアーキテクチャを採用している。本稿では,様々なスケールにわたる変位/速度場に対して,スケールワイブレット係数を漸進的に推定するモデル駆動WiNetを提案する。
論文参考訳（メタデータ） (2024-07-18T11:51:01Z)
Asymptotics of Learning with Deep Structured (Random) Features [9.366617422860543]
機能マップの大規模なクラスでは、読み出しレイヤの学習に伴うテストエラーの厳密な特徴付けを提供しています。いくつかのケースでは、勾配降下下で訓練された深部有限幅ニューラルネットワークによって学習された特徴写像をキャプチャできる。
論文参考訳（メタデータ） (2024-02-21T18:35:27Z)
Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。群同変畳み込みは同変表現を得るための一般的なアプローチである。本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
論文参考訳（メタデータ） (2023-03-02T20:44:45Z)
Differentially private training of residual networks with scale normalisation [64.60453677988517]
残差ネットワーク(ResNets)におけるバッチ正規化(BN)置換層の最適選択について検討する。残差ブロックにおけるスケールミキシング現象について検討し、2つの枝の活性化を異なるスケールで行う。
論文参考訳（メタデータ） (2022-03-01T09:56:55Z)
Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration [77.99182201815763]
変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
論文参考訳（メタデータ） (2022-02-08T16:16:11Z)
Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
論文参考訳（メタデータ） (2021-11-03T15:14:20Z)
Scale-covariant and scale-invariant Gaussian derivative networks [0.0]
本稿では,大規模空間論と深層学習のハイブリッドアプローチとして,カスケード内のパラメータ化スケール空間演算を結合してディープラーニングアーキテクチャを構築する。その結果,学習データに存在しない大規模パターンの分類に優れた性能が得られた。
論文参考訳（メタデータ） (2020-11-30T13:15:10Z)
On the Predictability of Pruning Across Scales [29.94870276983399]
等級決定ネットワークの誤差は、アーキテクチャやタスクに依存する解釈可能な係数を持つスケーリング法則を経験的に従うことを示す。ニューラルネットワークがより大きく、訓練にコストがかかるようになるにつれて、我々の発見は、非構造化プルーニングの標準的な方法に関する概念的かつ分析的な推論の枠組みを示唆している。
論文参考訳（メタデータ） (2020-06-18T15:41:46Z)
The Heavy-Tail Phenomenon in SGD [7.366405857677226]
最小損失のHessianの構造に依存すると、SGDの反復はエンフェビーテールの定常分布に収束する。深層学習におけるSGDの行動に関する知見に分析結果を変換する。
論文参考訳（メタデータ） (2020-06-08T16:43:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。