論文の概要: From CNNs to Shift-Invariant Twin Wavelet Models
- arxiv url: http://arxiv.org/abs/2212.00394v1
- Date: Thu, 1 Dec 2022 09:42:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-02 14:46:32.755085
- Title: From CNNs to Shift-Invariant Twin Wavelet Models
- Title(参考訳): CNNからシフト不変双ウェーブレットモデルへ
- Authors: Hubert Leterme, K\'evin Polisano, Val\'erie Perrier, Karteek Alahari
- Abstract要約: 畳み込みニューラルネットワーク(CNN)におけるシフト不変性を高める新しいアンチエイリアス法を提案する。
$mathbb C$Mod は $mathbb R$Max の安定な代替品と見なすことができる。
AlexNetとResNetの実験では、自然画像データセットの予測精度が向上した。
- 参考スコア(独自算出の注目度): 9.892936175042939
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a novel antialiasing method to increase shift invariance in
convolutional neural networks (CNNs). More precisely, we replace the
conventional combination "real-valued convolutions + max pooling" ($\mathbb
R$Max) by "complex-valued convolutions + modulus" ($\mathbb C$Mod), which
produce stable feature representations for band-pass filters with well-defined
orientations. In a recent work, we proved that, for such filters, the two
operators yield similar outputs. Therefore, $\mathbb C$Mod can be viewed as a
stable alternative to $\mathbb R$Max. To separate band-pass filters from other
freely-trained kernels, in this paper, we designed a "twin" architecture based
on the dual-tree complex wavelet packet transform, which generates similar
outputs as standard CNNs with fewer trainable parameters. In addition to
improving stability to small shifts, our experiments on AlexNet and ResNet
showed increased prediction accuracy on natural image datasets such as ImageNet
and CIFAR10. Furthermore, our approach outperformed recent antialiasing methods
based on low-pass filtering by preserving high-frequency information, while
reducing memory usage.
- Abstract(参考訳): 本稿では,畳み込みニューラルネットワーク(cnns)におけるシフト不変性を高める新しいアンチエイリアシング法を提案する。
より正確には、従来の "real-valued convolutions + max pooling" (\mathbb r$max) を "complex-valued convolutions + modulus" (\mathbb c$mod) に置き換える。
最近の研究で、そのようなフィルタに対して、2つの演算子が同様の出力を得ることを示した。
したがって、$\mathbb C$Mod は $\mathbb R$Max の安定な代替品と見なすことができる。
帯域通過フィルタを他の自由に訓練されたカーネルから分離するため、我々はデュアルツリー複合ウェーブレットパケット変換に基づく「トウィン」アーキテクチャを設計した。
imagenet や cifar10 などの自然画像データセットでは,小さなシフトに対する安定性の向上に加えて,alexnet と resnet の実験により予測精度が向上した。
さらに,メモリ使用量を減らしつつ高周波情報を保存し,低パスフィルタリングに基づく最近のアンチエイリアス手法を上回った。
関連論文リスト
- Targeted Variance Reduction: Robust Bayesian Optimization of Black-Box
Simulators with Noise Parameters [1.7404865362620803]
本稿では,TVR(Targeted Variance Reduction)と呼ばれるベイズ最適化手法を提案する。
TVR は $(mathbfx,boldsymboltheta)$ 以上の新しい共同獲得関数を利用しており、これは所望の改善領域内の目的に対する分散還元を目標としている。
自動車用ブレーキディスクの高剛性設計への一組の数値実験において,TVRの性能向上を実証した。
論文 参考訳(メタデータ) (2024-03-06T16:03:37Z) - Adapting Newton's Method to Neural Networks through a Summary of
Higher-Order Derivatives [0.0]
関数 $boldsymboltheta$ に適用した勾配に基づく最適化法を考える。
このフレームワークは、勾配降下によるニューラルネットワークのトレーニングなど、多くの一般的なユースケースを含んでいる。
論文 参考訳(メタデータ) (2023-12-06T20:24:05Z) - Transformers as Support Vector Machines [54.642793677472724]
自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。
勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。
これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
論文 参考訳(メタデータ) (2023-08-31T17:57:50Z) - Natural Gradient Hybrid Variational Inference with Application to Deep
Mixed Models [0.0]
本稿では, 係数共分散行列を持つガウス行列からなる変分近似(VA)を用いて, 限界値が$bmtheta$とする。
これは、$(bmz,bmtheta)$ の結合後部に対するよく定義された自然な勾配最適化アルゴリズムであることを示す。
自然勾配法は, 通常の勾配法よりも効率的であり, 2つの先行する自然勾配法よりも高速かつ高精度であることを示す。
論文 参考訳(メタデータ) (2023-02-27T06:24:20Z) - Multi-block-Single-probe Variance Reduced Estimator for Coupled
Compositional Optimization [49.58290066287418]
構成問題の複雑さを軽減するために,MSVR (Multi-block-probe Variance Reduced) という新しい手法を提案する。
本研究の結果は, 試料の複雑さの順序や強靭性への依存など, 様々な面で先行して改善された。
論文 参考訳(メタデータ) (2022-07-18T12:03:26Z) - Majorization-minimization for Sparse Nonnegative Matrix Factorization
with the $\beta$-divergence [2.3787352248749376]
他の因子(辞書行列)のノルムは不正な定式化を避けるために制御する必要があることはよく知られている。
標準のプラクティスは、辞書の列に単位ノルムを持つよう制約することであり、これは非自明な最適化問題につながる。
我々は,$ell_1$-regularization あるいはより "攻撃的" なログ規則化に対して,単純な乗法的更新をもたらすブロック・ディフレッシブ・プライマリゼーション・最小化アルゴリズムを導出する。
論文 参考訳(メタデータ) (2022-07-13T16:09:29Z) - Bounding the Width of Neural Networks via Coupled Initialization -- A
Worst Case Analysis [121.9821494461427]
2層ReLUネットワークに必要なニューロン数を著しく削減する方法を示す。
また、事前の作業を改善するための新しい下位境界を証明し、ある仮定の下では、最善を尽くすことができることを証明します。
論文 参考訳(メタデータ) (2022-06-26T06:51:31Z) - Hybrid Model-based / Data-driven Graph Transform for Image Coding [54.31406300524195]
予測内残差ブロックを符号化するハイブリッドモデルベース/データ駆動方式を提案する。
変換行列の最初の$K$固有ベクトルは、安定性のための非対称離散正弦変換(ADST)のような統計モデルから導かれる。
WebPをベースライン画像として使用することにより、我々のハイブリッドグラフ変換は、デフォルトの離散コサイン変換(DCT)よりもエネルギーの圧縮が良く、KLTよりも安定性がよいことを示す。
論文 参考訳(メタデータ) (2022-03-02T15:36:44Z) - Minimax Optimal Quantization of Linear Models: Information-Theoretic
Limits and Efficient Algorithms [59.724977092582535]
測定から学習した線形モデルの定量化の問題を考える。
この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。
本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
論文 参考訳(メタデータ) (2022-02-23T02:39:04Z) - Skew Orthogonal Convolutions [44.053067014796596]
Lipschitzの制約付き畳み込みニューラルネットワークを$l_2$ノルムでトレーニングすることは、証明可能な対逆ロバスト性、解釈可能な勾配、安定したトレーニングなどに有用である。
Methodabvは、従来の作業よりもはるかに高速な大きな畳み込みニューラルネットワークであるLipschitzのトレーニングを可能にする。
論文 参考訳(メタデータ) (2021-05-24T17:11:44Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳(メタデータ) (2020-07-16T06:44:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。