論文の概要: From CNNs to Shift-Invariant Twin Models Based on Complex Wavelets
- arxiv url: http://arxiv.org/abs/2212.00394v2
- Date: Fri, 21 Apr 2023 15:23:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-24 17:49:39.134797
- Title: From CNNs to Shift-Invariant Twin Models Based on Complex Wavelets
- Title(参考訳): 複素ウェーブレットに基づくCNNからシフト不変双対モデルへ
- Authors: Hubert Leterme, K\'evin Polisano, Val\'erie Perrier, Karteek Alahari
- Abstract要約: 本稿では,畳み込みニューラルネットワークのための新しいアンチエイリアス法を提案する。
我々は第1層の組み合わせを "real-valued convolutions + max pooling" に置き換える。
提案手法は,ImageNetとCIFAR-10の分類タスクにおいて,優れた精度を実現する。
- 参考スコア(独自算出の注目度): 9.892936175042939
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a novel antialiasing method to increase shift invariance and
prediction accuracy in convolutional neural networks. Specifically, we replace
the first-layer combination "real-valued convolutions + max pooling"
($\mathbb{R}$Max) by "complex-valued convolutions + modulus" ($\mathbb{C}$Mod),
which is stable to translations. To justify our approach, we claim that
$\mathbb{C}$Mod and $\mathbb{R}$Max produce comparable outputs when the
convolution kernel is band-pass and oriented (Gabor-like filter). In this
context, $\mathbb{C}$Mod can be considered as a stable alternative to
$\mathbb{R}$Max. Thus, prior to antialiasing, we force the convolution kernels
to adopt such a Gabor-like structure. The corresponding architecture is called
mathematical twin, because it employs a well-defined mathematical operator to
mimic the behavior of the original, freely-trained model. Our antialiasing
approach achieves superior accuracy on ImageNet and CIFAR-10 classification
tasks, compared to prior methods based on low-pass filtering. Arguably, our
approach's emphasis on retaining high-frequency details contributes to a better
balance between shift invariance and information preservation, resulting in
improved performance. Furthermore, it has a lower computational cost and memory
footprint than concurrent work, making it a promising solution for practical
implementation.
- Abstract(参考訳): 本稿では,畳み込みニューラルネットワークにおけるシフト不変性と予測精度を向上させる新しいアンチエイリアシング手法を提案する。
具体的には、"real-valued convolutions + max pooling" (\mathbb{r}$max) を "complex-valued convolutions + modulus" (\mathbb{c}$mod) に置き換える。
我々のアプローチを正当化するために、$\mathbb{C}$Mod と $\mathbb{R}$Max は、畳み込みカーネルがバンドパスで指向(Gabor-like filter)であるときに、同等の出力を生成する。
この文脈では、$\mathbb{C}$Mod は $\mathbb{R}$Max の安定な代替品とみなすことができる。
したがって、アンチエイリアシングの前に、畳み込み核はそのようなガバーのような構造を採用するよう強制する。
対応するアーキテクチャは数学的双対(英: mathematical twin)と呼ばれ、元の自由学習されたモデルの振る舞いを模倣するためによく定義された数学的演算子を用いる。
我々のアンチエイリアス手法は,イメージネットとCIFAR-10の分類タスクにおいて,低域フィルタリングに基づく先行手法と比較して精度が高い。
いずれにせよ, 高周波の詳細保持に重点を置くアプローチは, シフト不変性と情報保存のバランスが良くなり, 性能が向上する。
さらに、並列処理よりも計算コストとメモリフットプリントが低く、実用的な実装のための有望なソリューションである。
関連論文リスト
- Targeted Variance Reduction: Robust Bayesian Optimization of Black-Box
Simulators with Noise Parameters [1.7404865362620803]
本稿では,TVR(Targeted Variance Reduction)と呼ばれるベイズ最適化手法を提案する。
TVR は $(mathbfx,boldsymboltheta)$ 以上の新しい共同獲得関数を利用しており、これは所望の改善領域内の目的に対する分散還元を目標としている。
自動車用ブレーキディスクの高剛性設計への一組の数値実験において,TVRの性能向上を実証した。
論文 参考訳(メタデータ) (2024-03-06T16:03:37Z) - Adapting Newton's Method to Neural Networks through a Summary of
Higher-Order Derivatives [0.0]
関数 $boldsymboltheta$ に適用した勾配に基づく最適化法を考える。
このフレームワークは、勾配降下によるニューラルネットワークのトレーニングなど、多くの一般的なユースケースを含んでいる。
論文 参考訳(メタデータ) (2023-12-06T20:24:05Z) - Transformers as Support Vector Machines [54.642793677472724]
自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。
勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。
これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
論文 参考訳(メタデータ) (2023-08-31T17:57:50Z) - Natural Gradient Hybrid Variational Inference with Application to Deep
Mixed Models [0.0]
本稿では, 係数共分散行列を持つガウス行列からなる変分近似(VA)を用いて, 限界値が$bmtheta$とする。
これは、$(bmz,bmtheta)$ の結合後部に対するよく定義された自然な勾配最適化アルゴリズムであることを示す。
自然勾配法は, 通常の勾配法よりも効率的であり, 2つの先行する自然勾配法よりも高速かつ高精度であることを示す。
論文 参考訳(メタデータ) (2023-02-27T06:24:20Z) - Multi-block-Single-probe Variance Reduced Estimator for Coupled
Compositional Optimization [49.58290066287418]
構成問題の複雑さを軽減するために,MSVR (Multi-block-probe Variance Reduced) という新しい手法を提案する。
本研究の結果は, 試料の複雑さの順序や強靭性への依存など, 様々な面で先行して改善された。
論文 参考訳(メタデータ) (2022-07-18T12:03:26Z) - Majorization-minimization for Sparse Nonnegative Matrix Factorization
with the $\beta$-divergence [2.3787352248749376]
他の因子(辞書行列)のノルムは不正な定式化を避けるために制御する必要があることはよく知られている。
標準のプラクティスは、辞書の列に単位ノルムを持つよう制約することであり、これは非自明な最適化問題につながる。
我々は,$ell_1$-regularization あるいはより "攻撃的" なログ規則化に対して,単純な乗法的更新をもたらすブロック・ディフレッシブ・プライマリゼーション・最小化アルゴリズムを導出する。
論文 参考訳(メタデータ) (2022-07-13T16:09:29Z) - Bounding the Width of Neural Networks via Coupled Initialization -- A
Worst Case Analysis [121.9821494461427]
2層ReLUネットワークに必要なニューロン数を著しく削減する方法を示す。
また、事前の作業を改善するための新しい下位境界を証明し、ある仮定の下では、最善を尽くすことができることを証明します。
論文 参考訳(メタデータ) (2022-06-26T06:51:31Z) - Hybrid Model-based / Data-driven Graph Transform for Image Coding [54.31406300524195]
予測内残差ブロックを符号化するハイブリッドモデルベース/データ駆動方式を提案する。
変換行列の最初の$K$固有ベクトルは、安定性のための非対称離散正弦変換(ADST)のような統計モデルから導かれる。
WebPをベースライン画像として使用することにより、我々のハイブリッドグラフ変換は、デフォルトの離散コサイン変換(DCT)よりもエネルギーの圧縮が良く、KLTよりも安定性がよいことを示す。
論文 参考訳(メタデータ) (2022-03-02T15:36:44Z) - Minimax Optimal Quantization of Linear Models: Information-Theoretic
Limits and Efficient Algorithms [59.724977092582535]
測定から学習した線形モデルの定量化の問題を考える。
この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。
本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
論文 参考訳(メタデータ) (2022-02-23T02:39:04Z) - Skew Orthogonal Convolutions [44.053067014796596]
Lipschitzの制約付き畳み込みニューラルネットワークを$l_2$ノルムでトレーニングすることは、証明可能な対逆ロバスト性、解釈可能な勾配、安定したトレーニングなどに有用である。
Methodabvは、従来の作業よりもはるかに高速な大きな畳み込みニューラルネットワークであるLipschitzのトレーニングを可能にする。
論文 参考訳(メタデータ) (2021-05-24T17:11:44Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳(メタデータ) (2020-07-16T06:44:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。