論文の概要: From CNNs to Shift-Invariant Twin Models Based on Complex Wavelets
- arxiv url: http://arxiv.org/abs/2212.00394v2
- Date: Fri, 21 Apr 2023 15:23:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-24 17:49:39.134797
- Title: From CNNs to Shift-Invariant Twin Models Based on Complex Wavelets
- Title（参考訳）: 複素ウェーブレットに基づくCNNからシフト不変双対モデルへ
- Authors: Hubert Leterme, K\'evin Polisano, Val\'erie Perrier, Karteek Alahari
- Abstract要約: 本稿では,畳み込みニューラルネットワークのための新しいアンチエイリアス法を提案する。
我々は第1層の組み合わせを "real-valued convolutions + max pooling" に置き換える。
提案手法は,ImageNetとCIFAR-10の分類タスクにおいて,優れた精度を実現する。
- 参考スコア（独自算出の注目度）: 9.892936175042939
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a novel antialiasing method to increase shift invariance and
prediction accuracy in convolutional neural networks. Specifically, we replace
the first-layer combination "real-valued convolutions + max pooling"
($\mathbb{R}$Max) by "complex-valued convolutions + modulus" ($\mathbb{C}$Mod),
which is stable to translations. To justify our approach, we claim that
$\mathbb{C}$Mod and $\mathbb{R}$Max produce comparable outputs when the
convolution kernel is band-pass and oriented (Gabor-like filter). In this
context, $\mathbb{C}$Mod can be considered as a stable alternative to
$\mathbb{R}$Max. Thus, prior to antialiasing, we force the convolution kernels
to adopt such a Gabor-like structure. The corresponding architecture is called
mathematical twin, because it employs a well-defined mathematical operator to
mimic the behavior of the original, freely-trained model. Our antialiasing
approach achieves superior accuracy on ImageNet and CIFAR-10 classification
tasks, compared to prior methods based on low-pass filtering. Arguably, our
approach's emphasis on retaining high-frequency details contributes to a better
balance between shift invariance and information preservation, resulting in
improved performance. Furthermore, it has a lower computational cost and memory
footprint than concurrent work, making it a promising solution for practical
implementation.
- Abstract（参考訳）: 本稿では,畳み込みニューラルネットワークにおけるシフト不変性と予測精度を向上させる新しいアンチエイリアシング手法を提案する。
具体的には、"real-valued convolutions + max pooling" (\mathbb{r}$max) を "complex-valued convolutions + modulus" (\mathbb{c}$mod) に置き換える。
我々のアプローチを正当化するために、$\mathbb{C}$Mod と $\mathbb{R}$Max は、畳み込みカーネルがバンドパスで指向(Gabor-like filter)であるときに、同等の出力を生成する。
この文脈では、$\mathbb{C}$Mod は $\mathbb{R}$Max の安定な代替品とみなすことができる。
したがって、アンチエイリアシングの前に、畳み込み核はそのようなガバーのような構造を採用するよう強制する。
対応するアーキテクチャは数学的双対(英: mathematical twin)と呼ばれ、元の自由学習されたモデルの振る舞いを模倣するためによく定義された数学的演算子を用いる。
我々のアンチエイリアス手法は,イメージネットとCIFAR-10の分類タスクにおいて,低域フィルタリングに基づく先行手法と比較して精度が高い。
いずれにせよ, 高周波の詳細保持に重点を置くアプローチは, シフト不変性と情報保存のバランスが良くなり, 性能が向上する。
さらに、並列処理よりも計算コストとメモリフットプリントが低く、実用的な実装のための有望なソリューションである。
関連論文リスト
- GMConv: Modulating Effective Receptive Fields for Convolutional Kernels [52.50351140755224]
畳み込みニューラルネットワークでは、固定N$times$N受容場(RF)を持つ正方形カーネルを用いて畳み込みを行う。
ERFが通常ガウス分布を示す性質に着想を得て,本研究でガウス・マスク畳み込みカーネル(GMConv)を提案する。
私たちのGMConvは、既存のCNNの標準の畳み込みを直接置き換えることができ、標準のバックプロパゲーションによって、エンドツーエンドで簡単に訓練することができます。
論文 参考訳（メタデータ） (2023-02-09T10:17:17Z) - A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive
Coding Networks [65.34977803841007]
予測符号化ネットワークは、ベイズ統計学と神経科学の両方にルーツを持つ神経科学にインスパイアされたモデルである。
シナプス重みに対する更新規則の時間的スケジュールを変更するだけで、元の規則よりもずっと効率的で安定したアルゴリズムが得られることを示す。
論文 参考訳（メタデータ） (2022-11-16T00:11:04Z) - Federated Learning Using Variance Reduced Stochastic Gradient for
Probabilistically Activated Agents [0.0]
本稿では,各エージェントが各反復において任意の選択の確率を持つような最適解に対して,分散低減と高速収束率の両方を達成する2層構造を持つフェデレートラーニング(FL)のアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-10-25T22:04:49Z) - On the Shift Invariance of Max Pooling Feature Maps in Convolutional
Neural Networks [0.0]
ガボル型フィルタによるサブサンプル畳み込みはエイリアスしがちであり、小さな入力シフトに敏感である。
安定性を実現する上で,フィルタの周波数と向きが果たす重要な役割を強調した。
二重ツリー複合ウェーブレットパケット変換に基づく決定論的特徴抽出器を設計し,本理論を実験的に検証する。
論文 参考訳（メタデータ） (2022-09-19T08:15:30Z) - Can we achieve robustness from data alone? [0.7366405857677227]
敵の訓練とその変種は、ニューラルネットワークを用いた敵の堅牢な分類を実現するための一般的な方法となっている。
そこで我々は,ロバストな分類のためのメタラーニング手法を考案し,その展開前のデータセットを原則的に最適化する。
MNIST と CIFAR-10 の実験により、我々が生成するデータセットはPGD 攻撃に対して非常に高い堅牢性を持つことが示された。
論文 参考訳（メタデータ） (2022-07-24T12:14:48Z) - Mutual-Information Based Few-Shot Classification [34.95314059362982]
数ショット学習のためのTIM(Transductive Infomation Maximization)を提案する。
提案手法は,与えられた数発のタスクに対して,クエリ特徴とラベル予測との相互情報を最大化する。
そこで我々は,勾配に基づく最適化よりもトランスダクティブ推論を高速化する交代方向解法を提案する。
論文 参考訳（メタデータ） (2021-06-23T09:17:23Z) - Why Approximate Matrix Square Root Outperforms Accurate SVD in Global
Covariance Pooling? [59.820507600960745]
本稿では,前方通過のSVDと後方伝播のPad'e近似を用いて勾配を計算する新しいGCPメタ層を提案する。
提案するメタレイヤは,さまざまなCNNモデルに統合され,大規模および微細なデータセット上で最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2021-05-06T08:03:45Z) - Orthogonalizing Convolutional Layers with the Cayley Transform [83.73855414030646]
直交に制約された畳み込み層をパラメータ化するための代替手法を提案し,評価する。
本手法は,大規模畳み込みにおいても直交性が高次に保たれることを示す。
論文 参考訳（メタデータ） (2021-04-14T23:54:55Z) - Autoregressive Score Matching [113.4502004812927]
自動回帰条件スコアモデル(AR-CSM)を提案する。
AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。
本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
論文 参考訳（メタデータ） (2020-10-24T07:01:24Z) - Gaussian MRF Covariance Modeling for Efficient Black-Box Adversarial
Attacks [86.88061841975482]
我々は,ゼロオーダーのオラクルにのみアクセス可能なブラックボックス設定において,逆例を生成する問題について検討する。
我々はこの設定を用いて、FGSM(Fast Gradient Sign Method)のブラックボックス版と同様に、高速な1ステップの敵攻撃を見つける。
提案手法はクエリを少なくし,現在の技術よりも攻撃成功率が高いことを示す。
論文 参考訳（メタデータ） (2020-10-08T18:36:51Z) - Memory and Computation-Efficient Kernel SVM via Binary Embedding and
Ternary Model Coefficients [18.52747917850984]
カーネル近似はカーネルSVMのトレーニングと予測のスケールアップに広く用いられている。
メモリ制限されたデバイスにデプロイしたい場合、カーネル近似モデルのメモリと計算コストはまだ高すぎる。
本稿では,バイナリ埋め込みとバイナリモデル係数を用いて,新しいメモリと計算効率の高いカーネルSVMモデルを提案する。
論文 参考訳（メタデータ） (2020-10-06T09:41:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。