Fugu-MT 論文翻訳(概要): Improving Generalization of Batch Whitening by Convolutional Unit Optimization

論文の概要: Improving Generalization of Batch Whitening by Convolutional Unit Optimization

arxiv url: http://arxiv.org/abs/2108.10629v1
Date: Tue, 24 Aug 2021 10:27:57 GMT
ステータス: 処理完了
システム内更新日: 2021-08-25 14:17:56.618475
Title: Improving Generalization of Batch Whitening by Convolutional Unit Optimization
Title（参考訳）: 畳み込み単位最適化によるバッチホワイトニングの一般化
Authors: Yooshin Cho, Hanbyel Cho, Youngsoo Kim, Junmo Kim
Abstract要約: バッチホワイトニング(Batch Whitening)は、入力特徴をゼロ平均(Centering)と単位分散(Scaling)に変換することで、トレーニングを加速し、安定化する技術である。バッチ正規化を経験的に最適化した一般的な構造では、正規化層は畳み込みとアクティベーション関数の間に現れる。本稿では,この理論に則った新しい畳み込み単位を提案する。
参考スコア（独自算出の注目度）: 24.102442375834084
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Batch Whitening is a technique that accelerates and stabilizes training by transforming input features to have a zero mean (Centering) and a unit variance (Scaling), and by removing linear correlation between channels (Decorrelation). In commonly used structures, which are empirically optimized with Batch Normalization, the normalization layer appears between convolution and activation function. Following Batch Whitening studies have employed the same structure without further analysis; even Batch Whitening was analyzed on the premise that the input of a linear layer is whitened. To bridge the gap, we propose a new Convolutional Unit that is in line with the theory, and our method generally improves the performance of Batch Whitening. Moreover, we show the inefficacy of the original Convolutional Unit by investigating rank and correlation of features. As our method is employable off-the-shelf whitening modules, we use Iterative Normalization (IterNorm), the state-of-the-art whitening module, and obtain significantly improved performance on five image classification datasets: CIFAR-10, CIFAR-100, CUB-200-2011, Stanford Dogs, and ImageNet. Notably, we verify that our method improves stability and performance of whitening when using large learning rate, group size, and iteration number.
Abstract（参考訳）: バッチホワイトニング(Batch Whitening)は、入力特徴をゼロ平均(Centering)と単位分散(Scaling)に変換し、チャネル間の線形相関(Decorrelation)を取り除くことにより、トレーニングを加速し、安定化する技術である。バッチ正規化を経験的に最適化した一般的な構造では、正規化層は畳み込みとアクティベーション関数の間に現れる。バッチホワイトニングの研究の後、同じ構造をそれ以上解析することなく採用し、線形層の入力がホワイト化されることを前提にバッチホワイト化も分析された。このギャップを埋めるため,我々はこの理論に沿った新しい畳み込みユニットを提案し,本手法は一般にバッチ・ホワイトニングの性能を向上させる。さらに,特徴のランクと相関を調査することで,元の畳み込みユニットの非効率性を示す。本手法は市販のホワイトニングモジュールを用いるため,最先端のホワイトニングモジュールであるイテレーティブ正規化(IterNorm)を用いて,CIFAR-10,CIFAR-100,CUB-200-2011,Stanford Dogs,ImageNetの5つの画像分類データセットにおいて,大幅な性能向上を実現している。特に,大きな学習率,グループサイズ,イテレーション数を用いることで,ホワイトニングの安定性と性能が向上することを確認した。

関連論文リスト

Covariance-corrected Whitening Alleviates Network Degeneration on Imbalanced Classification [6.197116272789107]
クラス不均衡は画像分類において重要な問題であり、深層認識モデルの性能に大きな影響を及ぼす。我々は、退化ソリューションを緩和するWhitening-Netと呼ばれる新しいフレームワークを提案する。極端なクラス不均衡のシナリオでは、バッチ共分散統計は大きな変動を示し、白化操作の収束を妨げる。
論文参考訳（メタデータ） (2024-08-30T10:49:33Z)
Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文参考訳（メタデータ） (2024-03-11T09:10:37Z)
Spectrum Extraction and Clipping for Implicitly Linear Layers [20.277446818410997]
暗黙的に線形作用素のスペクトルを効率よく正確に計算し、制御する上で、自動微分の有効性を示す。一般的な畳み込み層に対して正しい第1の切り抜き法を提案する。
論文参考訳（メタデータ） (2024-02-25T07:28:28Z)
Whitening-based Contrastive Learning of Sentence Embeddings [61.38955786965527]
文埋め込み学習(WhitenedCSE)のためのホワイトニングに基づくコントラスト学習手法を提案する。これら2つのアプローチは完全に冗長ではなく、実際には異なる一様性機構のために相補性を持っていることが分かる。
論文参考訳（メタデータ） (2023-05-28T14:58:10Z)
Optimal Input Gain: All You Need to Supercharge a Feed-Forward Neural Network [0.6562256987706128]
線形変換を用いた前処理入力は, 負の勾配行列を学習繰り返し毎の自己相関行列に乗じることと等価であることが示されている。 OIGが改良したHWOは、より複雑なディープラーニングアーキテクチャのための重要なビルディングブロックになり得ることが示されている。
論文参考訳（メタデータ） (2023-03-30T22:20:16Z)
Kernel-Whitening: Overcome Dataset Bias with Isotropic Sentence Embedding [51.48582649050054]
符号化文の特徴間の相関関係を解消する表現正規化手法を提案する。またNystromカーネル近似法であるKernel-Whiteningを提案する。実験により,Kernel-Whiteningは分布内精度を維持しつつ,分布外データセット上でのBERTの性能を著しく向上することが示された。
論文参考訳（メタデータ） (2022-10-14T05:56:38Z)
Stochastic Whitening Batch Normalization [9.514475896906605]
バッチ正規化(BN)はディープニューラルネットワーク(DNN)をトレーニングするための一般的なテクニックである最近提案された反復正規化法 (IterNorm) はニュートン法を用いて活性化を反復的に白くすることでこれらの特性を改善する。 SWBNは収束率と一般化を改善するが、計算オーバーヘッドはIterNormよりも小さいことを示す。
論文参考訳（メタデータ） (2021-06-03T20:45:42Z)
Gradient Boosted Binary Histogram Ensemble for Large-scale Regression [60.16351608335641]
本研究では,2値ヒストグラム分割とアンサンブル学習に基づくテキストグラディエント2値ヒストグラムアンサンブル(GBBHE)と呼ばれる大規模回帰問題に対する勾配向上アルゴリズムを提案する。実験では, 勾配向上回帰木 (GBRT) などの他の最先端アルゴリズムと比較して, GBBHEアルゴリズムは大規模データセット上での実行時間が少なく, 有望な性能を示す。
論文参考訳（メタデータ） (2021-06-03T17:05:40Z)
Feature Whitening via Gradient Transformation for Improved Convergence [3.5579740292581]
機能白化の複雑さの欠点に対処する。サンプル変換を重み勾配への変換によって置き換える等価な手法をBサンプルの各バッチに適用する。 CIFAR と Imagenet データセットで実証された画像分類のためのResNet ベースのネットワークを用いて提案アルゴリズムを例示する。
論文参考訳（メタデータ） (2020-10-04T11:30:20Z)
Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文参考訳（メタデータ） (2020-06-16T13:41:54Z)
An Investigation into the Stochasticity of Batch Whitening [95.54842420166862]
本稿では,より一般的なBatch Whitening(BW)手術について検討する。様々なホワイトニング変換が条件付けを同等に改善する一方で,識別シナリオやGAN(Generative Adrial Networks)のトレーニングにおいて,異なる挙動を示すことが示されている。提案するBWアルゴリズムは、ImageNetversaityにおいて、残余ネットワークを著しく改善する。
論文参考訳（メタデータ） (2020-03-27T11:06:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。