論文の概要: Training Deep Neural Classifiers with Soft Diamond Regularizers

• arxiv url: http://arxiv.org/abs/2412.20724v1
• Date: Mon, 30 Dec 2024 05:53:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:07:19.010273
• Title: Training Deep Neural Classifiers with Soft Diamond Regularizers
• Title（参考訳）: ソフトダイヤモンド正規化器を用いた深部神経分類器の訓練
• Authors: Olaoluwa Adigun, Bart Kosko,
• Abstract要約: 我々は,深層ニューラルネットワークにおけるシナプスの空間性を改善し,分類精度を向上する新しいEmphsoftダイアモンド正規化器を提案する。 厚い尾を持つ対称なアルファ安定なシナプスの重みはガウス的ではないため、より厚い尾を持つ。 我々は,CIFAR-10,CIFAR-100,Caltech-256の3つのデータセットに対して,深層神経分類器を用いた新しいソフトダイヤモンド正則化器を試験した。
• 参考スコア（独自算出の注目度）: 0.552480439325792
• License:
• Abstract: We introduce new \emph{soft diamond} regularizers that both improve synaptic sparsity and maintain classification accuracy in deep neural networks. These parametrized regularizers outperform the state-of-the-art hard-diamond Laplacian regularizer of Lasso regression and classification. They use thick-tailed symmetric alpha-stable ($\mathcal{S \alpha S}$) bell-curve synaptic weight priors that are not Gaussian and so have thicker tails. The geometry of the diamond-shaped constraint set varies from a circle to a star depending on the tail thickness and dispersion of the prior probability density function. Training directly with these priors is computationally intensive because almost all $\mathcal{S \alpha S}$ probability densities lack a closed form. A precomputed look-up table removed this computational bottleneck. We tested the new soft diamond regularizers with deep neural classifiers on the three datasets CIFAR-10, CIFAR-100, and Caltech-256. The regularizers improved the accuracy of the classifiers. The improvements included $4.57\%$ on CIFAR-10, $4.27\%$ on CIFAR-100, and $6.69\%$ on Caltech-256. They also outperformed $L_2$ regularizers on all the test cases. Soft diamond regularizers also outperformed $L_1$ lasso or Laplace regularizers because they better increased sparsity while improving classification accuracy. Soft-diamond priors substantially improved accuracy on CIFAR-10 when combined with dropout, batch, or data-augmentation regularization.
• Abstract（参考訳）: 我々は, シナプスの空間性を改善し, ディープニューラルネットワークにおける分類精度を維持する新しい 'emph{soft Diamond} 正規化器を導入する。 これらのパラメタライズド正則化器は、ラッソ回帰と分類の最先端のハードダイアモンドラプラシアン正則化器より優れている。 彼らは厚い尾を持つ対称アルファ安定(\mathcal{S \alpha S}$)ベル曲線のシナプス重みをガウス的ではなく、より厚い尾を持つ。 ダイヤモンド形状の制約セットの幾何学は、尾の厚さと前の確率密度関数の分散に依存するため、円から星へ変化する。 なぜなら、ほとんどすべての$\mathcal{S \alpha S}$ 確率密度は閉形式を持たないからである。 事前計算されたルックアップテーブルは、この計算ボトルネックを取り除いた。 我々は,CIFAR-10,CIFAR-100,Caltech-256の3つのデータセットに対して,深層神経分類器を用いた新しいソフトダイヤモンド正則化器を試験した。 正規化器は分類器の精度を改善した。 CIFAR-10は4.57.%、CIFAR-100は4.27.%、Caltech-256は6.69.%だった。 また、すべてのテストケースで$L_2$正規化器よりも優れていた。 ソフトダイアモンドレギュレータは、分類精度を改善しながら、より親和性を高めたため、L_1$ lassoやLaplaceレギュレータよりも優れていた。 ソフトダイアモンドは、ドロップアウト、バッチ、データ拡張正則化と組み合わせることで、CIFAR-10の精度を大幅に改善した。

関連論文リスト

• Convergence Rate Analysis of LION [54.28350823319057]
  LION は、勾配カルシュ=クーン=T (sqrtdK-)$で測定された $cal(sqrtdK-)$ の反復を収束する。 従来のSGDと比較して,LIONは損失が小さく,性能も高いことを示す。
  論文  参考訳（メタデータ） (2024-11-12T11:30:53Z)
• Scaling Laws in Linear Regression: Compute, Parameters, and Data [86.48154162485712]
  無限次元線形回帰セットアップにおけるスケーリング法則の理論について検討する。 テストエラーの再現可能な部分は$Theta(-(a-1) + N-(a-1)/a)$であることを示す。 我々の理論は経験的ニューラルスケーリング法則と一致し、数値シミュレーションによって検証される。
  論文  参考訳（メタデータ） (2024-06-12T17:53:29Z)
• Improved techniques for deterministic l2 robustness [63.34032156196848]
  畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。 我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。 我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
  論文  参考訳（メタデータ） (2022-11-15T19:10:12Z)
• Bounding the Width of Neural Networks via Coupled Initialization -- A Worst Case Analysis [121.9821494461427]
  2層ReLUネットワークに必要なニューロン数を著しく削減する方法を示す。 また、事前の作業を改善するための新しい下位境界を証明し、ある仮定の下では、最善を尽くすことができることを証明します。
  論文  参考訳（メタデータ） (2022-06-26T06:51:31Z)
• A Stochastic Proximal Method for Nonsmooth Regularized Finite Sum Optimization [7.014966911550542]
  スパースサブ構造を検索するために,非滑らかな正規化を伴うディープニューラルネットワークをトレーニングする問題を考察する。 我々は、収束と最悪のケースの複雑さが勾配のリプシッツ定数の知識や近似なしで確立されるSR2と呼ばれる新しい解法を導出する。 CIFAR-10とCIFAR-100で訓練されたネットワークインスタンスの実験により、SR2はProxGENやProxSGDのような関連する手法よりも常に高い空間性と精度を達成することが示された。
  論文  参考訳（メタデータ） (2022-06-14T00:28:44Z)
• Towards Alternative Techniques for Improving Adversarial Robustness: Analysis of Adversarial Training at a Spectrum of Perturbations [5.18694590238069]
  逆行訓練(AT)とその変種は、逆行性摂動に対するニューラルネットワークの堅牢性を改善する進歩を先導している。 私たちは、$epsilon$の値のスペクトルに基づいてトレーニングされたモデルに焦点を当てています。 ATの代替改善は、そうでなければ1ドル(約1万2000円)も出なかったでしょう。
  論文  参考訳（メタデータ） (2022-06-13T22:01:21Z)
• Uncovering the Limits of Adversarial Training against Norm-Bounded Adversarial Examples [47.27255244183513]
  本研究では, 異なるトレーニング損失, モデルサイズ, アクティベーション機能, ラベルなしデータの付加(擬似ラベル付け)などの要因が, 相手の強靭性に及ぼす影響について検討した。 我々は、より大きなモデル、Swish/SiLUアクティベーションとモデルウェイト平均化を組み合わせることで、最先端の成果をはるかに超えるロバストモデルをトレーニングできることを発見した。
  論文  参考訳（メタデータ） (2020-10-07T18:19:09Z)
• Training Sparse Neural Networks using Compressed Sensing [13.84396596420605]
  本研究では,プレニングとトレーニングを1ステップに組み合わせた圧縮センシングに基づく新しい手法の開発と試験を行う。 具体的には、トレーニング中の重みを適応的に重み付けした$ell1$のペナルティを利用して、スパースニューラルネットワークをトレーニングするために、正規化二重平均化(RDA)アルゴリズムの一般化と組み合わせる。
  論文  参考訳（メタデータ） (2020-08-21T19:35:54Z)
• Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
  学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。 i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
  論文  参考訳（メタデータ） (2020-07-16T06:44:44Z)
• Curse of Dimensionality on Randomized Smoothing for Certifiable Robustness [151.67113334248464]
  我々は、他の攻撃モデルに対してスムースな手法を拡張することは困難であることを示す。 我々はCIFARに関する実験結果を示し,その理論を検証した。
  論文  参考訳（メタデータ） (2020-02-08T22:02:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。