Fugu-MT 論文翻訳(概要): Convex Dual Theory Analysis of Two-Layer Convolutional Neural Networks with Soft-Thresholding

論文の概要: Convex Dual Theory Analysis of Two-Layer Convolutional Neural Networks with Soft-Thresholding

arxiv url: http://arxiv.org/abs/2304.06959v1
Date: Fri, 14 Apr 2023 07:04:07 GMT
ステータス: 処理完了
システム内更新日: 2023-04-17 14:22:40.213979
Title: Convex Dual Theory Analysis of Two-Layer Convolutional Neural Networks with Soft-Thresholding
Title（参考訳）: ソフトthresholdingを用いた2層畳み込みニューラルネットワークの凸双対理論解析
Authors: Chunyan Xiong, Mengli Lu, Xiaotong Yu, Jian Cao, Zhong Chen, Di Guo, and Xiaobo Qu
Abstract要約: ソフトスレッディングはニューラルネットワークで広く使われている。ソフトなニューラルネットワークネットワークを融合させる新しい方法が提示される。この研究は、ソフトニューラルネットワークを凸化する新しい方法を提供する。
参考スコア（独自算出の注目度）: 15.514556290714053
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Soft-thresholding has been widely used in neural networks. Its basic network structure is a two-layer convolution neural network with soft-thresholding. Due to the network's nature of nonlinearity and nonconvexity, the training process heavily depends on an appropriate initialization of network parameters, resulting in the difficulty of obtaining a globally optimal solution. To address this issue, a convex dual network is designed here. We theoretically analyze the network convexity and numerically confirm that the strong duality holds. This conclusion is further verified in the linear fitting and denoising experiments. This work provides a new way to convexify soft-thresholding neural networks.
Abstract（参考訳）: ソフトスレッショニングはニューラルネットワークで広く使われている。その基本的なネットワーク構造は、軟弱な2層畳み込みニューラルネットワークである。ネットワークの非線形性と非凸性の性質から、トレーニングプロセスはネットワークパラメータの適切な初期化に大きく依存しており、グローバルな最適解を得るのが困難である。この問題を解決するために、凸二重ネットワークが設計されている。理論上,ネットワーク凸性を分析し,強双対性が成り立つことを数値的に確認する。この結論は線形フィッティングおよび復調実験でさらに検証される。この研究は、ソフトthresholdingニューラルネットワークを凸化する新しい方法を提供する。

関連論文リスト

Computable Lipschitz Bounds for Deep Neural Networks [0.0]
我々は$l2$ノルムのために書かれた3つの既存の上限を分析する。本稿では,フィードフォワード完全接続ニューラルネットワークと畳み込みニューラルネットワークの2つの新しい境界を提案する。
論文参考訳（メタデータ） (2024-10-28T14:09:46Z)
Compositional Curvature Bounds for Deep Neural Networks [7.373617024876726]
安全クリティカルなアプリケーションにおけるニューラルネットワークの普及を脅かす重要な課題は、敵の攻撃に対する脆弱性である。本研究では, 連続的に微分可能な深層ニューラルネットワークの2次挙動について検討し, 対向摂動に対する堅牢性に着目した。ニューラルネットワークの第2微分の証明可能な上界を解析的に計算する新しいアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-06-07T17:50:15Z)
Convex neural network synthesis for robustness in the 1-norm [0.0]
本稿では,より堅牢なニューラルネットワークの近似を生成する手法を提案する。モデル予測制御の堅牢化への応用は、その結果を示すために用いられる。
論文参考訳（メタデータ） (2024-05-29T12:17:09Z)
Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
論文参考訳（メタデータ） (2023-09-26T17:42:52Z)
Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文参考訳（メタデータ） (2022-08-08T03:13:24Z)
Excess Risk of Two-Layer ReLU Neural Networks in Teacher-Student Settings and its Superiority to Kernel Methods [58.44819696433327]
教師回帰モデルにおける2層ReLUニューラルネットワークのリスクについて検討する。学生ネットワークは、どの解法よりも確実に優れていることがわかった。
論文参考訳（メタデータ） (2022-05-30T02:51:36Z)
Optimization-Based Separations for Neural Networks [57.875347246373956]
本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
論文参考訳（メタデータ） (2021-12-04T18:07:47Z)
Fast Adaptation with Linearized Neural Networks [35.43406281230279]
ニューラルネットワークの線形化の帰納的バイアスについて検討し,全ネットワーク関数の驚くほどよい要約であることを示した。この発見に触発されて,これらの帰納的バイアスをネットワークのヤコビアンから設計されたカーネルを通してガウス過程に埋め込む手法を提案する。この設定では、領域適応は不確実性推定を伴う解釈可能な後方推論の形式を取る。
論文参考訳（メタデータ） (2021-03-02T03:23:03Z)
Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文参考訳（メタデータ） (2021-02-20T23:26:58Z)
Convex Regularization Behind Neural Reconstruction [21.369208659395042]
本論文では、凸ソルバにニューラルネットワークを拡張可能にする凸双対性フレームワークを提唱する。 MNIST fastMRIデータセットを用いた実験は、二重ネットワーク最適化問題の有効性を確認する。
論文参考訳（メタデータ） (2020-12-09T16:57:16Z)
The Hidden Convex Optimization Landscape of Two-Layer ReLU Neural Networks: an Exact Characterization of the Optimal Solutions [51.60996023961886]
コーン制約のある凸最適化プログラムを解くことにより,グローバルな2層ReLUニューラルネットワークの探索が可能であることを示す。我々の分析は新しく、全ての最適解を特徴づけ、最近、ニューラルネットワークのトレーニングを凸空間に持ち上げるために使われた双対性に基づく分析を活用できない。
論文参考訳（メタデータ） (2020-06-10T15:38:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。