論文の概要: Dual Convexified Convolutional Neural Networks
- arxiv url: http://arxiv.org/abs/2205.14056v1
- Date: Fri, 27 May 2022 15:45:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-30 13:34:13.325572
- Title: Dual Convexified Convolutional Neural Networks
- Title（参考訳）: 二重凸畳み込みニューラルネットワーク
- Authors: Site Bai, Chuyang Ke, Jean Honorio
- Abstract要約: 二重凸畳み込みニューラルネットワーク(DCCNN)の枠組みを提案する。
このフレームワークでは、まず、凸化された畳み込みニューラルネットワーク(CCNN)から動機付けられた予備学習問題を導入する。
次に、KKT条件とフェンシェル共役条件を慎重に解析し、二重凸訓練プログラムを構築する。
- 参考スコア（独自算出の注目度）: 27.0231994885228
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose the framework of dual convexified convolutional neural networks
(DCCNNs). In this framework, we first introduce a primal learning problem
motivated from convexified convolutional neural networks (CCNNs), and then
construct the dual convex training program through careful analysis of the
Karush-Kuhn-Tucker (KKT) conditions and Fenchel conjugates. Our approach
reduces the memory overhead of constructing a large kernel matrix and
eliminates the ambiguity of factorizing the matrix. Due to the low-rank
structure in CCNNs and the related subdifferential of nuclear norms, there is
no closed-form expression to recover the primal solution from the dual
solution. To overcome this, we propose a highly novel weight recovery
algorithm, which takes the dual solution and the kernel information as the
input, and recovers the linear and convolutional weights of a CCNN.
Furthermore, our recovery algorithm exploits the low-rank structure and imposes
a small number of filters indirectly, which reduces the parameter size. As a
result, DCCNNs inherit all the statistical benefits of CCNNs, while enjoying a
more formal and efficient workflow.
- Abstract（参考訳）: 本稿では、二重凸型畳み込みニューラルネットワーク(DCCNN)の枠組みを提案する。
本稿では,まず,ccnn(convexified convolutional neural networks)を動機とする初等的学習問題を導入し,karush-kuhn-tucker(kkt)条件とfenchel共役条件を注意深く解析し,双対凸トレーニングプログラムを構築する。
本手法は,大規模なカーネルマトリックス構築のメモリオーバーヘッドを低減し,行列の因子化のあいまいさを解消する。
CCNNの低ランク構造と関連する核ノルムのサブディファレンシャルのため、双対解から原始解を回収する閉形式表現は存在しない。
そこで本研究では,二つの解とカーネル情報を入力とし,ccnnの線形および畳み込み重みを復元する,高度に新しい重み回復アルゴリズムを提案する。
さらに,本アルゴリズムは低ランク構造を利用して,間接的に少数のフィルタを課し,パラメータサイズを小さくする。
結果として、DCCNNはよりフォーマルで効率的なワークフローを楽しみながら、CCNNの統計上の利点をすべて継承する。
関連論文リスト
- Compositional Curvature Bounds for Deep Neural Networks [7.373617024876726]
安全クリティカルなアプリケーションにおけるニューラルネットワークの普及を脅かす重要な課題は、敵の攻撃に対する脆弱性である。
本研究では, 連続的に微分可能な深層ニューラルネットワークの2次挙動について検討し, 対向摂動に対する堅牢性に着目した。
ニューラルネットワークの第2微分の証明可能な上界を解析的に計算する新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-06-07T17:50:15Z) - The Convex Landscape of Neural Networks: Characterizing Global Optima
and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。
本稿では,凸型神経回復モデルについて検討する。
定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文 参考訳（メタデータ） (2023-12-19T23:04:56Z) - Fixing the NTK: From Neural Network Linearizations to Exact Convex
Programs [63.768739279562105]
学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。
この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
論文 参考訳（メタデータ） (2023-09-26T17:42:52Z) - Compacting Binary Neural Networks by Sparse Kernel Selection [58.84313343190488]
本稿は,BNNにおけるバイナリカーネルの分散化がほぼ不可能であることを示すものである。
我々は、選択過程をエンドツーエンドに最適化するだけでなく、選択したコードワードの非反復的占有を維持できる置換ストレートスルー推定器(PSTE)を開発した。
実験により,提案手法はモデルサイズとビット幅の計算コストの両方を削減し,同等の予算下での最先端のBNNと比較して精度の向上を実現する。
論文 参考訳（メタデータ） (2023-03-25T13:53:02Z) - On Model Compression for Neural Networks: Framework, Algorithm, and Convergence Guarantee [21.818773423324235]
本稿では,低ランク近似と重み近似の2つのモデル圧縮手法に焦点を当てた。
本稿では,非最適化の新たな視点から,モデル圧縮のための全体論的なフレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-13T02:14:42Z) - A Recursively Recurrent Neural Network (R2N2) Architecture for Learning
Iterative Algorithms [64.3064050603721]
本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。
本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
論文 参考訳（メタデータ） (2022-11-22T16:30:33Z) - Fast Convex Optimization for Two-Layer ReLU Networks: Equivalent Model
Classes and Cone Decompositions [41.337814204665364]
ReLUアクティベーション機能を持つ2層ニューラルネットワークの凸最適化アルゴリズムを開発した。
凸ゲート型ReLUモデルでは,ReLUトレーニング問題に対するデータ依存の近似バウンダリが得られることを示す。
論文 参考訳（メタデータ） (2022-02-02T23:50:53Z) - Kronecker-factored Quasi-Newton Methods for Convolutional Neural
Networks [10.175972095073282]
KF-QN-CNNは、新しい準因子学習畳み込みニューラルネットワーク(CNN)である
KF-QN-CNNは一貫してすべてのテストで優れた性能を発揮しました。
論文 参考訳（メタデータ） (2021-02-12T19:40:34Z) - ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。
我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
論文 参考訳（メタデータ） (2020-09-04T20:41:47Z) - Implicit Convex Regularizers of CNN Architectures: Convex Optimization
of Two- and Three-Layer Networks in Polynomial Time [70.15611146583068]
本稿では,ReLUアクティベーションを用いた畳み込みニューラルネットワーク(CNN)のトレーニングについて検討する。
我々は,データサンプル数,ニューロン数,データ次元に関して,厳密な凸最適化を導入する。
論文 参考訳（メタデータ） (2020-06-26T04:47:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。