論文の概要: The Curious Case of Convex Neural Networks
- arxiv url: http://arxiv.org/abs/2006.05103v3
- Date: Sat, 10 Jul 2021 10:51:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-23 13:41:39.032606
- Title: The Curious Case of Convex Neural Networks
- Title（参考訳）: 凸ニューラルネットワークの奇妙なケース
- Authors: Sarath Sivaprasad, Ankur Singh, Naresh Manwani, Vineet Gandhi
- Abstract要約: 完全連結層と畳み込み層の両方に凸性制約を適用可能であることを示す。
a) IOC-NN(Input Output Convex Neural Networks)の自己正規化とオーバーフィッティング(オーバーフィッティング)の問題の低減; (b) 厳しい制約にもかかわらず、ベースマルチレイヤのパーセプトロンを上回り、ベースコンボリューションアーキテクチャと比較して同様のパフォーマンスを実現する。
- 参考スコア（独自算出の注目度）: 12.56278477726461
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we investigate a constrained formulation of neural networks
where the output is a convex function of the input. We show that the convexity
constraints can be enforced on both fully connected and convolutional layers,
making them applicable to most architectures. The convexity constraints include
restricting the weights (for all but the first layer) to be non-negative and
using a non-decreasing convex activation function. Albeit simple, these
constraints have profound implications on the generalization abilities of the
network. We draw three valuable insights: (a) Input Output Convex Neural
Networks (IOC-NNs) self regularize and reduce the problem of overfitting; (b)
Although heavily constrained, they outperform the base multi layer perceptrons
and achieve similar performance as compared to base convolutional architectures
and (c) IOC-NNs show robustness to noise in train labels. We demonstrate the
efficacy of the proposed idea using thorough experiments and ablation studies
on standard image classification datasets with three different neural network
architectures.
- Abstract（参考訳）: 本稿では,入力の凸関数を出力とするニューラルネットワークの制約付き定式化について検討する。
完全連結層と畳み込み層の両方で凸性制約を強制でき、ほとんどのアーキテクチャに適用できることを示した。
凸性制約は、(第一層を除いて)重みを非負に制限し、非減少凸活性化関数を使用することを含む。
単純ではあるが、これらの制約はネットワークの一般化能力に深い影響を及ぼす。
3つの貴重な洞察を導きます
(a)入力出力凸ニューラルネットワーク(IOC-NN)の自己正規化と過度適合問題の低減
(b)厳しい制約があるにもかかわらず、ベース多層パーセプトロンよりも優れ、ベース畳み込みアーキテクチャと同じような性能を達成する。
(c)IOC-NNは,列車ラベルの騒音に対する堅牢性を示す。
3種類のニューラルネットワークアーキテクチャを用いた標準画像分類データセットの徹底的な実験とアブレーション実験を用いて,提案手法の有効性を実証する。
関連論文リスト
- LinSATNet: The Positive Linear Satisfiability Neural Networks [116.65291739666303]
本稿では,ニューラルネットワークに人気の高い正の線形満足度を導入する方法について検討する。
本稿では,古典的なシンクホーンアルゴリズムを拡張し,複数の辺分布の集合を共同で符号化する,最初の微分可能満足層を提案する。
論文 参考訳（メタデータ） (2024-07-18T22:05:21Z) - Information-Theoretic Generalization Bounds for Deep Neural Networks [22.87479366196215]
ディープニューラルネットワーク(DNN)は、実用的な応用において、非常に優れた一般化能力を示す。
本研究の目的は,情報理論の一般化境界による教師あり学習における深度の影響とメリットを捉えることである。
論文 参考訳（メタデータ） (2024-04-04T03:20:35Z) - LogicMP: A Neuro-symbolic Approach for Encoding First-order Logic Constraints [42.16663204729038]
本稿では,MLN上で平均場変動推定を行う新しいニューラルネットワーク層LogicMPを提案する。
モジュール性と効率を保ちながら、FOLCをエンコードするために、市販のニューラルネットワークにプラグインすることができる。
グラフ、画像、テキストの3種類のタスクを経験した結果、LogicMPは、パフォーマンスと効率の両面で、先進的な競合より優れています。
論文 参考訳（メタデータ） (2023-09-27T07:52:30Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳（メタデータ） (2023-05-30T19:37:44Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Towards Practical Control of Singular Values of Convolutional Layers [65.25070864775793]
畳み込みニューラルネットワーク(CNN)の訓練は容易であるが、一般化誤差や対向ロバスト性といった基本的な特性は制御が難しい。
最近の研究では、畳み込み層の特異値がそのような解像特性に顕著に影響を及ぼすことが示された。
我々は,レイヤ表現力の著しく低下を犠牲にして,先行技術の制約を緩和するための原則的アプローチを提供する。
論文 参考訳（メタデータ） (2022-11-24T19:09:44Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳（メタデータ） (2022-08-08T03:13:24Z) - CoNSoLe: Convex Neural Symbolic Learning [45.08051574243274]
データから基礎となる方程式を学ぶことは、多くの分野において根本的な問題である。
最近の進歩はニューラルネットワーク(NN)に依存しているが、理論的保証は提供していない。
論文 参考訳（メタデータ） (2022-06-01T06:38:03Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳（メタデータ） (2022-05-11T17:43:54Z) - Convexifying Sparse Interpolation with Infinitely Wide Neural Networks:
An Atomic Norm Approach [4.380224449592902]
この研究は、漏れやすい整列線形単位活性化を伴うスパース(ニューロン数)、無限幅の単一の隠蔽層ニューラルネットワークによる正確なデータの問題を調べる。
ネットワークの重みと偏りに関するいくつかの異なる制約の下で、この問題に対する対応する原子集合の凸殻の簡易な特徴付けを導出する。
また,提案手法を二項分類問題に拡張した。
論文 参考訳（メタデータ） (2020-07-15T21:40:51Z) - Tensor decomposition to Compress Convolutional Layers in Deep Learning [5.199454801210509]
本稿では,CP分解法を用いて,ディープラーニングにおける畳み込み層(CPAC-Conv層)を近似的に圧縮することを提案する。
提案するCPAC-Conv層に対して, 提案したCPAC-Conv層に対して, 提案したCPAC-Conv層を圧縮するためにCP分解を適用し, 提案したCPAC-Conv層と比較して, 提案したCPAC-Conv層は, 予測性能を損なうことなくパラメータ数を減少させることができ, (3) 分解されたカーネルの値は, 対応する特徴写像の意義を示す。
論文 参考訳（メタデータ） (2020-05-28T02:35:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。