論文の概要: High-dimensional Neural Feature Design for Layer-wise Reduction of
Training Cost
- arxiv url: http://arxiv.org/abs/2003.13058v2
- Date: Fri, 21 Aug 2020 21:16:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-18 13:14:33.925396
- Title: High-dimensional Neural Feature Design for Layer-wise Reduction of
Training Cost
- Title(参考訳): 層別学習コスト削減のための高次元ニューラル特徴設計
- Authors: Alireza M. Javid, Arun Venkitaraman, Mikael Skoglund, and Saikat
Chatterjee
- Abstract要約: 特徴ベクトルを各層の高次元空間にマッピングすることで,ReLUに基づく多層ニューラルネットワークを設計する。
提案アーキテクチャはノルム保存であり,可逆的特徴ベクトルを提供する。
- 参考スコア(独自算出の注目度): 47.34374677507664
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We design a ReLU-based multilayer neural network by mapping the feature
vectors to a higher dimensional space in every layer. We design the weight
matrices in every layer to ensure a reduction of the training cost as the
number of layers increases. Linear projection to the target in the higher
dimensional space leads to a lower training cost if a convex cost is minimized.
An $\ell_2$-norm convex constraint is used in the minimization to reduce the
generalization error and avoid overfitting. The regularization hyperparameters
of the network are derived analytically to guarantee a monotonic decrement of
the training cost, and therefore, it eliminates the need for cross-validation
to find the regularization hyperparameter in each layer. We show that the
proposed architecture is norm-preserving and provides an invertible feature
vector, and therefore, can be used to reduce the training cost of any other
learning method which employs linear projection to estimate the target.
- Abstract(参考訳): 特徴ベクトルを各層の高次元空間にマッピングすることで,ReLUに基づく多層ニューラルネットワークを設計する。
我々は,各層における重み行列を設計し,レイヤー数の増加に伴ってトレーニングコストの低減を図る。
高次元空間における目標への線形射影は、凸コストを最小化した場合、トレーニングコストを低下させる。
最小化には$\ell_2$-normの凸制約が使われ、一般化エラーを減らし、オーバーフィッティングを避ける。
ネットワークの正規化ハイパーパラメータは、トレーニングコストの単調な減少を保証するために解析的に導出されるため、各層で正規化ハイパーパラメータを見つけるためのクロスバリデーションは不要である。
提案アーキテクチャは正規保存であり,非可逆な特徴ベクトルを提供するので,対象を推定するために線形投影を用いる他の学習手法の訓練コストを削減できることを示す。
関連論文リスト
- Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。
アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。
提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
論文 参考訳(メタデータ) (2023-12-25T18:51:23Z) - Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳(メタデータ) (2023-03-16T21:06:13Z) - Sketchy: Memory-efficient Adaptive Regularization with Frequent
Directions [22.09320263962004]
ディープラーニング(DL)学習タスクにおけるKronecker-factored gradient covariance matrixのスペクトルは、小さなリード固有空間に集中している。
本稿では,行列プレコンディショナを維持するためのメモリと計算要求を低減させる汎用的手法について述べる。
ShampooやAdamと競合する手法で、第2の瞬間を追跡するにはサブ線形メモリしか必要ありません。
論文 参考訳(メタデータ) (2023-02-07T21:50:06Z) - Smoothed Online Convex Optimization Based on Discounted-Normal-Predictor [68.17855675511602]
円滑なオンライン凸最適化(SOCO)のためのオンライン予測戦略について検討する。
提案アルゴリズムは,各区間の切替コストで適応的後悔を最小限に抑えることができることを示す。
論文 参考訳(メタデータ) (2022-05-02T08:48:22Z) - Error-Correcting Neural Networks for Two-Dimensional Curvature
Computation in the Level-Set Method [0.0]
本稿では,2次元曲率をレベルセット法で近似するための誤差ニューラルモデルに基づく手法を提案する。
我々の主な貢献は、需要に応じて機械学習操作を可能にする数値スキームに依存する、再設計されたハイブリッド・ソルバである。
論文 参考訳(メタデータ) (2022-01-22T05:14:40Z) - Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。
我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
論文 参考訳(メタデータ) (2021-11-02T20:24:01Z) - Training Over-parameterized Models with Non-decomposable Objectives [46.62273918807789]
より一般的なコスト行列を扱うために,ロジット調整という古典的な考え方を拡張した新たなコスト感受性損失を提案する。
私たちの損失は校正され、教師モデルの蒸留ラベルでさらに改善できます。
論文 参考訳(メタデータ) (2021-07-09T19:29:33Z) - A block coordinate descent optimizer for classification problems
exploiting convexity [0.0]
隠れ層の重み付けにおけるクロスエントロピー損失の凸性を利用した分類タスクのためのディープ線形ネットワークに座標降下法を導入する。
線形層に対する大域的最適パラメータと隠蔽層への勾配勾配を求める2次法とを交互に組み合わせることで、トレーニング全体を通してデータに対する適応基底の最適適合性を確保する。
論文 参考訳(メタデータ) (2020-06-17T19:49:06Z) - Sparse aNETT for Solving Inverse Problems with Deep Learning [2.5234156040689237]
逆問題を解決するためのスパース再構成フレームワーク(aNETT)を提案する。
非線形スペーシング変換として機能するオートエンコーダネットワーク$D circ E$をトレーニングする。
スパースCTでは数値的な結果が得られた。
論文 参考訳(メタデータ) (2020-04-20T18:43:13Z) - On the Global Convergence of Training Deep Linear ResNets [104.76256863926629]
我々は、$L$-hidden-layer linear residual network(ResNets)のトレーニングのための勾配降下(GD)と勾配降下(SGD)の収束について検討する。
入力層と出力層で一定の線形変換を施したディープ残差ネットワークのトレーニングを行う場合,GDとSGDは共に,トレーニング損失の最小限に収束できることを示す。
論文 参考訳(メタデータ) (2020-03-02T18:34:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。