論文の概要: TensorProjection Layer: A Tensor-Based Dimensionality Reduction Method
in CNN
- arxiv url: http://arxiv.org/abs/2004.04454v1
- Date: Thu, 9 Apr 2020 09:52:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-15 01:50:59.547399
- Title: TensorProjection Layer: A Tensor-Based Dimensionality Reduction Method
in CNN
- Title(参考訳): テンソルプロジェクション層:CNNにおけるテンソルベース次元化手法
- Authors: Toshinari Morimoto, Su-Yun Huang
- Abstract要約: 本稿では,畳み込みニューラルネットワークにおける隠れ層としてテンソル構造データに適用した次元削減手法を提案する。
提案手法は,入力テンソルを投影によりより小さな次元のものに変換する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose a dimensionality reduction method applied to
tensor-structured data as a hidden layer (we call it TensorProjection Layer) in
a convolutional neural network. Our proposed method transforms input tensors
into ones with a smaller dimension by projection. The directions of projection
are viewed as training parameters associated with our proposed layer and
trained via a supervised learning criterion such as minimization of the
cross-entropy loss function. We discuss the gradients of the loss function with
respect to the parameters associated with our proposed layer. We also implement
simple numerical experiments to evaluate the performance of the
TensorProjection Layer.
- Abstract(参考訳): 本稿では,畳み込みニューラルネットワークにおけるテンソルプロジェクション層(テンソルプロジェクション層)の隠蔽層としてテンソル構造データに適用した次元削減手法を提案する。
提案手法は,入力テンソルを投影によりより小さな次元のものに変換する。
プロジェクションの方向は,提案層に関連するトレーニングパラメータと見なされ,クロスエントロピー損失関数の最小化などの教師あり学習基準によって学習される。
提案する層に関連付けられたパラメータに関して,損失関数の勾配について検討する。
また,テンソル投影層の性能評価のために,簡単な数値実験も実施する。
関連論文リスト
- Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。
アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。
提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
論文 参考訳(メタデータ) (2023-12-25T18:51:23Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳(メタデータ) (2023-03-06T18:59:13Z) - Reparameterization through Spatial Gradient Scaling [69.27487006953852]
リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。
本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
論文 参考訳(メタデータ) (2023-03-05T17:57:33Z) - Convergence and Implicit Regularization Properties of Gradient Descent
for Deep Residual Networks [7.090165638014331]
一定の層幅とスムーズな活性化関数を持つ深層残留ネットワークのトレーニングにおいて,勾配勾配の線形収束性を大域最小限に証明する。
トレーニングされた重みは、層指数の関数として、ネットワークの深さが無限大になる傾向にあるため、H"古い"スケーリング制限が連続であることを示す。
論文 参考訳(メタデータ) (2022-04-14T22:50:28Z) - Memory-Efficient Backpropagation through Large Linear Layers [107.20037639738433]
Transformersのような現代のニューラルネットワークでは、線形層は後方通過時にアクティベーションを保持するために大きなメモリを必要とする。
本研究では,線形層によるバックプロパゲーションを実現するためのメモリ削減手法を提案する。
論文 参考訳(メタデータ) (2022-01-31T13:02:41Z) - Divergence Regulated Encoder Network for Joint Dimensionality Reduction
and Classification [2.989889278970106]
新規なヒストグラムニューラルネットワークを用いて関節寸法低減および分類を行う方法を検討する。
一般的な次元削減手法である t-Distributed Neighbor Embedding (t-SNE) により,本手法は低次元埋め込み空間における試料に計算された分類損失を組み込む。
以上の結果から,提案手法は分類性能を維持・/または向上させ,他のアプリケーションに役立つかもしれないニューラルネットワークの特徴を明らかにする。
論文 参考訳(メタデータ) (2020-12-31T17:39:02Z) - Numerical Exploration of Training Loss Level-Sets in Deep Neural
Networks [1.3706331473063877]
パラメータ空間内の経路を、固定された近ゼロのトレーニング損失を持つ集合に制約する。
この経路内の異なる点における正則化関数とテスト損失を測定することにより、パラメータ空間内の同じ固定トレーニング損失の異なる点が一般化能力においてどのように比較されるかを検討する。
我々の結果は、ディープニューラルネットワークの損失状況に関する新しい情報と、テスト損失を減らすための新しい戦略を提供する。
論文 参考訳(メタデータ) (2020-11-09T04:49:33Z) - A block coordinate descent optimizer for classification problems
exploiting convexity [0.0]
隠れ層の重み付けにおけるクロスエントロピー損失の凸性を利用した分類タスクのためのディープ線形ネットワークに座標降下法を導入する。
線形層に対する大域的最適パラメータと隠蔽層への勾配勾配を求める2次法とを交互に組み合わせることで、トレーニング全体を通してデータに対する適応基底の最適適合性を確保する。
論文 参考訳(メタデータ) (2020-06-17T19:49:06Z) - Deep Dimension Reduction for Supervised Representation Learning [51.10448064423656]
本研究は,本質的な特徴を持つ学習表現の次元削減手法を提案する。
提案手法は, 十分次元還元法の非パラメトリック一般化である。
推定された深度非パラメトリック表現は、その余剰リスクが0に収束するという意味で一貫したものであることを示す。
論文 参考訳(メタデータ) (2020-06-10T14:47:43Z) - Tensor decomposition to Compress Convolutional Layers in Deep Learning [5.199454801210509]
本稿では,CP分解法を用いて,ディープラーニングにおける畳み込み層(CPAC-Conv層)を近似的に圧縮することを提案する。
提案するCPAC-Conv層に対して, 提案したCPAC-Conv層に対して, 提案したCPAC-Conv層を圧縮するためにCP分解を適用し, 提案したCPAC-Conv層と比較して, 提案したCPAC-Conv層は, 予測性能を損なうことなくパラメータ数を減少させることができ, (3) 分解されたカーネルの値は, 対応する特徴写像の意義を示す。
論文 参考訳(メタデータ) (2020-05-28T02:35:48Z) - Beyond Dropout: Feature Map Distortion to Regularize Deep Neural
Networks [107.77595511218429]
本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。
上記の問題に対処するための特徴歪み法(Disout)を提案する。
より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
論文 参考訳(メタデータ) (2020-02-23T13:59:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。