Fugu-MT 論文翻訳(概要): TensorProjection Layer: A Tensor-Based Dimensionality Reduction Method in CNN

論文の概要: TensorProjection Layer: A Tensor-Based Dimensionality Reduction Method in CNN

arxiv url: http://arxiv.org/abs/2004.04454v1
Date: Thu, 9 Apr 2020 09:52:49 GMT
ステータス: 処理完了
システム内更新日: 2022-12-15 01:50:59.547399
Title: TensorProjection Layer: A Tensor-Based Dimensionality Reduction Method in CNN
Title（参考訳）: テンソルプロジェクション層:CNNにおけるテンソルベース次元化手法
Authors: Toshinari Morimoto, Su-Yun Huang
Abstract要約: 本稿では,畳み込みニューラルネットワークにおける隠れ層としてテンソル構造データに適用した次元削減手法を提案する。提案手法は,入力テンソルを投影によりより小さな次元のものに変換する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we propose a dimensionality reduction method applied to tensor-structured data as a hidden layer (we call it TensorProjection Layer) in a convolutional neural network. Our proposed method transforms input tensors into ones with a smaller dimension by projection. The directions of projection are viewed as training parameters associated with our proposed layer and trained via a supervised learning criterion such as minimization of the cross-entropy loss function. We discuss the gradients of the loss function with respect to the parameters associated with our proposed layer. We also implement simple numerical experiments to evaluate the performance of the TensorProjection Layer.
Abstract（参考訳）: 本稿では,畳み込みニューラルネットワークにおけるテンソルプロジェクション層(テンソルプロジェクション層)の隠蔽層としてテンソル構造データに適用した次元削減手法を提案する。提案手法は,入力テンソルを投影によりより小さな次元のものに変換する。プロジェクションの方向は,提案層に関連するトレーニングパラメータと見なされ,クロスエントロピー損失関数の最小化などの教師あり学習基準によって学習される。提案する層に関連付けられたパラメータに関して,損失関数の勾配について検討する。また,テンソル投影層の性能評価のために,簡単な数値実験も実施する。

関連論文リスト

A Generic Layer Pruning Method for Signal Modulation Recognition Deep Learning Models [17.996775444294276]
ディープニューラルネットワークは信号分類の方法として好まれている。それらはしばしば高い計算複雑性と大きなモデルサイズを持つ。本稿では,この課題に対処する新しいレイヤ・プルーニング手法を提案する。
論文参考訳（メタデータ） (2024-06-12T06:46:37Z)
Layer-wise Linear Mode Connectivity [52.6945036534469]
ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。フェデレートラーニングにおいて最も顕著に用いられている。私たちは、単一グループやグループを平均化するモデルの性能を分析します。
論文参考訳（メタデータ） (2023-07-13T09:39:10Z)
Reparameterization through Spatial Gradient Scaling [69.27487006953852]
リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
論文参考訳（メタデータ） (2023-03-05T17:57:33Z)
WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
論文参考訳（メタデータ） (2023-01-03T20:57:22Z)
Defensive Tensorization [113.96183766922393]
本稿では,ネットワークの遅延高次分解を利用した対角防御手法であるテンソル防御手法を提案する。我々は,標準画像分類ベンチマークにおけるアプローチの有効性を実証的に実証した。我々は,音声タスクとバイナリネットワークを考慮し,ドメイン間のアプローチと低精度アーキテクチャの汎用性を検証した。
論文参考訳（メタデータ） (2021-10-26T17:00:16Z)
Backward Gradient Normalization in Deep Neural Networks [68.8204255655161]
ニューラルネットワークトレーニングにおける勾配正規化のための新しい手法を提案する。勾配は、ネットワークアーキテクチャ内の特定の点で導入された正規化レイヤを使用して、後方通過中に再スケールされる。非常に深いニューラルネットワークを用いたテストの結果、新しい手法が勾配ノルムを効果的に制御できることが示されている。
論文参考訳（メタデータ） (2021-06-17T13:24:43Z)
Enhancing Deep Neural Network Saliency Visualizations with Gradual Extrapolation [0.0]
Grad-CAMやExcit Backpropagationのようなクラスアクティベーションマッピング手法の拡張手法を提案する。我々のアイデアはGradual Extrapolationと呼ばれ、出力をシャープすることでヒートマップ画像を生成するメソッドを補うことができる。
論文参考訳（メタデータ） (2021-04-11T07:39:35Z)
Lattice Fusion Networks for Image Denoising [4.010371060637209]
本稿では,畳み込みニューラルネットワークにおける特徴融合手法を提案する。これらの手法のいくつかと提案したネットワークは、DAG(Directed Acyclic Graph)ネットワークの一種と見なすことができる。提案したネットワークは、学習可能なパラメータをはるかに少なくして、より良い結果を得ることができる。
論文参考訳（メタデータ） (2020-11-28T18:57:54Z)
Tensor decomposition to Compress Convolutional Layers in Deep Learning [5.199454801210509]
本稿では,CP分解法を用いて,ディープラーニングにおける畳み込み層(CPAC-Conv層)を近似的に圧縮することを提案する。提案するCPAC-Conv層に対して, 提案したCPAC-Conv層に対して, 提案したCPAC-Conv層を圧縮するためにCP分解を適用し, 提案したCPAC-Conv層と比較して, 提案したCPAC-Conv層は, 予測性能を損なうことなくパラメータ数を減少させることができ, (3) 分解されたカーネルの値は, 対応する特徴写像の意義を示す。
論文参考訳（メタデータ） (2020-05-28T02:35:48Z)
Backprojection for Training Feedforward Neural Networks in the Input and Feature Spaces [12.323996999894002]
本稿では,バックプロパゲーションよりもかなり高速なフィードフォワードニューラルネットワークのトレーニングアルゴリズムを提案する。提案アルゴリズムは、それぞれバックプロジェクションとカーネルバックプロジェクションと呼ばれる入力空間と特徴空間の両方に利用できる。
論文参考訳（メタデータ） (2020-04-05T20:53:11Z)
Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。上記の問題に対処するための特徴歪み法(Disout)を提案する。より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
論文参考訳（メタデータ） (2020-02-23T13:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。