論文の概要: TensorProjection Layer: A Tensor-Based Dimension Reduction Method in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2004.04454v2
• Date: Tue, 22 Oct 2024 07:40:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:26:35.971852
• Title: TensorProjection Layer: A Tensor-Based Dimension Reduction Method in Deep Neural Networks
• Title（参考訳）: テンソルプロジェクション層:ディープニューラルネットワークにおけるテンソルベース次元削減法
• Authors: Toshinari Morimoto, Su-Yun Huang,
• Abstract要約: 本稿では,ディープニューラルネットワークにおけるテンソル構造特徴データに特化して設計された次元削減手法を提案する。 この手法は「プロジェクション層」と呼ばれる隠された層として実装され、入力テンソルをモードワイドプロジェクションを通じて縮小次元の出力テンソルに変換する。 数値実験により,提案手法はタスクにおいて,プール層などの従来のダウンサンプリング手法よりも優れており,特徴要約の有望な代替手段である可能性が示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: In this paper, we propose a dimension reduction method specifically designed for tensor-structured feature data in deep neural networks. The method is implemented as a hidden layer, called the TensorProjection layer, which transforms input tensors into output tensors with reduced dimensions through mode-wise projections. The projection directions are treated as model parameters of the layer and are optimized during model training. Our method can serve as an alternative to pooling layers for summarizing image data, or to convolutional layers as a technique for reducing the number of channels. We conduct experiments on tasks such as medical image classification and segmentation, integrating the TensorProjection layer into commonly used baseline architectures to evaluate its effectiveness. Numerical experiments indicate that the proposed method can outperform traditional downsampling methods, such as pooling layers, in our tasks, suggesting it as a promising alternative for feature summarization.
• Abstract（参考訳）: 本稿では,ディープニューラルネットワークにおけるテンソル構造特徴データに特化して設計された次元削減手法を提案する。 この手法はテンソルプロジェクション層と呼ばれる隠蔽層として実装され、モードワイドプロジェクションを通じて、入力テンソルを縮小次元の出力テンソルに変換する。 投影方向は層のモデルパラメータとして扱われ、モデルトレーニング中に最適化される。 提案手法は,画像データの要約のためのプール層や,チャネル数の削減手法としての畳み込み層に代えて有効である。 医用画像分類やセグメンテーションなどのタスクの実験を行い、テンソルプロジェクション層を一般的なベースラインアーキテクチャに統合し、その有効性を評価する。 数値実験により,提案手法はタスクにおいて,プール層などの従来のダウンサンプリング手法よりも優れており,特徴要約の有望な代替手段である可能性が示唆された。

関連論文リスト

• A Generic Layer Pruning Method for Signal Modulation Recognition Deep Learning Models [17.996775444294276]
  ディープニューラルネットワークは信号分類の方法として好まれている。 それらはしばしば高い計算複雑性と大きなモデルサイズを持つ。 本稿では,この課題に対処する新しいレイヤ・プルーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-06-12T06:46:37Z)
• Layer-wise Linear Mode Connectivity [52.6945036534469]
  ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。 フェデレートラーニングにおいて最も顕著に用いられている。 私たちは、単一グループやグループを平均化するモデルの性能を分析します。
  論文  参考訳（メタデータ） (2023-07-13T09:39:10Z)
• Reparameterization through Spatial Gradient Scaling [69.27487006953852]
  リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。 本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2023-03-05T17:57:33Z)
• WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
  ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。 我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。 本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
  論文  参考訳（メタデータ） (2023-01-03T20:57:22Z)
• Defensive Tensorization [113.96183766922393]
  本稿では,ネットワークの遅延高次分解を利用した対角防御手法であるテンソル防御手法を提案する。 我々は,標準画像分類ベンチマークにおけるアプローチの有効性を実証的に実証した。 我々は,音声タスクとバイナリネットワークを考慮し,ドメイン間のアプローチと低精度アーキテクチャの汎用性を検証した。
  論文  参考訳（メタデータ） (2021-10-26T17:00:16Z)
• Backward Gradient Normalization in Deep Neural Networks [68.8204255655161]
  ニューラルネットワークトレーニングにおける勾配正規化のための新しい手法を提案する。 勾配は、ネットワークアーキテクチャ内の特定の点で導入された正規化レイヤを使用して、後方通過中に再スケールされる。 非常に深いニューラルネットワークを用いたテストの結果、新しい手法が勾配ノルムを効果的に制御できることが示されている。
  論文  参考訳（メタデータ） (2021-06-17T13:24:43Z)
• Enhancing Deep Neural Network Saliency Visualizations with Gradual Extrapolation [0.0]
  Grad-CAMやExcit Backpropagationのようなクラスアクティベーションマッピング手法の拡張手法を提案する。 我々のアイデアはGradual Extrapolationと呼ばれ、出力をシャープすることでヒートマップ画像を生成するメソッドを補うことができる。
  論文  参考訳（メタデータ） (2021-04-11T07:39:35Z)
• Lattice Fusion Networks for Image Denoising [4.010371060637209]
  本稿では,畳み込みニューラルネットワークにおける特徴融合手法を提案する。 これらの手法のいくつかと提案したネットワークは、DAG(Directed Acyclic Graph)ネットワークの一種と見なすことができる。 提案したネットワークは、学習可能なパラメータをはるかに少なくして、より良い結果を得ることができる。
  論文  参考訳（メタデータ） (2020-11-28T18:57:54Z)
• Tensor decomposition to Compress Convolutional Layers in Deep Learning [5.199454801210509]
  本稿では,CP分解法を用いて,ディープラーニングにおける畳み込み層(CPAC-Conv層)を近似的に圧縮することを提案する。 提案するCPAC-Conv層に対して, 提案したCPAC-Conv層に対して, 提案したCPAC-Conv層を圧縮するためにCP分解を適用し, 提案したCPAC-Conv層と比較して, 提案したCPAC-Conv層は, 予測性能を損なうことなくパラメータ数を減少させることができ, (3) 分解されたカーネルの値は, 対応する特徴写像の意義を示す。
  論文  参考訳（メタデータ） (2020-05-28T02:35:48Z)
• Backprojection for Training Feedforward Neural Networks in the Input and Feature Spaces [12.323996999894002]
  本稿では,バックプロパゲーションよりもかなり高速なフィードフォワードニューラルネットワークのトレーニングアルゴリズムを提案する。 提案アルゴリズムは、それぞれバックプロジェクションとカーネルバックプロジェクションと呼ばれる入力空間と特徴空間の両方に利用できる。
  論文  参考訳（メタデータ） (2020-04-05T20:53:11Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。