論文の概要: A Dimensionality Reduction Approach for Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2110.09163v1
• Date: Mon, 18 Oct 2021 10:31:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-19 15:01:54.020426
• Title: A Dimensionality Reduction Approach for Convolutional Neural Networks
• Title（参考訳）: 畳み込みニューラルネットワークの次元性低減手法
• Authors: Laura Meneghetti and Nicola Demo and Gianluigi Rozza
• Abstract要約: 本稿では,上記の次元削減手法と入出力マッピングを組み合わせることで,事前学習ネットワークの層数を削減できる汎用手法を提案する。 本実験により, 従来の畳み込みニューラルネットワークと同様の精度を達成でき, メモリ割り当てを抑えることができることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The focus of this paper is the application of classical model order reduction techniques, such as Active Subspaces and Proper Orthogonal Decomposition, to Deep Neural Networks. We propose a generic methodology to reduce the number of layers of a pre-trained network by combining the aforementioned techniques for dimensionality reduction with input-output mappings, such as Polynomial Chaos Expansion and Feedforward Neural Networks. The necessity of compressing the architecture of an existing Convolutional Neural Network is motivated by its application in embedded systems with specific storage constraints. Our experiment shows that the reduced nets obtained can achieve a level of accuracy similar to the original Convolutional Neural Network under examination, while saving in memory allocation.
• Abstract（参考訳）: 本稿では, アクティブ部分空間や固有直交分解などの古典的モデルオーダー削減手法をディープニューラルネットワークに適用することに焦点を当てた。 本稿では,上記の次元性低減手法と,多項式カオス展開やフィードフォワードニューラルネットワークといった入出力マッピングを組み合わせることで,事前学習したネットワークの層数を削減する汎用手法を提案する。 既存の畳み込みニューラルネットワークのアーキテクチャを圧縮する必要性は、特定のストレージ制約のある組み込みシステムへの応用によって動機付けられる。 実験の結果, 得られたネットは, メモリ割り当てを節約しながら, 元の畳み込みニューラルネットワークと同様の精度が得られることがわかった。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Network Inversion of Binarised Neural Nets [3.5571131514746837]
  ニューラルネットワークの出力マッピングに対する入力のブラックボックスの性質を解明する上で、ネットワークの反転は重要な役割を担っている。 本稿では,ネットワークの構造をキャプチャするCNF式に符号化することで,訓練されたBNNを逆転させる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T09:39:54Z)
• From NeurODEs to AutoencODEs: a mean-field control framework for width-varying Neural Networks [68.8204255655161]
  本稿では,動的に駆動する制御フィールドをベースとした,AutoencODEと呼ばれる新しいタイプの連続時間制御システムを提案する。 損失関数が局所凸な領域では,多くのアーキテクチャが復元可能であることを示す。
  論文  参考訳（メタデータ） (2023-07-05T13:26:17Z)
• Guaranteed Quantization Error Computation for Neural Network Model Compression [2.610470075814367]
  ニューラルネットワークモデル圧縮技術は、産業システムの組み込みデバイス上でのディープニューラルネットワークの計算問題に対処することができる。 統合されたニューラルネットワークは、フィードフォワードニューラルネットワークとその量子化されたバージョンから構築され、2つのニューラルネットワーク間の正確な出力差を生成する。
  論文  参考訳（メタデータ） (2023-04-26T20:21:54Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Quiver neural networks [5.076419064097734]
  ニューラルネットワーク接続アーキテクチャの解析に対する一様理論的アプローチを開発する。 数学におけるquiver表現理論にインスパイアされたこのアプローチは、精巧なデータフローを捉えるためのコンパクトな方法を与える。
  論文  参考訳（メタデータ） (2022-07-26T09:42:45Z)
• Imbedding Deep Neural Networks [0.0]
  ニューラルODEのような連続深度ニューラルネットワークは、非線形ベクトル値の最適制御問題の観点から、残留ニューラルネットワークの理解を再燃させた。 本稿では,ネットワークの深さを基本変数とする新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T22:00:41Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Compact Neural Representation Using Attentive Network Pruning [1.0152838128195465]
  本稿では,Bottom-Upフィードフォワードネットワークに付加されたTop-Downアテンション機構について述べる。 提案手法は, 新たな階層選択機構をプルーニングの基礎として導入するだけでなく, 実験評価において, 従来のベースライン手法と競合するままである。
  論文  参考訳（メタデータ） (2020-05-10T03:20:01Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。