論文の概要: Enhancing ResNet Image Classification Performance by using Parameterized Hypercomplex Multiplication

• arxiv url: http://arxiv.org/abs/2301.04623v1
• Date: Wed, 11 Jan 2023 18:24:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-12 17:01:45.557907
• Title: Enhancing ResNet Image Classification Performance by using Parameterized Hypercomplex Multiplication
• Title（参考訳）: パラメータ化ハイパーコンプレックス乗算によるresnet画像分類性能の向上
• Authors: Nazmul Shahadat, Anthony S. Maida
• Abstract要約: 本稿ではResNetアーキテクチャについて検討し、パラメータ化ハイパープレックス乗算を残差、四元数、ベクトルマップ畳み込みニューラルネットワークのバックエンドに組み込んでその効果を評価する。 PHMは、小型で低解像度のCIFAR 10/100や高解像度の ImageNet や ASL など、複数の画像データセットの分類精度を向上し、超複素ネットワークにおける最先端の精度を実現することができることを示す。
• 参考スコア（独自算出の注目度）: 1.370633147306388
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, many deep networks have introduced hypercomplex and related calculations into their architectures. In regard to convolutional networks for classification, these enhancements have been applied to the convolution operations in the frontend to enhance accuracy and/or reduce the parameter requirements while maintaining accuracy. Although these enhancements have been applied to the convolutional frontend, it has not been studied whether adding hypercomplex calculations improves performance when applied to the densely connected backend. This paper studies ResNet architectures and incorporates parameterized hypercomplex multiplication (PHM) into the backend of residual, quaternion, and vectormap convolutional neural networks to assess the effect. We show that PHM does improve classification accuracy performance on several image datasets, including small, low-resolution CIFAR 10/100 and large high-resolution ImageNet and ASL, and can achieve state-of-the-art accuracy for hypercomplex networks.
• Abstract（参考訳）: 近年,多くのディープネットワークがアーキテクチャにハイパーコンプレックスや関連計算を導入している。 分類のための畳み込みネットワークでは、これらの拡張がフロントエンドの畳み込み操作に適用され、精度を向上し、精度を維持しながらパラメータ要求を減らした。 これらの拡張は、畳み込みフロントエンドに適用されているが、高複素計算を追加することで、密結合されたバックエンドに適用した場合のパフォーマンスが向上するかどうかは研究されていない。 本稿では,resnetアーキテクチャを研究し,残差,四元数,およびベクトルマップ畳み込みニューラルネットワークのバックエンドにパラメータ化ハイパーコンプレックス乗算(phm)を組み込んでその効果を評価する。 phmは,小型で低解像度のcifar 10/100や大規模高解像度のimagenetやaslなど,複数の画像データセットの分類精度を向上し,ハイパーコンプレックスネットワークにおける最先端の精度を実現する。

関連論文リスト

• On the growth of the parameters of approximating ReLU neural networks [0.542249320079018]
  この研究は、与えられた滑らかな関数を近似する完全連結フィードフォワードReLUニューラルネットワークの解析に焦点を当てる。 アーキテクチャの増大にともなう,従来の普遍近似特性とは対照的に,近似ネットワークのパラメータの増大が懸念される。
  論文  参考訳（メタデータ） (2024-06-21T07:45:28Z)
• Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
  高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。 本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。 ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
  論文  参考訳（メタデータ） (2024-02-27T11:52:49Z)
• A Generalization of Continuous Relaxation in Structured Pruning [0.3277163122167434]
  トレンドは、パラメータが増加するより深い、より大きなニューラルネットワークが、より小さなニューラルネットワークよりも高い精度を達成することを示している。 ネットワーク拡張, プルーニング, サブネットワーク崩壊, 削除のためのアルゴリズムを用いて, 構造化プルーニングを一般化する。 結果のCNNは計算コストのかかるスパース行列演算を使わずにGPUハードウェア上で効率的に実行される。
  論文  参考訳（メタデータ） (2023-08-28T14:19:13Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Deep Axial Hypercomplex Networks [1.370633147306388]
  近年の研究では,超複雑ネットワークによる表現能力の向上が図られている。 本稿では、四元数2D畳み込み加群を2つの連続ベクトルマップ1D畳み込み加群に分解することで、このコストを削減する。 両ネットワークを組み込んで提案した超複素ネットワークは, 深部軸超複素ネットワークを構築するために構築可能な新しいアーキテクチャである。
  論文  参考訳（メタデータ） (2023-01-11T18:31:00Z)
• Collaborative Intelligent Reflecting Surface Networks with Multi-Agent Reinforcement Learning [63.83425382922157]
  インテリジェント・リフレクション・サーフェス(IRS)は将来の無線ネットワークに広く応用されることが想定されている。 本稿では,エネルギー収穫能力を備えた協調型IRSデバイスを用いたマルチユーザ通信システムについて検討する。
  論文  参考訳（メタデータ） (2022-03-26T20:37:14Z)
• Image Superresolution using Scale-Recurrent Dense Network [30.75380029218373]
  畳み込みニューラルネットワーク(CNN)の設計の最近の進歩は、画像超解像(SR)の性能を大幅に向上させた。 残差ブロック内の一連の密接な接続を含む単位上に構築されたスケールリカレントSRアーキテクチャを提案する(Residual Dense Blocks (RDBs))。 我々のスケールリカレント設計は、現在の最先端のアプローチに比べてパラメトリックに効率的でありながら、より高いスケール要因の競合性能を提供する。
  論文  参考訳（メタデータ） (2022-01-28T09:18:43Z)
• Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
  本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。 実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。 ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
  論文  参考訳（メタデータ） (2021-03-15T12:54:26Z)
• OverNet: Lightweight Multi-Scale Super-Resolution with Overscaling Network [3.6683231417848283]
  SISRを任意のスケールで1つのモデルで解くための,深層でも軽量な畳み込みネットワークであるOverNetを紹介した。 我々のネットワークは、従来の手法よりも少ないパラメータを使用しながら、標準ベンチマークにおいて、過去の最先端結果よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-05T22:10:29Z)
• Cross-Attention in Coupled Unmixing Nets for Unsupervised Hyperspectral Super-Resolution [79.97180849505294]
  本稿では,HSIの空間分解能を高めるために,CUCaNetというクロスアテンション機構を備えた新しい結合型アンミックスネットワークを提案する。 3つの広く使われているHS-MSデータセットに対して、最先端のHSI-SRモデルと比較実験を行った。
  論文  参考訳（メタデータ） (2020-07-10T08:08:20Z)
• Toward fast and accurate human pose estimation via soft-gated skip connections [97.06882200076096]
  本稿では,高精度かつ高効率な人間のポーズ推定について述べる。 我々は、最先端技術よりも精度と効率を両立させる文脈において、この設計選択を再分析する。 本モデルでは,MPII と LSP のデータセットから最先端の結果が得られる。
  論文  参考訳（メタデータ） (2020-02-25T18:51:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。