論文の概要: NeoNeXt: Novel neural network operator and architecture based on the patch-wise matrix multiplications
- arxiv url: http://arxiv.org/abs/2403.11251v1
- Date: Sun, 17 Mar 2024 15:51:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-19 17:46:37.436016
- Title: NeoNeXt: Novel neural network operator and architecture based on the patch-wise matrix multiplications
- Title(参考訳): NeoNeXt: パッチワイズ行列乗算に基づく新しいニューラルネットワーク演算子とアーキテクチャ
- Authors: Vladimir Korviakov, Denis Koposov,
- Abstract要約: 本稿では,行列パターンを学習し,入力データに対してパッチワイズ行列乗算を行う新しい基礎演算であるNeoCellを提案する。
提案手法の主な利点は,(1)im2colのような演算を必要としない単純な実装,(2)計算量が少ないこと(特に大規模行列),(3)アップ/ダウンサンプリングの単純で柔軟な実装である。
我々は、ImageNet-1K分類タスクに基づいて、NeoNeXtモデルのファミリーを検証し、競合品質を実現することを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most of the computer vision architectures nowadays are built upon the well-known foundation operations: fully-connected layers, convolutions and multi-head self-attention blocks. In this paper we propose a novel foundation operation - NeoCell - which learns matrix patterns and performs patchwise matrix multiplications with the input data. The main advantages of the proposed operator are (1) simple implementation without need in operations like im2col, (2) low computational complexity (especially for large matrices) and (3) simple and flexible implementation of up-/down-sampling. We validate NeoNeXt family of models based on this operation on ImageNet-1K classification task and show that they achieve competitive quality.
- Abstract(参考訳): 現在、コンピュータビジョンアーキテクチャのほとんどは、完全に接続された層、畳み込み、マルチヘッドの自己保持ブロックという、よく知られた基礎的な操作に基づいて構築されている。
本稿では、行列パターンを学習し、入力データとパッチワイズ行列乗算を行う新しい基礎演算であるNeoCellを提案する。
提案手法の主な利点は,(1)im2colのような演算を必要としない単純な実装,(2)計算量が少ないこと(特に大規模行列),(3)アップ/ダウンサンプリングの単純で柔軟な実装である。
我々は、ImageNet-1K分類タスクに基づいて、NeoNeXtモデルのファミリーを検証し、競合品質を実現することを示す。
関連論文リスト
- Multilinear Operator Networks [60.7432588386185]
ポリノミアルネットワーク(Polynomial Networks)は、アクティベーション関数を必要としないモデルのクラスである。
マルチリニア演算子のみに依存するMONetを提案する。
論文 参考訳(メタデータ) (2024-01-31T16:52:19Z) - The Lattice Overparametrization Paradigm for the Machine Learning of
Lattice Operators [0.0]
本稿では,格子内の要素を介してクラスを過度にパラメータ化することにより,格子内の関数を最小化するアルゴリズムを適用する学習パラダイムについて論じる。
この学習パラダイムには、制御、透明性、解釈可能性という、ニューラルネットワークに基づく現代的な手法に欠けている3つの特性がある。
論文 参考訳(メタデータ) (2023-10-10T14:00:03Z) - CoLA: Exploiting Compositional Structure for Automatic and Efficient
Numerical Linear Algebra [62.37017125812101]
機械学習における大規模線形代数問題に対して, CoLA という, 単純だが汎用的なフレームワークを提案する。
線形演算子抽象と合成ディスパッチルールを組み合わせることで、CoLAはメモリと実行時の効率的な数値アルゴリズムを自動的に構築する。
偏微分方程式,ガウス過程,同変モデル構築,教師なし学習など,幅広い応用で有効性を示す。
論文 参考訳(メタデータ) (2023-09-06T14:59:38Z) - Low-complexity Approximate Convolutional Neural Networks [1.7368964547487395]
本稿では,学習された畳み込みニューラルネットワーク(ConvNet)の計算複雑性を最小化する手法を提案する。
この考え方は、与えられたConvNetのすべての要素を計算複雑性を極端に削減できる効率的な近似で近似することである。
このような低複雑さ構造は、低消費電力で効率的なハードウェア設計の道を開く。
論文 参考訳(メタデータ) (2022-07-29T21:59:29Z) - Tricks and Plugins to GBM on Images and Sequences [18.939336393665553]
本稿では,動的特徴選択とBoostCNNの利点を組み合わせるために,Deep Convolutional Neural Networks(BoostCNN)を高速化するアルゴリズムを提案する。
また,最小2乗の目的関数に基づいて,重み付けをディープラーニングアーキテクチャに組み込むアルゴリズムも提案する。
実験により,提案手法はいくつかのきめ細かい分類タスクのベンチマークよりも優れていることが示された。
論文 参考訳(メタデータ) (2022-03-01T21:59:00Z) - A Tensor Compiler for Unified Machine Learning Prediction Serving [8.362773007171118]
企業における機械学習(ML)の採用には、よりシンプルで効率的なソフトウェアインフラが必要である。
モデルのスコアリングは、モデルが一度訓練されるが、何度も使用されるため、インフラストラクチャの複雑さとコストに主要な貢献をする。
本稿では,HUMMINGBIRDを提案する。HUMMINGBIRDは,計算演算子と従来のMLモデルを小さなテンソル演算系にコンパイルする新しいモデルスコアリング手法である。
論文 参考訳(メタデータ) (2020-10-09T21:02:47Z) - What if Neural Networks had SVDs? [66.91160214071088]
様々なニューラルネットワークでは、行列反転のような時間を要する行列演算を採用している。
本稿では,行列演算を高速化するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-09-29T12:58:52Z) - Matrix Shuffle-Exchange Networks for Hard 2D Tasks [2.4493299476776778]
Matrix Shuffle-Exchangeネットワークは、2Dデータにおける長距離依存関係を効率的に利用することができる。
畳み込みニューラルネットワークに匹敵する速度を持つ。
論文 参考訳(メタデータ) (2020-06-29T09:38:54Z) - Deep Polynomial Neural Networks [77.70761658507507]
$Pi$Netsは拡張に基づいた関数近似の新しいクラスである。
$Pi$Netsは、画像生成、顔検証、および3Dメッシュ表現学習という3つの困難なタスクで、最先端の結果を生成する。
論文 参考訳(メタデータ) (2020-06-20T16:23:32Z) - Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。
ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。
我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
論文 参考訳(メタデータ) (2020-05-13T13:25:51Z) - Evolving Normalization-Activation Layers [100.82879448303805]
我々は、うまく機能しない候補層を迅速にフィルタリングする効率的な拒絶プロトコルを開発した。
EvoNormsは、新しい正規化活性化層であり、新しい構造を持ち、時には驚くべき構造を持つ。
我々の実験は、EvoNormsがResNets、MobileNets、EfficientNetsなどの画像分類モデルでうまく機能していることを示している。
論文 参考訳(メタデータ) (2020-04-06T19:52:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。