論文の概要: NeoNeXt: Novel neural network operator and architecture based on the patch-wise matrix multiplications
- arxiv url: http://arxiv.org/abs/2403.11251v1
- Date: Sun, 17 Mar 2024 15:51:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-19 17:46:37.436016
- Title: NeoNeXt: Novel neural network operator and architecture based on the patch-wise matrix multiplications
- Title（参考訳）: NeoNeXt: パッチワイズ行列乗算に基づく新しいニューラルネットワーク演算子とアーキテクチャ
- Authors: Vladimir Korviakov, Denis Koposov,
- Abstract要約: 本稿では,行列パターンを学習し,入力データに対してパッチワイズ行列乗算を行う新しい基礎演算であるNeoCellを提案する。
提案手法の主な利点は,(1)im2colのような演算を必要としない単純な実装,(2)計算量が少ないこと(特に大規模行列),(3)アップ/ダウンサンプリングの単純で柔軟な実装である。
我々は、ImageNet-1K分類タスクに基づいて、NeoNeXtモデルのファミリーを検証し、競合品質を実現することを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most of the computer vision architectures nowadays are built upon the well-known foundation operations: fully-connected layers, convolutions and multi-head self-attention blocks. In this paper we propose a novel foundation operation - NeoCell - which learns matrix patterns and performs patchwise matrix multiplications with the input data. The main advantages of the proposed operator are (1) simple implementation without need in operations like im2col, (2) low computational complexity (especially for large matrices) and (3) simple and flexible implementation of up-/down-sampling. We validate NeoNeXt family of models based on this operation on ImageNet-1K classification task and show that they achieve competitive quality.
- Abstract（参考訳）: 現在、コンピュータビジョンアーキテクチャのほとんどは、完全に接続された層、畳み込み、マルチヘッドの自己保持ブロックという、よく知られた基礎的な操作に基づいて構築されている。
本稿では、行列パターンを学習し、入力データとパッチワイズ行列乗算を行う新しい基礎演算であるNeoCellを提案する。
提案手法の主な利点は,(1)im2colのような演算を必要としない単純な実装,(2)計算量が少ないこと(特に大規模行列),(3)アップ/ダウンサンプリングの単純で柔軟な実装である。
我々は、ImageNet-1K分類タスクに基づいて、NeoNeXtモデルのファミリーを検証し、競合品質を実現することを示す。
関連論文リスト
- Layer-Specific Optimization: Sensitivity Based Convolution Layers Basis Search [0.0]
畳み込み層の重みに対して行列分解を適用する新しい方法を提案する。
この方法の本質は、すべての畳み込みを訓練することではなく、畳み込みのサブセット(基底畳み込み)のみを訓練することであり、残りを基底の線形結合として表現することである。
ResNetファミリとCIFAR-10データセットによるモデル実験では、ベース畳み込みはモデルのサイズを減らすだけでなく、ネットワークの前方および後方通過を加速する。
論文 参考訳（メタデータ） (2024-08-12T09:24:48Z) - Compute Better Spent: Replacing Dense Layers with Structured Matrices [77.61728033234233]
画像領域における畳み込みネットワークの成功が示すように、高密度行列に対するより効率的な代替手段を同定する。
異なる構造は、しばしばパフォーマンスに不可欠な、非常に異なる初期化尺度と学習率を必要とする。
本稿では,モナール行列を含む新しい行列族Block-Trainを提案する。
論文 参考訳（メタデータ） (2024-06-10T13:25:43Z) - Multilinear Operator Networks [60.7432588386185]
ポリノミアルネットワーク(Polynomial Networks)は、アクティベーション関数を必要としないモデルのクラスである。
マルチリニア演算子のみに依存するMONetを提案する。
論文 参考訳（メタデータ） (2024-01-31T16:52:19Z) - The Lattice Overparametrization Paradigm for the Machine Learning of
Lattice Operators [0.0]
本稿では,格子内の要素を介してクラスを過度にパラメータ化することにより,格子内の関数を最小化するアルゴリズムを適用する学習パラダイムについて論じる。
この学習パラダイムには、制御、透明性、解釈可能性という、ニューラルネットワークに基づく現代的な手法に欠けている3つの特性がある。
論文 参考訳（メタデータ） (2023-10-10T14:00:03Z) - Low-complexity Approximate Convolutional Neural Networks [1.7368964547487395]
本稿では,学習された畳み込みニューラルネットワーク(ConvNet)の計算複雑性を最小化する手法を提案する。
この考え方は、与えられたConvNetのすべての要素を計算複雑性を極端に削減できる効率的な近似で近似することである。
このような低複雑さ構造は、低消費電力で効率的なハードウェア設計の道を開く。
論文 参考訳（メタデータ） (2022-07-29T21:59:29Z) - Graph Kernel Neural Networks [53.91024360329517]
本稿では、グラフ上の内部積を計算するカーネル関数であるグラフカーネルを用いて、標準畳み込み演算子をグラフ領域に拡張することを提案する。
これにより、入力グラフの埋め込みを計算する必要のない完全に構造的なモデルを定義することができる。
私たちのアーキテクチャでは,任意の種類のグラフカーネルをプラグインすることが可能です。
論文 参考訳（メタデータ） (2021-12-14T14:48:08Z) - What if Neural Networks had SVDs? [66.91160214071088]
様々なニューラルネットワークでは、行列反転のような時間を要する行列演算を採用している。
本稿では,行列演算を高速化するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-09-29T12:58:52Z) - Matrix Shuffle-Exchange Networks for Hard 2D Tasks [2.4493299476776778]
Matrix Shuffle-Exchangeネットワークは、2Dデータにおける長距離依存関係を効率的に利用することができる。
畳み込みニューラルネットワークに匹敵する速度を持つ。
論文 参考訳（メタデータ） (2020-06-29T09:38:54Z) - Deep Polynomial Neural Networks [77.70761658507507]
$Pi$Netsは拡張に基づいた関数近似の新しいクラスである。
$Pi$Netsは、画像生成、顔検証、および3Dメッシュ表現学習という3つの困難なタスクで、最先端の結果を生成する。
論文 参考訳（メタデータ） (2020-06-20T16:23:32Z) - Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。
ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。
我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
論文 参考訳（メタデータ） (2020-05-13T13:25:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。