論文の概要: Using predefined vector systems to speed up neural network multimillion class classification

• arxiv url: http://arxiv.org/abs/2604.00779v2
• Date: Mon, 06 Apr 2026 06:55:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:18.451465
• Title: Using predefined vector systems to speed up neural network multimillion class classification
• Title（参考訳）: 定義済みベクトルシステムを用いてニューラルネットワークのマルチミリオンクラス分類を高速化する
• Authors: Nikita Gabdullin, Ilya Androsov,
• Abstract要約: NN潜時空間幾何が知られ、特定の特性を持つ場合、ラベル予測の複雑さを著しく低減できることを示す。 提案手法では, 埋め込みベクトルにおいて, 最大値と最低値の指数を求めるだけでよい。 実験の結果,提案手法は従来の手法に比べて最大11.6倍の加速を達成できることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Label prediction in neural networks (NNs) has O(n) complexity proportional to the number of classes. This holds true for classification using fully connected layers and cosine similarity with some set of class prototypes. In this paper we show that if NN latent space (LS) geometry is known and possesses specific properties, label prediction complexity can be significantly reduced. This is achieved by associating label prediction with the O(1) complexity closest cluster center search in a vector system used as target for latent space configuration (LSC). The proposed method only requires finding indexes of several largest and lowest values in the embedding vector making it extremely computationally efficient. We show that the proposed method does not change NN training accuracy computational results. We also measure the time required by different computational stages of NN inference and label prediction on multiple datasets. The experiments show that the proposed method allows to achieve up to 11.6 times overall acceleration over conventional methods. Furthermore, the proposed method has unique properties which allow to predict the existence of new classes.
• Abstract（参考訳）: ニューラルネットワーク(NN)におけるラベル予測は、クラス数に比例したO(n)複雑性を持つ。 これは、完全に連結された層とある種のクラスプロトタイプとの余弦的類似性を使って分類するのに当てはまる。 本稿では,NN潜時空間 (LS) の幾何が具体的特性を持つことが分かっていれば,ラベル予測の複雑さを著しく低減できることを示す。 これは、ラベル予測とO(1)複雑性に最も近いクラスタセンター探索を、潜在空間構成(LSC)のターゲットとして使用するベクトルシステムで関連付けることで達成される。 提案手法では, 埋め込みベクトルにおいて最大値と最低値の指数を求めるだけで, 計算効率が極めて高い。 提案手法はNNトレーニングの精度を計算結果に変更しないことを示す。 また、複数のデータセット上でNN推論とラベル予測の異なる計算段階に必要な時間を計測する。 実験の結果,提案手法は従来の手法に比べて最大11.6倍の加速を達成できることがわかった。 さらに,提案手法は,新しいクラスの存在を予測できる独特な特性を持つ。

関連論文リスト

• Using predefined vector systems as latent space configuration for neural network supervised training on data with arbitrarily large number of classes [0.0]
  教師付き学習(SL)手法は、分類タスクを実行するために使用されるニューラルネットワーク(NN)トレーニングには不可欠である。 本稿では,クラス数に関係なく,同じNNアーキテクチャをトレーニングできる手法を提案する。
  論文  参考訳（メタデータ） (2025-10-05T08:28:37Z)
• Categorical Data Clustering via Value Order Estimated Distance Metric Learning [53.28598689867732]
  本稿では,分類属性を直感的に表現する新しい順序距離計量学習手法を提案する。 新しい共同学習パラダイムが開発され、クラスタリングとオーダー距離メートル法学習の代替となる。 提案手法は分類および混合データセットのクラスタリング精度に優れる。
  論文  参考訳（メタデータ） (2024-11-19T08:23:25Z)
• Factorizers for Distributed Sparse Block Codes [45.29870215671697]
  分散ブロック符号(SBC)を高速かつ高精度に分解する手法を提案する。 我々の反復分解器は、しきい値に基づく非線形活性化、条件付きランダムサンプリング、および $ell_infty$-based similarity metricを導入している。 CIFAR-100, ImageNet-1K, RAVENデータセット上での4つの深層CNNアーキテクチャの実現可能性を示す。
  論文  参考訳（メタデータ） (2023-03-24T12:31:48Z)
• Sparse tree-based initialization for neural networks [0.0]
  専用ニューラルネットワーク(NN)アーキテクチャは、画像のCNNやテキストのRNNといった特定のデータタイプを処理可能であることを示す。 本研究では,(潜在的に深い)多層パーセプトロン(MLP)の新しい手法を提案する。 NNトレーニング中に新しい初期化器が暗黙の正規化を行うことを示すとともに,第1層がスパース機能抽出器として機能することを強調する。
  論文  参考訳（メタデータ） (2022-09-30T07:44:03Z)
• Large-Margin Representation Learning for Texture Classification [67.94823375350433]
  本稿では,テクスチャ分類のための小さなデータセット上で教師付きモデルをトレーニングするために,畳み込み層(CL)と大規模計量学習を組み合わせた新しいアプローチを提案する。 テクスチャと病理画像データセットの実験結果から,提案手法は同等のCNNと比較して計算コストが低く,収束が早く,競争精度が向上することが示された。
  論文  参考訳（メタデータ） (2022-06-17T04:07:45Z)
• Rethinking Nearest Neighbors for Visual Classification [56.00783095670361]
  k-NNは、トレーニングセット内のテストイメージとトップk隣人間の距離を集約する遅延学習手法である。 我々は,教師付き手法と自己監督型手法のいずれでも,事前学習した視覚表現を持つk-NNを2つのステップで採用する。 本研究は,幅広い分類タスクに関する広範な実験により,k-NN統合の汎用性と柔軟性を明らかにした。
  論文  参考訳（メタデータ） (2021-12-15T20:15:01Z)
• Cluster Representatives Selection in Non-Metric Spaces for Nearest Prototype Classification [4.176752121302988]
  本稿では,オブジェクトの小さいが代表的なサブセットをクラスタのプロトタイプとして選択する新しい手法であるCRSを提案する。 NN-Descentアルゴリズムにより生成された各クラスタの類似度グラフ表現を活用することにより、代表者のメモリと計算効率のよい選択が可能となる。 CRSはグラフベースのアプローチのため、任意の計量空間や非計量空間で使用することができる。
  論文  参考訳（メタデータ） (2021-07-03T04:51:07Z)
• Generalized Learning Vector Quantization for Classification in Randomized Neural Networks and Hyperdimensional Computing [4.4886210896619945]
  本稿では,トレーニング中の計算コストの高い行列操作を回避する改良型RVFLネットワークを提案する。 提案手法は,UCI Machine Learning Repositoryから取得したデータセットの集合に対して,最先端の精度を達成した。
  論文  参考訳（メタデータ） (2021-06-17T21:17:17Z)
• Expectation propagation on the diluted Bayesian classifier [0.0]
  本稿では,二項分類の文脈におけるスパース特徴選択の問題に対処する統計力学にインスパイアされた戦略を導入する。 予測伝搬(EP)として知られる計算スキームは、分類規則を学習する連続重みの知覚を訓練するために用いられる。 EPは、変数選択特性、推定精度、計算複雑性の点で頑健で競争力のあるアルゴリズムである。
  論文  参考訳（メタデータ） (2020-09-20T23:59:44Z)
• OSLNet: Deep Small-Sample Classification with an Orthogonal Softmax Layer [77.90012156266324]
  本稿では,ニューラルネットワークのサブスペースを見つけることを目的としている。 そこで本研究では,Orthogonal Softmax Layer (OSL) を提案する。 実験結果から,提案OSLは4つの小サンプルベンチマークデータセットとの比較に用いた手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2020-04-20T02:41:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。