論文の概要: Exploring possible vector systems for faster training of neural networks with preconfigured latent spaces

• arxiv url: http://arxiv.org/abs/2512.07509v2
• Date: Wed, 10 Dec 2025 13:54:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-11 15:14:53.214908
• Title: Exploring possible vector systems for faster training of neural networks with preconfigured latent spaces
• Title（参考訳）: 予め構成された潜在空間を持つニューラルネットワークの高速トレーニングのためのベクトルシステムの探索
• Authors: Nikita Gabdullin,
• Abstract要約: ルート系ベクトルは、所望のLS構造を保証するために、潜在空間構成(LSC)のターゲットとして使用できる。 本稿では,NNトレーニングにおけるベクトルシステムの可能性と,その特性と方法について概説する。 また、特定のクラスの数に対して最小のLS次元を使用すると、より早く収束することが示されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The overall neural network (NN) performance is closely related to the properties of its embedding distribution in latent space (LS). It has recently been shown that predefined vector systems, specifically An root system vectors, can be used as targets for latent space configurations (LSC) to ensure the desired LS structure. One of the main LSC advantage is the possibility of training classifier NNs without classification layers, which facilitates training NNs on datasets with extremely large numbers of classes. This paper provides a more general overview of possible vector systems for NN training along with their properties and methods for vector system construction. These systems are used to configure LS of encoders and visual transformers to significantly speed up ImageNet-1K and 50k-600k classes LSC training. It is also shown that using the minimum number of LS dimensions for a specific number of classes results in faster convergence. The latter has potential advantages for reducing the size of vector databases used to store NN embeddings.
• Abstract（参考訳）: 全体的なニューラルネットワーク(NN)の性能は、潜時空間(LS)の埋め込み分布の性質と密接に関連している。 近年、事前定義されたベクトル系、特にルート系ベクトルは、所望のLS構造を保証するために潜在空間構成(LSC)のターゲットとして使用できることが示されている。 LSCの主な利点の1つは、分類レイヤーなしでNNを訓練する可能性であり、非常に多数のクラスを持つデータセット上でNNを訓練するのに役立つ。 本稿では,NNトレーニングにおけるベクトルシステムの可能性と,その特性と方法について概説する。 これらのシステムは、イメージNet-1Kと50k-600kクラスのLCCトレーニングを大幅に高速化するために、エンコーダとビジュアルトランスフォーマーのLSを設定するために使用される。 また、特定のクラスの数に対して最小のLS次元を使用すると、より早く収束することが示されている。 後者には、NN埋め込みを保存するために使用されるベクトルデータベースのサイズを小さくする潜在的な利点がある。

関連論文リスト

• Using predefined vector systems as latent space configuration for neural network supervised training on data with arbitrarily large number of classes [0.0]
  教師付き学習(SL)手法は、分類タスクを実行するために使用されるニューラルネットワーク(NN)トレーニングには不可欠である。 本稿では,クラス数に関係なく,同じNNアーキテクチャをトレーニングできる手法を提案する。
  論文  参考訳（メタデータ） (2025-10-05T08:28:37Z)
• Latent space configuration for improved generalization in supervised autoencoder neural networks [0.0]
  所望のトポロジを持つLSを得るための2つの手法を提案する。 LS構成を知ることで、LSで類似度尺度を定義し、ラベルを予測したり、複数の入力に対して類似度を推定することができる。 提案手法を用いて衣服のテクスチャ分類を訓練したSAEは,細調整をせずに,LIP,Market1501,WildTrackのデータセットから見当たらないデータによく一般化することを示した。
  論文  参考訳（メタデータ） (2024-02-13T13:25:51Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
  スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。 本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
  論文  参考訳（メタデータ） (2022-10-10T10:05:00Z)
• Adaptive Machine Learning for Time-Varying Systems: Low Dimensional Latent Space Tuning [91.3755431537592]
  本稿では,時間変化システムを対象とした適応機械学習手法を提案する。 我々は,エンコーダデコーダCNNのエンコーダ部出力において,非常に高次元(N>100k)の入力を低次元(N2)潜在空間にマッピングする。 そこで本手法では,割り込みを伴わないフィードバックに基づいて,内部の相関関係を学習し,その進化をリアルタイムで追跡する。
  論文  参考訳（メタデータ） (2021-07-13T16:05:28Z)
• Generalized Learning Vector Quantization for Classification in Randomized Neural Networks and Hyperdimensional Computing [4.4886210896619945]
  本稿では,トレーニング中の計算コストの高い行列操作を回避する改良型RVFLネットワークを提案する。 提案手法は,UCI Machine Learning Repositoryから取得したデータセットの集合に対して,最先端の精度を達成した。
  論文  参考訳（メタデータ） (2021-06-17T21:17:17Z)
• OSLNet: Deep Small-Sample Classification with an Orthogonal Softmax Layer [77.90012156266324]
  本稿では,ニューラルネットワークのサブスペースを見つけることを目的としている。 そこで本研究では,Orthogonal Softmax Layer (OSL) を提案する。 実験結果から,提案OSLは4つの小サンプルベンチマークデータセットとの比較に用いた手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2020-04-20T02:41:01Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。