論文の概要: Using predefined vector systems as latent space configuration for neural network supervised training on data with arbitrarily large number of classes

• arxiv url: http://arxiv.org/abs/2510.04090v1
• Date: Sun, 05 Oct 2025 08:28:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.451128
• Title: Using predefined vector systems as latent space configuration for neural network supervised training on data with arbitrarily large number of classes
• Title（参考訳）: 任意の数のクラスを持つデータに対するニューラルネットワーク教師付きトレーニングのための遅延空間構成としての事前定義されたベクトルシステムの利用
• Authors: Nikita Gabdullin,
• Abstract要約: 教師付き学習(SL)手法は、分類タスクを実行するために使用されるニューラルネットワーク(NN)トレーニングには不可欠である。 本稿では,クラス数に関係なく,同じNNアーキテクチャをトレーニングできる手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Supervised learning (SL) methods are indispensable for neural network (NN) training used to perform classification tasks. While resulting in very high accuracy, SL training often requires making NN parameter number dependent on the number of classes, limiting their applicability when the number of classes is extremely large or unknown in advance. In this paper we propose a methodology that allows one to train the same NN architecture regardless of the number of classes. This is achieved by using predefined vector systems as the target latent space configuration (LSC) during NN training. We discuss the desired properties of target configurations and choose randomly perturbed vectors of An root system for our experiments. These vectors are used to successfully train encoders and visual transformers (ViT) on Cinic-10 and ImageNet-1K in low- and high-dimensional cases by matching NN predictions with the predefined vectors. Finally, ViT is trained on a dataset with 1.28 million classes illustrating the applicability of the method to training on datasets with extremely large number of classes. In addition, potential applications of LSC in lifelong learning and NN distillation are discussed illustrating versatility of the proposed methodology.
• Abstract（参考訳）: 教師付き学習(SL)手法は、分類タスクを実行するために使用されるニューラルネットワーク(NN)トレーニングには不可欠である。 精度は非常に高いが、SLトレーニングでは、NNパラメータ番号をクラス数に依存するようにし、事前にクラス数が極端に大きい場合や未知の場合、適用性を制限することがしばしば必要となる。 本稿では,クラス数に関係なく,同じNNアーキテクチャをトレーニングできる手法を提案する。 これは、NNトレーニング中に目標潜在空間構成(LSC)として事前定義されたベクトルシステムを使用することで達成される。 対象構成の所望の性質について議論し、実験のためにルートシステムのランダムな摂動ベクトルを選択する。 これらのベクトルは、Cicic-10とImageNet-1K上のエンコーダとビジュアルトランスフォーマー(ViT)を、NN予測と予め定義されたベクトルとを一致させて、低次元および高次元のケースでうまく訓練するために用いられる。 最後に、ViTは128万のクラスを持つデータセットでトレーニングされる。 また,LSCの生涯学習およびNN蒸留への応用の可能性についても検討した。

関連論文リスト

• NEAR: A Training-Free Pre-Estimator of Machine Learning Model Performance [0.0]
  本研究では,アクティベーションランク(NEAR)によるゼロコストプロキシテキストネットワーク表現を提案し,トレーニングなしで最適なネットワークを識別する。 このネットワークスコアとNAS-Bench-101とNATS-Bench-SSS/TSSのモデル精度の最先端相関を実証した。
  論文  参考訳（メタデータ） (2024-08-16T14:38:14Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
  スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。 本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
  論文  参考訳（メタデータ） (2022-10-10T10:05:00Z)
• Text Classification in Memristor-based Spiking Neural Networks [0.0]
  IMDB映画レビューデータセットにおける感情分析タスクを実演するために,仮想記憶器アレイを用いたシミュレーションフレームワークを開発した。 トレーニング済みのANNをmmristorベースのSNNに変換し,84.86%をmemristorベースのSNNを直接トレーニングすることで,85.88%の分類精度を実現する。 また, スパイクトレイン長, リードノイズ, および重み更新停止条件などの大域的パラメータが, どちらのアプローチにおいてもニューラルネットワークに与える影響についても検討した。
  論文  参考訳（メタデータ） (2022-07-27T18:08:31Z)
• Rethinking Nearest Neighbors for Visual Classification [56.00783095670361]
  k-NNは、トレーニングセット内のテストイメージとトップk隣人間の距離を集約する遅延学習手法である。 我々は,教師付き手法と自己監督型手法のいずれでも,事前学習した視覚表現を持つk-NNを2つのステップで採用する。 本研究は,幅広い分類タスクに関する広範な実験により,k-NN統合の汎用性と柔軟性を明らかにした。
  論文  参考訳（メタデータ） (2021-12-15T20:15:01Z)
• A Meta-Learning Approach to the Optimal Power Flow Problem Under Topology Reconfigurations [69.73803123972297]
  メタラーニング(MTL)アプローチを用いて訓練されたDNNベースのOPF予測器を提案する。 開発したOPF予測器はベンチマークIEEEバスシステムを用いてシミュレーションにより検証される。
  論文  参考訳（メタデータ） (2020-12-21T17:39:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。