論文の概要: VoodooNet: Achieving Analytic Ground States via High-Dimensional Random Projections
- arxiv url: http://arxiv.org/abs/2604.15613v2
- Date: Mon, 20 Apr 2026 12:56:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-21 19:27:32.416151
- Title: VoodooNet: Achieving Analytic Ground States via High-Dimensional Random Projections
- Title(参考訳): VoodooNet:高次元ランダム投影による解析的基底状態の実現
- Authors: Wladimir Silva,
- Abstract要約: 本稿では、勾配降下パラダイムをギャラクティック展開による閉形式解析解に置き換える非定性ニューラルネットワークアーキテクチャを提案する。
VoodooNetはMNISTでtextbf98.10%、Fashion-MNISTで textbf86.63%の分類精度を達成した。
我々は,次元と精度のほぼ対数的スケーリング法則を観察し,性能が反復的洗練よりも「戦術的」体積の関数であることを示唆した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present VoodooNet, a non-iterative neural architecture that replaces the stochastic gradient descent (SGD) paradigm with a closed-form analytic solution via Galactic Expansion. By projecting input manifolds into a high-dimensional, high-entropy "Galactic" space ($d \gg 784$), we demonstrate that complex features can be untangled without the thermodynamic cost of backpropagation. Utilizing the Moore-Penrose pseudoinverse to solve for the output layer in a single step, VoodooNet achieves a classification accuracy of \textbf{98.10\% on MNIST} and \textbf{86.63\% on Fashion-MNIST}. Notably, our results on Fashion-MNIST surpass a 10-epoch SGD baseline (84.41\%) while reducing the training time by orders of magnitude. We observe a near-logarithmic scaling law between dimensionality and accuracy, suggesting that performance is a function of "Galactic" volume rather than iterative refinement. This "Magic Hat" approach offers a new frontier for real-time Edge AI, where the traditional training phase is bypassed in favor of instantaneous manifold discovery.
- Abstract(参考訳): 本稿では,確率勾配降下(SGD)パラダイムをギャラクティック・エクスパンジョン(Galactic Expansion)による閉形式解析ソリューションに置き換える,非定性ニューラルネットワークであるVoodooNetを提案する。
入力多様体を高次元で高エントロピーな「Galactic」空間(d \gg 784$)に射影することにより、複素特徴がバックプロパゲーションの熱力学的コストを伴わずに解けることを示した。
ムーア-ペンローズ擬似逆数を用いて出力層を1ステップで解き、VoodooNet は MNIST 上で \textbf{98.10\% と Fashion-MNIST 上で \textbf{86.63\% の分類精度を得る。
特に, Fashion-MNIST の成績は, 10-epoch SGD ベースライン (84.41\%) を超え, トレーニング時間を桁違いに短縮した。
我々は,次元と精度のほぼ対数的スケーリング法則を観察し,性能が反復的洗練よりも「戦術的」体積の関数であることを示唆した。
この"Magic Hat"アプローチは、リアルタイムエッジAIに新たなフロンティアを提供する。
関連論文リスト
- Gradient Descent as a Perceptron Algorithm: Understanding Dynamics and Implicit Acceleration [67.12978375116599]
勾配降下(GD)のステップが一般化されたパーセプトロンアルゴリズムのステップに還元されることを示す。
これは、ニューラルネットワークで観測される最適化力学と暗黙の加速現象を説明するのに役立つ。
論文 参考訳(メタデータ) (2025-12-12T14:16:35Z) - TensorGRaD: Tensor Gradient Robust Decomposition for Memory-Efficient Neural Operator Training [91.8932638236073]
textbfTensorGRaDは,重み付けに伴うメモリ問題に直接対処する新しい手法である。
SparseGRaD は総メモリ使用量を 50% 以上削減し,同時に精度も向上することを示した。
論文 参考訳(メタデータ) (2025-01-04T20:51:51Z) - Unified Gradient-Based Machine Unlearning with Remain Geometry Enhancement [29.675650285351768]
深層ニューラルネットワークのプライバシーと信頼性を高めるために、機械学習(MU)が登場した。
近似MUは大規模モデルの実用的手法である。
本稿では,最新の学習方向を暗黙的に近似する高速スローパラメータ更新手法を提案する。
論文 参考訳(メタデータ) (2024-09-29T15:17:33Z) - Pre-Training Identification of Graph Winning Tickets in Adaptive Spatial-Temporal Graph Neural Networks [5.514795777097036]
Lottery Ticket hypothesis (LTH) から派生した Graph Winning Ticket (GWT) の概念を導入する。
事前決定された恒星トポロジーをGWTとしてトレーニング前に採用することにより、エッジの削減と効率的な情報伝達のバランスをとることができる。
提案手法は,48GBのメモリを備えた単一A6000を用いて,最大規模の時空間データセット上でASTGNNのトレーニングを可能にする。
論文 参考訳(メタデータ) (2024-06-12T14:53:23Z) - Hamiltonian Mechanics of Feature Learning: Bottleneck Structure in Leaky ResNets [58.460298576330835]
ResNets と Fully-Connected Nets を相互接続する Leaky ResNets について「有効深度」に依存して検討する。
この直感を利用して、以前の研究で見られるように、ボトルネック構造の出現を説明する。
論文 参考訳(メタデータ) (2024-05-27T18:15:05Z) - Scaling Forward Gradient With Local Losses [117.22685584919756]
フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。
重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。
提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
論文 参考訳(メタデータ) (2022-10-07T03:52:27Z) - Random orthogonal additive filters: a solution to the
vanishing/exploding gradient of deep neural networks [0.0]
ニューラルネットワークの新しいアーキテクチャは、消滅/爆発(V/E)勾配問題を数学的に防止するために提案される。
驚くべきことに、単一の層バニラRNNを超高速で収束させながら、アートパフォーマンスの状態に到達するように拡張することができる。
論文 参考訳(メタデータ) (2022-10-03T21:51:21Z) - Non-Gradient Manifold Neural Network [79.44066256794187]
ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。
非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2021-06-15T06:39:13Z) - Dynamical mean-field theory for stochastic gradient descent in Gaussian
mixture classification [25.898873960635534]
高次元景観を分類する単一層ニューラルネットワークにおける勾配降下(SGD)の閉学習ダイナミクスを解析する。
連続次元勾配流に拡張可能なプロトタイププロセスを定義する。
フルバッチ限界では、標準勾配流を回復する。
論文 参考訳(メタデータ) (2020-06-10T22:49:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。