論文の概要: Probabilistic State Space Enumeration in Neural Network Computation
- arxiv url: http://arxiv.org/abs/2611.15062v1
- Date: Wed, 11 Nov 2026 05:32:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.053496
- Title: Probabilistic State Space Enumeration in Neural Network Computation
- Title(参考訳): ニューラルネットワーク計算における確率的状態空間列挙
- Abstract要約: 本稿ではトランスフォーマーのための新しい確率的状態空間フレームワークを提案する。
NORDER-IIは、大きな状態空間を構築したりソートしたりすることなく、確率を下げる完全結合状態を列挙する。
予想されるグループトップと比較して、NORDER-IIは126.4%の相対的精度向上を実現し、0.18%から0.19%の局所分析FLOPが加えられた。
- 参考スコア(独自算出の注目度): 11.602480179507294
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks typically realize dense computation by propagating information through all intermediate channels, while many approximation methods rank and retain individual computational components. We ask whether dense neural computation can instead be represented exactly as an expectation over a combinatorial state space, and approximated by evaluating only its most probable configurations. We introduce a novel probabilistic state-space framework for Transformer MLPs. The framework partitions the intermediate dimension into channel groups, defines an input-dependent distribution over binary inclusion states, and uses importance-corrected masked outputs such that the full expectation exactly recovers the dense MLP output. The key algorithmic novelty is NORDER-II, which enumerates complete joint states in decreasing probability without constructing or sorting the exponentially large state space. Truncating this ordering yields an anytime approximation governed by cumulative probability mass and a state budget. On Llama-3.2-1B and Gemma-2-2B, NORDER-II at a state budget of B=2048 achieves 92.4% and 93.8% MLP-output approximation accuracy, compared with 76.9% and 79.8% for Channel Top-k. When the first, middle, and last MLP layers are approximated jointly, WikiText-2 perplexity remains within 0.06% and 0.54% of dense inference. Relative to expected-count Grouped Top-k, NORDER-II yields 82.6% to 126.4% relative accuracy gains with only 0.18% to 0.19% additional local analytic FLOPs. These results establish the significance of joint-state structure beyond atomic salience and point to a new paradigm for neural computation: dense layers can be viewed as structured probabilistic inference over combinatorial computational states. This framework opens a path toward adaptive, probability-mass-controlled computation in pretrained neural networks.
- Abstract(参考訳): ディープニューラルネットワークは典型的には、全ての中間チャネルを通して情報を伝播することで密度の高い計算を実現するが、多くの近似法は個々の計算成分をランク付けし保持する。
より高密度なニューラル計算は、合成状態空間上の期待値として正確に表現できるのかを問うとともに、最も確率の高い構成のみを評価することによって近似する。
我々はTransformer MLPのための新しい確率的状態空間フレームワークを提案する。
このフレームワークは中間次元をチャネル群に分割し、二項包摂状態上の入力依存分布を定義し、重み付けされたマスク付き出力を使用して、完全な期待値が密度の高いMLP出力を正確に回復する。
NORDER-IIは指数関数的に大きな状態空間を構築したりソートしたりすることなく、確率を減少させる完全結合状態を列挙する。
この順序を解読すると、累積確率質量と州予算によって支配される任意の時間近似が得られる。
Llama-3.2-1B と Gemma-2-2B では、B=2048 の州予算で NORDER-II が 92.4% と 93.8% の MLP 出力近似の精度を 76.9% と 79.8% で達成している。
第1層、第2層、第2層、第2層を共同で近似すると、WikiText-2のパープレキシティは0.06%と0.54%の範囲に留まる。
予想されるグループトップkと比較して、NORDER-IIは82.6%から126.4%の相対的な精度で、局所分析FLOPは0.18%から0.19%に留まる。
これらの結果は、原子の塩分を超えた結合状態構造の重要性を確立し、ニューラルネットワークの新しいパラダイムを示唆している。
このフレームワークは、事前訓練されたニューラルネットワークにおける適応的で確率質量制御された計算への道を開く。
関連論文リスト
- DisMUSE: An Efficient Distributed Singular-Spectrum-Based Optimization Approach with Theoretical Convergence Guarantee [51.11813325221214]
DisMUSEは、データセンターとフェデレーション設定の両方のための効率的な分散特異スペクトルベース(SSB)フレームワークである。
DisMUSE は $(((KT)-)$O 局所分散率を達成し、ノード当たりノード数はそれぞれノード当たりのノード数である。
論文 参考訳(メタデータ) (2026-11-06T20:59:02Z) - Neural Feature Governance: Extending Atom Prevalence [0.0]
本稿では,フィードフォワードニューラルネットワークにおけるノードレベルモデル選択のための原理的ベイズ的フレームワークであるNeural Atom Prevalence (NAP)を紹介する。
Napは最先端の構造的疎結合を実現し、MNIST上の元の高密度アーキテクチャの8%まで活性ノードを減少させる。
論文 参考訳(メタデータ) (2026-07-23T08:50:12Z) - Learning Intersections of Two Margin Halfspaces under Factorizable Distributions [56.51474048985742]
ハーフスペースの交叉学習は計算学習理論における中心的な問題である。
たった2つのハーフスペースであっても、学習が時間内に可能かどうかという大きな疑問が残る。
本稿ではCSQ硬度障壁を確実に回避する新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2025-11-13T00:28:24Z) - Constructive Universal Approximation and Sure Convergence for Multi-Layer Neural Networks [0.0]
o1Neuroはスパースインジケータ活性化ニューロン上に構築された新しいニューラルネットワークモデルである。
人口レベルでは、深い o1Neuro は $boldsymbolX$ の任意の可測関数を近似することができる。
サンプルレベルでは、o1Neuroの最適化は、十分に多くの更新ラウンドの後、確率が1に近づく最適モデルに達する。
論文 参考訳(メタデータ) (2025-07-07T08:55:28Z) - Ensemble learning for uncertainty estimation with application to the correction of satellite precipitation products [3.8623569699070353]
そこで我々は,9つの定量値に基づくアンサンブル学習装置を導入し,降水データセット作成のギャップに対処する。
提案手法は, 衛星の降水量から予測器の数を削減し, 特徴工学的手法を取り入れたものである。
QRとQRNNのアンサンブル学習は、0.025から0.975までの様々な研究された量子レベルで最高の結果をもたらし、基準法を3.91%から8.95%に上回った。
論文 参考訳(メタデータ) (2024-03-14T17:45:56Z) - Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。
トラクタブル回路において,これを効率的に計算する方法を示す。
我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
論文 参考訳(メタデータ) (2023-02-28T00:04:22Z) - Probabilistic partition of unity networks: clustering based deep
approximation [0.0]
ユニタリネットワーク(POU-Nets)の分割は、回帰とPDEの解に対する代数収束率を実現することができる。
ガウス雑音モデルを用いてPOU-Netを拡張し、最大可算損失の勾配に基づく一般化を導出できる確率的一般化を得る。
本研究では,高次元・低次元での性能を定量化するためのベンチマークを行い,高次元空間内のデータの潜在次元にのみ依存することを示す。
論文 参考訳(メタデータ) (2021-07-07T08:02:00Z) - Clustered Federated Learning via Generalized Total Variation
Minimization [83.26141667853057]
本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。
我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。
私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
論文 参考訳(メタデータ) (2021-05-26T18:07:19Z) - FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity
to Non-IID Data [59.50904660420082]
フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。
クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
論文 参考訳(メタデータ) (2020-05-22T23:07:42Z) - Scalable Distributed Approximation of Internal Measures for Clustering
Evaluation [5.144809478361603]
クラスタリング評価のための内部測度はシルエット係数であり、計算には2つの距離計算が必要である。
本稿では,任意の距離に基づいてクラスタリングの評価を行うための厳密な近似を計算した最初のスケーラブルアルゴリズムを提案する。
また,このアルゴリズムは凝集や分離などのクラスタリング品質の他の内部指標の厳密な近似に適応可能であることも証明した。
論文 参考訳(メタデータ) (2020-03-03T10:28:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。