論文の概要: Approaching Backpropagation Accuracy with Weight Perturbation on MNIST
- arxiv url: http://arxiv.org/abs/2610.21665v1
- Date: Thu, 15 Oct 2026 10:47:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 06:09:33.039443
- Title: Approaching Backpropagation Accuracy with Weight Perturbation on MNIST
- Title（参考訳）: MNISTの重み摂動によるバックプロパゲーション精度へのアプローチ
- Abstract要約: 完全連結MNISTネットワークにおいて,バッチサイズ,トレーニング時間,推定器の安定化が達成可能な精度に与える影響について検討した。
浅い構成では、大バッチトレーニングは97.5--98%近くの早期バックプロパゲーション(BP)参照と比較して、およそ97%の精度に達する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Weight perturbation (WP) estimates learning directions from random parameter perturbations and a scalar change in loss, without backpropagating derivatives. We examine how batch size, training duration, and estimator stabilization affect its attainable accuracy in fully connected MNIST networks. In the shallow configuration, large-batch training reaches approximately 97\% test accuracy, compared with an early backpropagation (BP) reference near 97.5--98\%. The same comparison exposes a substantial efficiency gap: under a ten-epoch budget, shallow WP reaches 90.2\%, whereas the reported BP reference reaches 97.4\%. Epoch-indexed curves show diminishing returns from increasing batch size beyond 4,000. Learning-rate reduction and averaging independent perturbation-based updates also stabilize deeper networks, although their recorded results do not establish BP-level accuracy. We distinguish these empirical findings from a finite-horizon approximation argument: under stated regularity conditions, population WP can approximate a fixed gradient-descent trajectory arbitrarily closely at any fixed finite depth. Positive classification margins then suffice to preserve the reference predictions on a finite test set with arbitrarily high probability. Together, the results identify near-BP accuracy as a configuration- and budget-dependent possibility, rather than evidence of equal efficiency or an unconditional accuracy guarantee across depth.
- Abstract（参考訳）: 重み摂動(WP)は、確率パラメータ摂動と損失のスカラー変化から学習方向を推定する。
完全連結MNISTネットワークにおいて,バッチサイズ,トレーニング時間,推定器の安定化が達成可能な精度に与える影響について検討した。
浅い構成では、97.5--98\%付近の早期バックプロパゲーション(BP)参照と比較して、大バッチトレーニングは約97\%の精度に達する。
同じ比較では、10世紀予算の下では、浅いWPは90.2\%、報告されたBP参照は97.4\%である。
Epoch-indexed curvesは、バッチサイズが4000を超えるとリターンが低下することを示している。
学習速度の低減と、独立摂動に基づく平均的な更新もより深いネットワークを安定化させるが、記録された結果ではBPレベルの精度は確立されていない。
我々はこれらの経験的結果と有限水平近似の議論を区別する: 正規性条件の下では、集団 WP は任意の固定有限深さにおいて、任意の固定勾配線軌跡を任意に近似することができる。
正の分類マージンは、任意に高い確率で有限のテストセット上の参照予測を保持するのに十分である。
結果から, ほぼBPの精度は, 同一の効率性を示す証拠や, 深度を越えた非条件の精度保証よりも, 構成および予算に依存した可能性として同定した。
関連論文リスト
- Backward Conformal Prediction under Covariate Shift [8.393814852438263]
後方共形予測(BCP)は、予測セットのサイズを修正し、その誤発見を推定するが、キャリブレーションとテストデータは交換可能であると仮定する。
BCPの厳密な誤発見報告は、キャリブレーションのミス例に割り当てられた相対的な重みにのみ依存していることを示し、なぜより良いドメインが時に悪化する可能性があるのかを説明する。
論文 参考訳（メタデータ） (2026-10-12T01:40:06Z) - Adaptive Robust Confidence Sets in High Dimensions [60.353542776481596]
本研究では,不確実性を同時に定量化することにより,情報理論的に最適な適応信頼セットを構築することができることを示す。
統計的には最適であるが、この構成は計算的に不可能である。
論文 参考訳（メタデータ） (2026-10-11T16:00:46Z) - Weight Clipping for Robust Conformal Inference under Unbounded Covariate Shifts [16.253156035425057]
密度比推定のための最小二乗重み付け法としてクリッピング最小二乗重み付けを導入する。
WCPに接続すると,CLISFを用いて学習した密度比が,予測される潜伏量に制限があることが判明した。
我々は、共形推論におけるウェイトクリッピングに関する最初の理論的保証を提供する。
論文 参考訳（メタデータ） (2026-05-03T22:01:19Z) - A Tale of Two Variances: When Single-Seed Benchmarks Fail in Bayesian Deep Learning [10.891872788947298]
局所CRPS分散は単列推定誤差の直接信号を提供する。
パワーロー適合品質と単調性は、トラジェクトリ正則性のコンパクトなメソッドレベルの要約を提供する。
論文 参考訳（メタデータ） (2026-04-25T02:52:33Z) - Bayesian Transformer for Probabilistic Load Forecasting in Smart Grids [0.0]
本研究では,3つの相補的不確実性機構をPatchTSTバックボーンに統合したベイズ変圧器フレームワークを提案する。
7段階のマルチクエンタリーピンボールロス予測ヘッドと、訓練後の等音波回帰キャリブレーションにより、鋭く、ほぼ一意にカバーされた予測間隔が生成される。
主要なベンチマーク(PJM, H=24h)では、BTは0.0289のCRPSを達成し、Deep Ensemblesより7.4%、決定論的LSTMより29.9%改善した。
論文 参考訳（メタデータ） (2026-03-09T02:39:51Z) - d-TreeRPO: Towards More Reliable Policy Optimization for Diffusion Language Models [45.27333046908981]
emphd-TreeRPOは、dLLMのための信頼できる強化学習フレームワークである。
我々は,emphd-TreeRPOが複数の推論ベンチマークで大きく向上していることを示す。
論文 参考訳（メタデータ） (2025-12-10T14:20:07Z) - A Generative Framework for Causal Estimation via Importance-Weighted Diffusion Distillation [55.53426007439564]
観察データから個別化された治療効果を推定することは因果推論における中心的な課題である。
逆確率重み付け(IPW)は、この問題に対するよく確立された解決策であるが、現代のディープラーニングフレームワークへの統合は依然として限られている。
本稿では,拡散モデルの事前学習と重み付きスコア蒸留を組み合わせた新しい生成フレームワークであるIWDDを提案する。
論文 参考訳（メタデータ） (2025-05-16T17:00:52Z) - Conformal Thresholded Intervals for Efficient Regression [9.559062601251464]
Conformal Thresholded Intervals (CTI) は、カバー範囲が保証された最小限の予測セットを生成することを目的とした、新しいコンフォメーション回帰手法である。
CTIは、その長さに基づいて推定された条件間間隔をしきい値にすることで予測セットを構築する。
CTIは、様々なデータセットにわたる最先端のコンフォメーション回帰手法よりも優れた性能を達成している。
論文 参考訳（メタデータ） (2024-07-19T17:47:08Z) - Accurate and Reliable Predictions with Mutual-Transport Ensemble [46.368395985214875]
Kullback-Leibler (KL) を用いた共学習補助モデルの提案とクロスエントロピー損失の適応的正則化
MTEは精度と不確実性の両方を同時に向上させることができる。
例えば、CIFAR-100データセットでは、我々のResNet34/50上のMTEメソッドは、従来の最先端の手法に比べて大幅に改善された。
論文 参考訳（メタデータ） (2024-05-30T03:15:59Z) - Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing
its Gradient Estimator Bias [65.13042449121411]
実際には、EPによって提供される勾配推定によるネットワークのトレーニングは、MNISTよりも難しい視覚タスクにスケールしない。
有限ヌード法に固有のEPの勾配推定のバイアスがこの現象の原因であることを示す。
これらの手法を適用し、非対称な前方および後方接続を持つアーキテクチャをトレーニングし、13.2%のテストエラーを発生させる。
論文 参考訳（メタデータ） (2020-06-06T09:36:07Z) - Optimal Change-Point Detection with Training Sequences in the Large and
Moderate Deviations Regimes [72.68201611113673]
本稿では,情報理論の観点から,新しいオフライン変化点検出問題について検討する。
基礎となる事前および変更後分布の知識は分かっておらず、利用可能なトレーニングシーケンスからのみ学習できると仮定する。
論文 参考訳（メタデータ） (2020-03-13T23:39:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。