論文の概要: Optimality of Sub-network Laplace Approximations: New Results and Methods
- arxiv url: http://arxiv.org/abs/2605.09075v1
- Date: Sat, 09 May 2026 17:37:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:50.057848
- Title: Optimality of Sub-network Laplace Approximations: New Results and Methods
- Title（参考訳）: サブネットワークラプラス近似の最適性:新しい結果と方法
- Abstract要約: サブネットワークラプラス近似は、パラメータの小さな部分集合に注意を向けることによってサロゲートを構成する。
サブネットワークラプラス法は,ラプラス後部の予測分散を系統的に過小評価することを示した。
本稿では、2つの原理的、解析的基礎を持つサブネットワーク・ヘッセン近似を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although the Laplace approximation offers a simple route to uncertainty quantification in deep neural networks, its reliance on inverting large Hessian matrices has motivated a range of computationally feasible low-dimensional or sparse approximations. A prominent class of such methods - sub-network Laplace approximations, constructs surrogates by restricting attention to a small subset of parameters. Existing approaches in this family typically rely on diagonal, layer-wise, or other architectural heuristics for subset selection, which ignore cross-parameter interactions and lack formal optimality guarantees. In this paper, we provide a rigorous theoretical analysis of the sub-network Laplace paradigm. We prove that all sub-network Laplace methods systematically underestimate the predictive variance of the full Laplace posterior, and that this bias decreases monotonically as the retained sub-matrix expands. Leveraging this insight, we propose two principled, analytically grounded sub-network Hessian approximations: \textit{Gradient-Laplace} selects parameters with the largest average squared gradients of the model output with respect to the parameters over a reference dataset; while \textit{Greedy-Laplace} iteratively refines this selection by accounting for off-diagonal interactions in the precision matrix. We establish theoretical guarantees characterizing their optimality properties and show that Gradient-Laplace provably outperforms existing heuristic approaches. Extensive numerical studies across diverse settings indicate that these methods perform strongly relative to existing benchmarks.
- Abstract（参考訳）: ラプラス近似はディープニューラルネットワークにおける不確実な定量化への簡単な経路を提供するが、大きなヘッセン行列の反転への依存は、計算可能な低次元あるいはスパース近似の範囲を動機付けている。
そのような手法の顕著なクラス - サブネットワークラプラス近似 - は、パラメータの小さなサブセットに注意を向けることによってサロゲートを構成する。
このファミリーの既存のアプローチは、通常、対角的、層的、または他のアーキテクチャ的ヒューリスティックに依存しており、これは、パラメータ間の相互作用を無視し、形式的な最適性の保証を欠いている。
本稿では,サブネットワークのLaplaceパラダイムの厳密な理論的解析を行う。
我々は,すべてのサブネットワークラプラス法が全ラプラス後方の予測分散を体系的に過小評価していることを証明し,このバイアスは維持されたサブ行列が拡大するにつれて単調に減少することを示した。
この知見を生かして、解析的に基底付けられたヘッセン近似を2つ提案する: \textit{Gradient-Laplace} は、参照データセット上のパラメータに関して、モデル出力の最大平均2乗勾配を持つパラメータを選択する; \textit{Greedy-Laplace} は、精度行列における非対角相互作用を考慮して、この選択を反復的に洗練する。
我々は、それらの最適性を特徴づける理論的保証を確立し、グラディエント・ラプラスが既存のヒューリスティックアプローチよりも確実に優れていることを示す。
多様な設定にまたがる大規模な数値研究は、これらの手法が既存のベンチマークと強く関係していることを示している。
関連論文リスト
- Inversion-Free Natural Gradient Descent on Riemannian Manifolds [5.556612138252781]
本稿では,凸パラメータを持つ確率分布に対する逆フリーな自然勾配法を提案する。
多様体の設定にはいくつかの利点がある: パラメータ制約を暗黙的に強制することができる。
サブクアドラティックストレージの複雑さを伴うアルゴリズムの限定メモリ変種が提案されている。
論文 参考訳（メタデータ） (2026-04-03T11:08:59Z) - Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。
以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
論文 参考訳（メタデータ） (2025-10-22T19:06:39Z) - On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization [57.179679246370114]
既存の手法の潜在的な制限は、ステップサイズが提案されない限り、ほとんどの摂動推定器に固有のバイアスである。
本稿では, 良好な構成を維持しつつ, バイアスを排除した非バイアス勾配スケーリング推定器のファミリーを提案する。
論文 参考訳（メタデータ） (2025-10-22T18:25:43Z) - Beyond Coordinates: Meta-Equivariance in Statistical Inference [0.0]
最適な統計的決定は、それらを記述するために使用される言語を超越すべきである。
座標の選択が解を微妙に定めないことを保証するにはどうすればよいのか?
まず、厳密な凸型トレース-AMSEリスクの下で、二元正規推定器の最適組み合わせを分析する。
論文 参考訳（メタデータ） (2025-04-14T19:40:39Z) - Regularized Projection Matrix Approximation with Applications to Community Detection [1.3761665705201904]
本稿では,アフィニティ行列からクラスタ情報を復元するための正規化プロジェクション行列近似フレームワークを提案する。
3つの異なるペナルティ関数について検討し, それぞれが有界, 正, スパースシナリオに対応するように調整した。
合成および実世界の両方のデータセットで行った数値実験により、我々の正規化射影行列近似アプローチはクラスタリング性能において最先端の手法を著しく上回っていることが明らかとなった。
論文 参考訳（メタデータ） (2024-05-26T15:18:22Z) - A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。
本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
論文 参考訳（メタデータ） (2024-05-24T21:09:19Z) - A unified error analysis for randomized low-rank approximation with application to data assimilation [39.47298454012977]
中心行列および非標準行列に対するフロベニウスノルムにおける低ランク近似誤差の解析のための統一的なフレームワークを提案する。
最小限の仮定の下では、期待と確率の正確な境界を導出する。
私たちの境界には、プロパティを導出し、実践的な選択を動機付けるための明確な解釈があります。
論文 参考訳（メタデータ） (2024-05-08T04:51:56Z) - Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。
この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
論文 参考訳（メタデータ） (2023-11-04T11:12:24Z) - Stochastic Mirror Descent for Large-Scale Sparse Recovery [13.500750042707407]
本稿では,2次近似の高次元スパースパラメータの統計的推定への応用について論じる。
提案アルゴリズムは, 回帰器分布の弱い仮定の下で, 推定誤差の最適収束を実現する。
論文 参考訳（メタデータ） (2022-10-23T23:23:23Z) - Pathwise Conditioning of Gaussian Processes [72.61885354624604]
ガウス過程後部をシミュレーションするための従来のアプローチでは、有限個の入力位置のプロセス値の限界分布からサンプルを抽出する。
この分布中心の特徴づけは、所望のランダムベクトルのサイズで3次スケールする生成戦略をもたらす。
条件付けのこのパスワイズ解釈が、ガウス過程の後部を効率的にサンプリングするのに役立てる近似の一般族をいかに生み出すかを示す。
論文 参考訳（メタデータ） (2020-11-08T17:09:37Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳（メタデータ） (2020-07-16T13:27:47Z) - Support recovery and sup-norm convergence rates for sparse pivotal
estimation [79.13844065776928]
高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。
非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
論文 参考訳（メタデータ） (2020-01-15T16:11:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。