論文の概要: High-dimensional Adaptive MCMC with Reduced Computational Complexity
- arxiv url: http://arxiv.org/abs/2604.09286v1
- Date: Fri, 10 Apr 2026 12:58:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-13 17:57:53.864183
- Title: High-dimensional Adaptive MCMC with Reduced Computational Complexity
- Title（参考訳）: 計算複雑性を低減した高次元適応MCMC
- Authors: Max Hird, Samuel Livingstone,
- Abstract要約: 本稿では, 線形プレコンディショナリを非対角的要素で密集するが, パラメトリションで疎らに学習する適応MCMC法を提案する。
絶対的な性能で対角線プレコンディショニングよりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 0.8594140167290097
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose an adaptive MCMC method that learns a linear preconditioner which is dense in its off-diagonal elements but sparse in its parametrisation. Due to this sparsity, we achieve a per-iteration computational complexity of $O(m^2d)$ for a user-determined parameter $m$, compared with the $O(d^2)$ complexity of existing adaptive strategies that can capture correlation information from the target. Diagonal preconditioning has an $O(d)$ per-iteration complexity, but is known to fail in the case that the target distribution is highly correlated, see \citet[Section 3.5]{hird2025a}. Our preconditioner is constructed using eigeninformation from the target covariance which we infer using online principal components analysis on the MCMC chain. It is composed of a diagonal matrix and a product of carefully chosen reflection matrices. On various numerical tests we show that it outperforms diagonal preconditioning in terms of absolute performance, and that it outperforms traditional dense preconditioning and multiple diagonal plus low-rank alternatives in terms of time-normalised performance.
- Abstract（参考訳）: 本稿では, 線形プレコンディショナリを非対角的要素で密集するが, パラメトリションでは疎らに学習する適応MCMC法を提案する。
この分散性のため、ユーザ決定パラメータ$m$に対して$O(m^2d)$のイテレーション当たりの計算複雑性を、ターゲットからの相関情報をキャプチャ可能な既存の適応戦略の複雑さと比較して達成する。
対角プレコンディショニングはO(d)$ per-iteration complexity(英語版)を持つが、ターゲット分布が高い相関性を持つ場合、失敗することが知られている(『citet[Section 3.5]{hird2025a}』参照)。
我々は,MCMC連鎖上のオンライン主成分分析を用いて推定した目的共分散の固有情報を用いてプレコンディショナーを構築した。
対角行列と慎重に選択された反射行列の積からなる。
種々の数値実験において、絶対的な性能で対角前条件よりも優れており、時間正規化された性能で従来の密閉前条件や複数対角+低ランクの代替よりも優れていることを示す。
関連論文リスト
- Block encoding of sparse matrices with a periodic diagonal structure [67.45502291821956]
周期的な対角構造を持つスパース行列を符号化するための明示的な量子回路を提供する。
本手法の様々な応用は, 微分問題を解く文脈で論じる。
論文 参考訳（メタデータ） (2026-02-11T07:24:33Z) - Fast Linear Solvers via AI-Tuned Markov Chain Monte Carlo-based Matrix Inversion [8.596794810605124]
与えられた線形システムに対してMCMCパラメータを推奨するAI駆動型フレームワークを提案する。
グラフニューラルサロゲートは、プリコンディショニング速度を$A$とMCMCパラメータから予測する。
従来手法では,従来手法の検索予算の50%を網羅して,事前条件の改善を実現している。
論文 参考訳（メタデータ） (2025-09-22T22:14:13Z) - Scaling Up Liquid-Resistance Liquid-Capacitance Networks for Efficient Sequence Modeling [50.994194925685434]
LrcSSMは$textitnon-linear$リカレントモデルで、現在の線形状態空間層と同じくらい高速に長いシーケンスを処理する。
ヤコビ行列を対角線に強制することにより、全列を並列に解くことができる。
LrcSSMは、Liquid-S4のような他の入力変化系が提供しないことを保証する形式的な勾配安定性を提供する。
論文 参考訳（メタデータ） (2025-05-27T20:02:59Z) - Preconditioned Gradient Descent for Over-Parameterized Nonconvex Matrix Factorization [19.32160757444549]
非特定行列分解の実例では、真の解体$のランクはしばしば未知であるため、モデルのランク子$は$r>rstar$として特異である。
本稿では,行列センサの非行列因数分解のための安価なサブプロセッサを提案し,非依存の場合においても収束係数を線形に復元する。
我々の数値実験により、PrecGD は他の変種非行列分解の収束を回復する上でも同様にうまく機能することがわかった。
論文 参考訳（メタデータ） (2025-04-13T20:06:49Z) - Transformers as Support Vector Machines [54.642793677472724]
自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。
勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。
これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
論文 参考訳（メタデータ） (2023-08-31T17:57:50Z) - Simplifying Momentum-based Positive-definite Submanifold Optimization
with Applications to Deep Learning [24.97120654216651]
部分多様体上の運動量を持つ難しい微分方程式の解法を示す。
我々はリーマン正規座標の一般化版を提案する。
我々は,行列乗算のみを用いることで,構造化共分散の既存手法を単純化し,低精度のディープラーニングのための行列非逆2textnd$ordersを開発する。
論文 参考訳（メタデータ） (2023-02-20T03:31:11Z) - Sparse Quadratic Optimisation over the Stiefel Manifold with Application
to Permutation Synchronisation [71.27989298860481]
二次目的関数を最大化するスティーフェル多様体上の行列を求める非最適化問題に対処する。
そこで本研究では,支配的固有空間行列を求めるための,単純かつ効果的なスパーシティプロモーティングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-09-30T19:17:35Z) - Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature
Selection [138.97647716793333]
再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。
提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
論文 参考訳（メタデータ） (2020-12-29T04:08:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。