論文の概要: Sharp detection of low-dimensional structure in probability measures via dimensional logarithmic Sobolev inequalities

• arxiv url: http://arxiv.org/abs/2406.13036v1
• Date: Tue, 18 Jun 2024 20:02:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-22 00:18:18.507365
• Title: Sharp detection of low-dimensional structure in probability measures via dimensional logarithmic Sobolev inequalities
• Title（参考訳）: 次元対数的ソボレフ不等式による確率測度における低次元構造のシャープ検出
• Authors: Matthew T. C. Li, Tiangang Cui, Fengyi Li, Youssef Marzouk, Olivier Zahm,
• Abstract要約: 本稿では、所定の基準測度$mu$の摂動として、目標測度$pi$を同定し、近似する手法を提案する。 我々の主な貢献は、多元対数ソボレフ不等式(LSI)と、このアンザッツとの近似との接続を明らかにすることである。
• 参考スコア（独自算出の注目度）: 0.5592394503914488
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Identifying low-dimensional structure in high-dimensional probability measures is an essential pre-processing step for efficient sampling. We introduce a method for identifying and approximating a target measure $\pi$ as a perturbation of a given reference measure $\mu$ along a few significant directions of $\mathbb{R}^{d}$. The reference measure can be a Gaussian or a nonlinear transformation of a Gaussian, as commonly arising in generative modeling. Our method extends prior work on minimizing majorizations of the Kullback--Leibler divergence to identify optimal approximations within this class of measures. Our main contribution unveils a connection between the \emph{dimensional} logarithmic Sobolev inequality (LSI) and approximations with this ansatz. Specifically, when the target and reference are both Gaussian, we show that minimizing the dimensional LSI is equivalent to minimizing the KL divergence restricted to this ansatz. For general non-Gaussian measures, the dimensional LSI produces majorants that uniformly improve on previous majorants for gradient-based dimension reduction. We further demonstrate the applicability of this analysis to the squared Hellinger distance, where analogous reasoning shows that the dimensional Poincar\'e inequality offers improved bounds.
• Abstract（参考訳）: 高次元確率測度における低次元構造を同定することは、効率的なサンプリングのための重要な前処理ステップである。 対象測度 $\pi$ を与えられた基準測度 $\mu$ の摂動として同定し近似する手法を導入する。 基準測度はガウスあるいはガウスの非線形変換であり、生成的モデリングにおいて一般的に生じる。 本手法は,Kulback-Leibler 偏差の偏差を最小化するための先行研究を拡張し,この尺度のクラスにおける最適近似を同定する。 我々の主な貢献は、対数的ソボレフ不等式(LSI)とこのアンザッツとの近似との接続を明らかにすることである。 具体的には、ターゲットと参照の両方がガウス的である場合、次元LSIの最小化は、このアンサッツに制限されたKLの発散を最小限にすることと同値であることを示す。 一般の非ガウス測度に対して、次元LSIは、勾配に基づく次元還元のために以前の主元を均一に改善する主元を生成する。 さらに、この解析を正方形ヘリンガー距離に適用可能であることを示し、類似の推論は、次元ポアンカーの不等式が改善された境界を与えることを示している。

関連論文リスト

• A Bayesian Approach Toward Robust Multidimensional Ellipsoid-Specific Fitting [0.0]
  本研究は, ノイズおよび外周波の汚染における散乱データに多次元楕円体を適合させる, 新規で効果的な方法を提案する。 楕円体領域内でのプリミティブパラメータの探索を制約するために、均一な事前分布を組み込む。 本研究では, 顕微鏡細胞計数, 3次元再構成, 幾何学的形状近似, 磁力計の校正タスクなど, 幅広い応用に応用する。
  論文  参考訳（メタデータ） (2024-07-27T14:31:51Z)
• Mean-field variational inference with the TAP free energy: Geometric and statistical properties in linear models [20.311583934266903]
  我々は,TAP自由エネルギーのランドスケープが局所最小化器の広い近傍で強く凸していることを示す。 我々は、TAP自由エネルギーが到達可能な局所最小化器の類似性を証明し、この最小化器に基づく後部推論を正しく示す。
  論文  参考訳（メタデータ） (2023-11-14T17:35:01Z)
• Stochastic Mirror Descent for Large-Scale Sparse Recovery [13.500750042707407]
  本稿では,2次近似の高次元スパースパラメータの統計的推定への応用について論じる。 提案アルゴリズムは, 回帰器分布の弱い仮定の下で, 推定誤差の最適収束を実現する。
  論文  参考訳（メタデータ） (2022-10-23T23:23:23Z)
• Adaptive Zeroth-Order Optimisation of Nonconvex Composite Objectives [1.7640556247739623]
  ゼロ階エントロピー合成目的のためのアルゴリズムを解析し,次元依存性に着目した。 これは、ミラー降下法と推定類似関数を用いて、決定セットの低次元構造を利用して達成される。 勾配を改善するため、Rademacherに基づく古典的なサンプリング法を置き換え、ミニバッチ法が非ユークリ幾何学に対処することを示す。
  論文  参考訳（メタデータ） (2022-08-09T07:36:25Z)
• A Dimensionality Reduction Method for Finding Least Favorable Priors with a Focus on Bregman Divergence [108.28566246421742]
  そこで本研究では,次元に明示的な有界な有限次元設定に最適化を移動させることができる次元削減法を開発した。 この問題を進展させるため、比較的大きな損失関数、すなわちブレグマンの発散によって引き起こされるベイズ的リスクに限定する。
  論文  参考訳（メタデータ） (2022-02-23T16:22:28Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• The Generalized Lasso with Nonlinear Observations and Generative Priors [63.541900026673055]
  我々は、幅広い測定モデルで満たされるガウス下測度を仮定する。 この結果から, 局所埋込特性を仮定して, 均一回復保証まで拡張できることが示唆された。
  論文  参考訳（メタデータ） (2020-06-22T16:43:35Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。