論文の概要: Wasserstein approximation of measures via orthogonal frames: statistical and computational complexities
- arxiv url: http://arxiv.org/abs/2610.36581v1
- Date: Tue, 27 Oct 2026 03:36:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.476186
- Title: Wasserstein approximation of measures via orthogonal frames: statistical and computational complexities
- Title(参考訳): 直交フレームによる測度のワッサーシュタイン近似:統計および計算複雑性
- Abstract要約: PCAのような次元還元法は、データ内のほとんどの変動をキャプチャする部分空間を識別するが、その内部では区別されていない。
We pose this task as Wasserstein approximation of the data distribution。
軽微な仮定では,経験的リスク最小化法と局所勾配法の両方が,ほぼ最適速度で個体群・最適フレームを回復することを示した。
- 参考スコア(独自算出の注目度): 5.4906300053327834
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dimension-reduction methods such as PCA identify a subspace capturing most of the variation in the data, but not a distinguished basis within it. Selecting a basis in which the samples are sparsely represented is a recurring task in unsupervised learning, addressed by methods in factor analysis, dictionary learning, and subspace clustering. We pose this task as Wasserstein approximation of the data distribution by measures supported on the axes of an orthogonal frame, which, in turn, reduces to a nonsmooth optimization problem over the orthogonal group $\mathrm{O}(d)$. We show that, under mild assumptions, both empirical risk minimizers and a locally initialized stochastic gradient method recover the population-optimal frame at the near-parametric rate $\widetilde{O}_d(n^{-1/2})$, where $n$ is the sample size. The main difficulty is that, although the population objective is smooth, the empirical objective is not-this mismatch precludes standard covering arguments. We overcome this issue by replacing Lipschitz continuity of the empirical gradient with a coarsely Lipschitz bound, a tool that may be of independent interest. Numerical experiments support our theoretical findings.
- Abstract(参考訳): PCAのような次元還元法は、データ内のほとんどの変動をキャプチャする部分空間を識別するが、その内部では区別されていない。
サンプルが疎結合に表現される基盤を選択することは、因子分析、辞書学習、サブスペースクラスタリングの手法によって解決される教師なし学習における繰り返しタスクである。
直交フレームの軸に支持される測度によるデータ分布のワッサーシュタイン近似としてこのタスクを施すと、直交群 $\mathrm{O}(d)$ 上の非滑らかな最適化問題に還元される。
軽微な仮定では、経験的リスク最小化法と局所初期化確率勾配法の両方が、標本サイズが$n$である場合、近パラメトリック速度$\widetilde{O}_d(n^{-1/2})$で、集団最適フレームを復元することを示した。
主な難点は、人口目標がスムーズであるにもかかわらず、実証的な目的は、このミスマッチが標準的な議論を妨げているわけではないことである。
我々は、経験的勾配のリプシッツ連続性を粗いリプシッツ境界に置き換えることでこの問題を克服する。
数値実験は理論的な結果を裏付ける。
関連論文リスト
- Unbiased Kinetic Langevin Monte Carlo with Inexact Gradients [0.8749675983608172]
動力学的ランゲヴィンダイナミクスに基づく後進手段の非バイアス化手法を提案する。
提案した推定器は偏りがなく、有限分散となり、中心極限定理を満たす。
以上の結果から、大規模アプリケーションでは、非バイアスアルゴリズムは「ゴールドスタンダード」なハミルトニアン・モンテカルロよりも2~3桁効率が良いことが示された。
論文 参考訳(メタデータ) (2023-11-08T21:19:52Z) - Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。
この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
論文 参考訳(メタデータ) (2023-11-04T11:12:24Z) - Statistical Estimation Under Distribution Shift: Wasserstein
Perturbations and Minimax Theory [24.540342159350015]
我々はWasserstein分布シフトに注目し、各データポイントがわずかに摂動する可能性がある。
データポイント間の独立あるいは協調的な関節シフトである摂動について検討する。
位置推定,線形回帰,非パラメトリック密度推定など,いくつかの重要な統計問題を解析する。
論文 参考訳(メタデータ) (2023-08-03T16:19:40Z) - Random Forest Weighted Local Fréchet Regression with Random Objects [18.128663071848923]
本稿では,新しいランダム森林重み付き局所Fr'echet回帰パラダイムを提案する。
最初の方法は、これらの重みを局所平均として、条件付きFr'echet平均を解くことである。
第二の手法は局所線形Fr'echet回帰を行い、どちらも既存のFr'echet回帰法を大幅に改善した。
論文 参考訳(メタデータ) (2022-02-10T09:10:59Z) - Distributed Sparse Regression via Penalization [5.990069843501885]
エージェントのネットワーク上の線形回帰を、(集中ノードを持たない)無向グラフとしてモデル化する。
推定問題は、局所的なLASSO損失関数の和とコンセンサス制約の2次ペナルティの最小化として定式化される。
本稿では, ペナル化問題に適用した近似勾配アルゴリズムが, 集中的な統計的誤差の順序の許容値まで線形に収束することを示す。
論文 参考訳(メタデータ) (2021-11-12T01:51:50Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳(メタデータ) (2021-07-21T17:10:14Z) - Continuous Wasserstein-2 Barycenter Estimation without Minimax
Optimization [94.18714844247766]
ワッサーシュタイン・バリセンターは、最適輸送に基づく確率測度の重み付き平均の幾何学的概念を提供する。
本稿では,Wasserstein-2 バリセンタのサンプルアクセスを演算するスケーラブルなアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-02-02T21:01:13Z) - Carath\'eodory Sampling for Stochastic Gradient Descent [79.55586575988292]
本稿では,Tchakaloff と Carath'eodory の古典的な結果から着想を得た手法を提案する。
我々は、測定値の低減を行う降下ステップを適応的に選択する。
これをBlock Coordinate Descentと組み合わせることで、測定の削減を極めて安価に行えるようにします。
論文 参考訳(メタデータ) (2020-06-02T17:52:59Z) - Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable
Neural Distribution Alignment [52.02794488304448]
そこで本研究では,対数様比統計量と正規化フローに基づく新しい分布アライメント手法を提案する。
入力領域の局所構造を保存する領域アライメントにおいて,結果の最小化を実験的に検証する。
論文 参考訳(メタデータ) (2020-03-26T22:10:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。