論文の概要: Robust and Provable Guarantees for Sparse Random Embeddings
- arxiv url: http://arxiv.org/abs/2202.10815v1
- Date: Tue, 22 Feb 2022 11:15:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-23 21:47:07.596537
- Title: Robust and Provable Guarantees for Sparse Random Embeddings
- Title(参考訳): スパースランダム埋め込みに対するロバストかつ証明可能な保証
- Authors: Maciej Skorski, Alessandro Temperoni, Martin Theobald
- Abstract要約: 我々は、Freksen が al. (NIPS'18) と Jagadeesan (NIPS'18) で提供したスパースランダム埋め込みの保証を改善する。
a) 前述した保証とは対照的に我々の境界は明示的であり、(b)我々の境界は実際に重要な定数によってよりシャープであることが保証されている。
我々は、我々の境界が、広範囲の現実世界のデータセットに関する先行研究よりも著しく優れていることを実証的に実証した。
- 参考スコア(独自算出の注目度): 72.24615341588846
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work, we improve upon the guarantees for sparse random embeddings, as
they were recently provided and analyzed by Freksen at al. (NIPS'18) and
Jagadeesan (NIPS'19). Specifically, we show that (a) our bounds are explicit as
opposed to the asymptotic guarantees provided previously, and (b) our bounds
are guaranteed to be sharper by practically significant constants across a wide
range of parameters, including the dimensionality, sparsity and dispersion of
the data. Moreover, we empirically demonstrate that our bounds significantly
outperform prior works on a wide range of real-world datasets, such as
collections of images, text documents represented as bags-of-words, and text
sequences vectorized by neural embeddings. Behind our numerical improvements
are techniques of broader interest, which improve upon key steps of previous
analyses in terms of (c) tighter estimates for certain types of quadratic
chaos, (d) establishing extreme properties of sparse linear forms, and (e)
improvements on bounds for the estimation of sums of independent random
variables.
- Abstract(参考訳): 本研究では,Freksen による al. (NIPS'18) と Jagadeesan (NIPS'19) によって最近提供され,解析された疎ランダム埋め込みの保証を改善する。
具体的には
a) 前述した漸近的保証とは対照的に,我々の限界は明示的である
b) データの次元性,スパーシティ,分散性など,幅広いパラメータにまたがる実質的な重要な定数によって,境界がよりシャープになることが保証されている。
さらに、画像のコレクション、単語の袋として表現されたテキスト文書、神経埋め込みによってベクトル化されたテキストシーケンスなど、幅広い実世界のデータセットにおいて、我々の境界が先行研究よりも著しく優れていることを実証的に証明した。
我々の数値的改善の裏には、より広い関心の技法があり、これは過去の分析の要点を改良している。
(c)特定の種類の二次カオスに対するより厳密な見積もり。
(d)疎線型形式の極端な性質を確立し、
(e)独立確率変数の和を推定するための境界の改善。
関連論文リスト
- Online Learning Approach for Survival Analysis [1.0499611180329806]
生存分析のためのオンライン数学フレームワークを導入し、動的環境や検閲データへのリアルタイム適応を可能にする。
このフレームワークは、最適2階オンライン凸最適化アルゴリズムによるイベント時間分布の推定を可能にする-オンラインニュートンステップ(ONS)
論文 参考訳(メタデータ) (2024-02-07T08:15:30Z) - Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。
本手法は, 精度の高い問題に特に適している。
提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
論文 参考訳(メタデータ) (2023-11-08T00:10:21Z) - Exact Non-Oblivious Performance of Rademacher Random Embeddings [79.28094304325116]
本稿では,Rademacherランダムプロジェクションの性能を再検討する。
入力データに関して数値的に鋭く、曖昧でない新しい統計的保証を確立する。
論文 参考訳(メタデータ) (2023-03-21T11:45:27Z) - Conformal Frequency Estimation using Discrete Sketched Data with
Coverage for Distinct Queries [35.67445122503686]
本稿では、非常に大きな離散データセットにおいて、問合せ対象の周波数に対する信頼区間を構築するための共形推論手法を開発する。
提案手法は,シミュレーションにおける既存の頻繁主義者やベイズ的な代替手法と比較して,経験的性能が向上したことを示す。
論文 参考訳(メタデータ) (2022-11-09T00:05:29Z) - Differential Privacy Guarantees for Stochastic Gradient Langevin
Dynamics [2.9477900773805032]
定常的なステップサイズで、スムーズかつ強凸な目標に対して、プライバシー損失は指数関数的に速く収束することを示す。
本稿では,従来のDP-SGDライブラリと比較して,本手法の実用性を示す実装を提案する。
論文 参考訳(メタデータ) (2022-01-28T08:21:31Z) - Private Robust Estimation by Stabilizing Convex Relaxations [22.513117502159922]
$(epsilon, delta)$-differentially private (DP)
$(epsilon, delta)$-differentially private (DP)
$(epsilon, delta)$-differentially private (DP)
論文 参考訳(メタデータ) (2021-12-07T07:47:37Z) - Privacy Preserving Recalibration under Domain Shift [119.21243107946555]
本稿では,差分プライバシー制約下での校正問題の性質を抽象化する枠組みを提案する。
また、新しいリカレーションアルゴリズム、精度温度スケーリングを設計し、プライベートデータセットの事前処理より優れています。
論文 参考訳(メタデータ) (2020-08-21T18:43:37Z) - Random extrapolation for primal-dual coordinate descent [61.55967255151027]
本稿では,データ行列の疎度と目的関数の好適な構造に適応する,ランダムに外挿した原始-双対座標降下法を提案する。
一般凸凹の場合, 主対差と目的値に対するシーケンスのほぼ確実に収束と最適サブ線形収束率を示す。
論文 参考訳(メタデータ) (2020-07-13T17:39:35Z) - Improved guarantees and a multiple-descent curve for Column Subset
Selection and the Nystr\"om method [76.73096213472897]
我々は,データ行列のスペクトル特性を利用して近似保証を改良する手法を開発した。
我々のアプローチは、特異値減衰の既知の速度を持つデータセットのバウンダリが大幅に向上する。
RBFパラメータを変更すれば,改良された境界線と多重発振曲線の両方を実データセット上で観測できることが示される。
論文 参考訳(メタデータ) (2020-02-21T00:43:06Z) - Privacy Amplification of Iterative Algorithms via Contraction
Coefficients [3.5270468102327004]
本稿では、情報理論レンズを用いて、Feldmanらによって最近提案された反復によるプライバシー増幅の枠組みについて検討する。
本稿では,データ処理の不等式を$f$-divergencesで求めることによって,データ処理の不等式から導かれる収縮係数の直接適用により,反復写像の差分プライバシー保証が決定できることを実証する。
論文 参考訳(メタデータ) (2020-01-17T22:06:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。