論文の概要: Sub-Gaussian Matrices on Sets: Optimal Tail Dependence and Applications

• arxiv url: http://arxiv.org/abs/2001.10631v2
• Date: Wed, 20 Jan 2021 21:30:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-06 03:01:44.703449
• Title: Sub-Gaussian Matrices on Sets: Optimal Tail Dependence and Applications
• Title（参考訳）: 集合上の準ガウス行列:最適テール依存とその応用
• Authors: Halyun Jeong, Xiaowei Li, Yaniv Plan, \"Ozg\"ur Y{\i}lmaz
• Abstract要約: ガウス行列が集合上の近距離等距離となる場合について検討する。 我々は、ガウス以下のノルムに対するこれまでの最もよく知られた依存は準最適であることを示した。 また、部分指数確率変数に対する新しいベルンシュタイン型不等式や、準ガウス確率変数の二次形式に対する新しいハンソン-ライト不等式も開発する。
• 参考スコア（独自算出の注目度）: 6.034622792544481
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Random linear mappings are widely used in modern signal processing, compressed sensing and machine learning. These mappings may be used to embed the data into a significantly lower dimension while at the same time preserving useful information. This is done by approximately preserving the distances between data points, which are assumed to belong to $\mathbb{R}^n$. Thus, the performance of these mappings is usually captured by how close they are to an isometry on the data. Gaussian linear mappings have been the object of much study, while the sub-Gaussian settings is not yet fully understood. In the latter case, the performance depends on the sub-Gaussian norm of the rows. In many applications, e.g., compressed sensing, this norm may be large, or even growing with dimension, and thus it is important to characterize this dependence. We study when a sub-Gaussian matrix can become a near isometry on a set, show that previous best known dependence on the sub-Gaussian norm was sub-optimal, and present the optimal dependence. Our result not only answers a remaining question posed by Liaw, Mehrabian, Plan and Vershynin in 2017, but also generalizes their work. We also develop a new Bernstein type inequality for sub-exponential random variables, and a new Hanson-Wright inequality for quadratic forms of sub-Gaussian random variables, in both cases improving the bounds in the sub-Gaussian regime under moment constraints. Finally, we illustrate popular applications such as Johnson-Lindenstrauss embeddings, null space property for 0-1 matrices, randomized sketches and blind demodulation, whose theoretical guarantees can be improved by our results (in the sub-Gaussian case).
• Abstract（参考訳）: ランダム線形写像は現代の信号処理、圧縮センシング、機械学習で広く使われている。 これらのマッピングは、有用な情報を保存すると同時に、データをはるかに低い次元に埋め込むために使用することができる。 これは、$\mathbb{R}^n$ に属すると仮定されるデータポイント間の距離を大まかに保存することによる。 したがって、これらのマッピングのパフォーマンスは通常、データ上の等尺線にどれだけ近いかによってキャプチャされる。 ガウス線型写像は多くの研究の対象であるが、ガウス下の設定はまだ完全には理解されていない。 後者の場合、性能は列の部分ガウスノルムに依存する。 多くのアプリケーション、例えば圧縮センシングでは、このノルムは大きいか、次元で成長する可能性があり、従ってこの依存を特徴づけることが重要である。 準ガウス行列が集合上の近距離等距離となるとき、それ以前のガウスノルムへの最もよく知られた依存が準最適であることを示し、最適依存を示す。 私たちの結果は、2017年にLiaw、Mehrabian、Plan、Vershyninによって提起された残りの質問に答えるだけでなく、彼らの仕事を一般化する。 また,部分指数確率変数に対する新しいベルンシュタイン型不等式,および準ガウス確率変数の二次形式に対する新しいハンソン・ライト不等式も,いずれもモーメント制約の下でのガウス系の境界を改善する。 最後に,johnson-lindenstrauss embeddeds,null space property for 0-1 matrices, randomized sketches, blind demodulation などの一般的な応用例を示す。

関連論文リスト

• Highly Adaptive Ridge [84.38107748875144]
  直交可積分な部分微分を持つ右連続函数のクラスにおいて,$n-2/3$自由次元L2収束率を達成する回帰法を提案する。 Harは、飽和ゼロオーダーテンソル積スプライン基底展開に基づいて、特定のデータ適応型カーネルで正確にカーネルリッジレグレッションを行う。 我々は、特に小さなデータセットに対する最先端アルゴリズムよりも経験的性能が優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-03T17:06:06Z)
• Learning Sparse High-Dimensional Matrix-Valued Graphical Models From Dependent Data [12.94486861344922]
  スパース,高次元,定常行列-ガウス時系列の条件独立グラフ(CIG)を推定する問題を考察する。 我々は、Kronecker分解性パワースペクトル密度(PSD)による問題をスパースベースで定式化することを考える。 合成データと実データの両方を利用した数値例を用いて,本手法について述べる。
  論文  参考訳（メタデータ） (2024-04-29T19:32:50Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Implicit Manifold Gaussian Process Regression [49.0787777751317]
  ガウス過程の回帰は、よく校正された不確実性推定を提供するために広く用いられている。 これは、データが実際に存在する暗黙の低次元多様体のため、高次元データに苦しむ。 本稿では,データ(ラベル付きおよびラベルなし)から直接暗黙構造を完全に微分可能な方法で推定できる手法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T09:52:48Z)
• Random Smoothing Regularization in Kernel Gradient Descent Learning [24.383121157277007]
  古典的ソボレフ空間に属する幅広い基底真理関数を適応的に学習できるランダムなスムーズな正規化のための枠組みを提案する。 我々の推定器は、基礎となるデータの構造的仮定に適応し、次元の呪いを避けることができる。
  論文  参考訳（メタデータ） (2023-05-05T13:37:34Z)
• Gaussian Universality of Linear Classifiers with Random Labels in High-Dimension [24.503842578208268]
  高次元における生成モデルから得られるデータは、ガウスデータと対応するデータ共分散の最小限の訓練損失を持つことを示す。 特に,同質なガウス雲と多モード生成ニューラルネットワークの任意の混合によって生成されたデータについて述べる。
  論文  参考訳（メタデータ） (2022-05-26T12:25:24Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Sparse Gaussian Processes with Spherical Harmonic Features [14.72311048788194]
  領域間変分ガウス過程(GP)の新たなクラスを導入する。 我々の推論スキームは変分フーリエの特徴に匹敵するが、次元の呪いに苦しむことはない。 実験の結果,本モデルでは,600万項目のデータセットに対して,2桁の精度で回帰モデルを適合させることができることがわかった。
  論文  参考訳（メタデータ） (2020-06-30T10:19:32Z)
• Robust Compressed Sensing using Generative Models [98.64228459705859]
  本稿では,Median-of-Means (MOM) にヒントを得たアルゴリズムを提案する。 我々のアルゴリズムは、外れ値が存在する場合でも、重み付きデータの回復を保証する。
  論文  参考訳（メタデータ） (2020-06-16T19:07:41Z)
• Optimal Iterative Sketching with the Subsampled Randomized Hadamard Transform [64.90148466525754]
  最小二乗問題に対する反復スケッチの性能について検討する。 本研究では、Haar行列とランダム化されたHadamard行列の収束速度が同一であることを示し、ランダムなプロジェクションを経時的に改善することを示した。 これらの手法は、ランダム化次元還元を用いた他のアルゴリズムにも適用することができる。
  論文  参考訳（メタデータ） (2020-02-03T16:17:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。