論文の概要: On Linear Separability under Linear Compression with Applications to
Hard Support Vector Machine
- arxiv url: http://arxiv.org/abs/2202.01118v1
- Date: Wed, 2 Feb 2022 16:23:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-03 16:41:10.328540
- Title: On Linear Separability under Linear Compression with Applications to
Hard Support Vector Machine
- Title(参考訳): 線形圧縮下での線形分離性とハードサポートベクトルマシンへの応用について
- Authors: Paul McVay, Dr. Tie Liu, Dr. Krishna Narayanan
- Abstract要約: 内部積の歪みが元のデータ生成分布の2乗辺よりも小さい限り線形分離性が維持されることを示す。
応用として、ランダムなガウス行列の(i)圧縮長と(ii)ハードSVMを用いた圧縮学習における一般化誤差を導出する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper investigates the theoretical problem of maintaining linear
separability of the data-generating distribution under linear compression.
While it has been long known that linear separability may be maintained by
linear transformations that approximately preserve the inner products between
the domain points, the limit to which the inner products are preserved in order
to maintain linear separability was unknown. In this paper, we show that linear
separability is maintained as long as the distortion of the inner products is
smaller than the squared margin of the original data-generating distribution.
The proof is mainly based on the geometry of hard support vector machines (SVM)
extended from the finite set of training examples to the (possibly) infinite
domain of the data-generating distribution. As applications, we derive bounds
on the (i) compression length of random sub-Gaussian matrices; and (ii)
generalization error for compressive learning with hard-SVM.
- Abstract(参考訳): 本稿では,データ生成分布の線形分離性を線形圧縮下で維持する理論的問題について検討する。
線形分離性は、領域点間の内積をほぼ保存する線形変換によって維持されることが長年知られているが、線形分離性を維持するために内積を保存しておく限界は不明である。
本稿では,内部積の歪みが元のデータ生成分布の2乗限界よりも小さい限り,線形分離性が維持されることを示す。
この証明は主に、有限個のトレーニング例からデータ生成分布の無限領域へと拡張されたハードサポートベクトルマシン(SVM)の幾何学に基づいている。
応用として 境界を導出します
(i)ランダム・ガウス行列の圧縮長、及び
(ii)ハードsvmを用いた圧縮学習における一般化誤差
関連論文リスト
- Linear Regression on Manifold Structured Data: the Impact of Extrinsic
Geometry on Solutions [4.8234611688915665]
多様体上に構築されたデータに適用した線形回帰について検討する。
回帰解の特異性に対する多様体の曲率の影響を解析する。
論文 参考訳(メタデータ) (2023-07-05T17:51:26Z) - Learning Linear Causal Representations from Interventions under General
Nonlinear Mixing [52.66151568785088]
介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。
これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
論文 参考訳(メタデータ) (2023-06-04T02:32:12Z) - Sufficient dimension reduction for feature matrices [3.04585143845864]
そこで本研究では,主支持行列マシン (PSMM) を用いた行列次元削減手法を提案する。
数値解析により、PSMMは既存の手法よりも優れ、実データアプリケーションでは高い解釈性を有することが示された。
論文 参考訳(メタデータ) (2023-03-07T23:16:46Z) - Theoretical Connection between Locally Linear Embedding, Factor
Analysis, and Probabilistic PCA [13.753161236029328]
リニア埋め込み(LLE)は非線形スペクトル次元減少および多様体学習法である。
本稿では,各データポイントが線形再構成重みを潜在因子として条件付けされていると仮定する観点から,線形再構成ステップを考察する。
論文 参考訳(メタデータ) (2022-03-25T21:07:20Z) - Learning Generative Prior with Latent Space Sparsity Constraints [25.213673771175692]
自然像の分布は1つの多様体にではなく、むしろいくつかの部分多様体の結合にあると論じられている。
本稿では,スペーサ性駆動型潜時空間サンプリング(SDLSS)フレームワークを提案し,PMLアルゴリズムを用いて潜時空間のスペーサ性を実現する。
その結果, SDLSS法は, 高次圧縮では最先端法よりも効率が高いことがわかった。
論文 参考訳(メタデータ) (2021-05-25T14:12:04Z) - Robust Differentiable SVD [117.35644933471401]
対称行列の固有分解は多くのコンピュータビジョンアルゴリズムの中心にある。
不安定性は互いに近い固有値の存在によって生じる。
SVD勾配のテイラー展開は、反復過程に依存することなくPIを用いて得られる勾配と理論的に等価であることを示す。
論文 参考訳(メタデータ) (2021-04-08T15:04:15Z) - Minimax Estimation of Linear Functions of Eigenvectors in the Face of
Small Eigen-Gaps [95.62172085878132]
固有ベクトル摂動解析は様々な統計データ科学の応用において重要な役割を果たす。
未知の固有ベクトルの任意の線型関数の摂動を特徴付ける統計理論の一組を開発する。
自然の「プラグイン」推定器に固有の非無視バイアス問題を緩和するために,非バイアス推定器を開発する。
論文 参考訳(メタデータ) (2021-04-07T17:55:10Z) - Online Stochastic Gradient Descent Learns Linear Dynamical Systems from
A Single Trajectory [1.52292571922932]
本研究では,システムを記述する未知の重み行列がブルノフスキー正則形式であれば,システムの未知の基底真理を効率的に推定できることを示した。
具体的には、具体的な境界を導出することにより、SGDは基底真理重みから任意の小さなフロベニウスノルム距離に期待して線型収束することを示す。
論文 参考訳(メタデータ) (2021-02-23T17:48:39Z) - Sparse Quantized Spectral Clustering [85.77233010209368]
このような非線形変換の下で行列の固有スペクトルがどのように変化するのかを、ランダム行列理論のツールを用いて正確に述べる。
急激なスペーシング/量子化の下でも,情報的固有構造にはほとんど変化は見られなかった。
論文 参考訳(メタデータ) (2020-10-03T15:58:07Z) - From deep to Shallow: Equivalent Forms of Deep Networks in Reproducing
Kernel Krein Space and Indefinite Support Vector Machines [63.011641517977644]
ディープネットワークを等価な(不確定な)カーネルマシンに変換します。
次に、この変換がキャパシティ制御および一様収束に与える影響について検討する。
最後に、平坦表現の空間性について解析し、平坦な重みが(効果的に) 0p1 で正規化された Lp-"ノルム" であることが示される。
論文 参考訳(メタデータ) (2020-07-15T03:21:35Z) - Eigendecomposition-Free Training of Deep Networks for Linear
Least-Square Problems [107.3868459697569]
我々は、ディープネットワークのトレーニングに固有分解のないアプローチを導入する。
この手法は固有分解の明示的な微分よりもはるかに堅牢であることを示す。
我々の手法は収束特性が良く、最先端の結果が得られます。
論文 参考訳(メタデータ) (2020-04-15T04:29:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。