論文の概要: On Linear Separability under Linear Compression with Applications to
Hard Support Vector Machine
- arxiv url: http://arxiv.org/abs/2202.01118v1
- Date: Wed, 2 Feb 2022 16:23:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-03 16:41:10.328540
- Title: On Linear Separability under Linear Compression with Applications to
Hard Support Vector Machine
- Title（参考訳）: 線形圧縮下での線形分離性とハードサポートベクトルマシンへの応用について
- Authors: Paul McVay, Dr. Tie Liu, Dr. Krishna Narayanan
- Abstract要約: 内部積の歪みが元のデータ生成分布の2乗辺よりも小さい限り線形分離性が維持されることを示す。
応用として、ランダムなガウス行列の(i)圧縮長と(ii)ハードSVMを用いた圧縮学習における一般化誤差を導出する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper investigates the theoretical problem of maintaining linear
separability of the data-generating distribution under linear compression.
While it has been long known that linear separability may be maintained by
linear transformations that approximately preserve the inner products between
the domain points, the limit to which the inner products are preserved in order
to maintain linear separability was unknown. In this paper, we show that linear
separability is maintained as long as the distortion of the inner products is
smaller than the squared margin of the original data-generating distribution.
The proof is mainly based on the geometry of hard support vector machines (SVM)
extended from the finite set of training examples to the (possibly) infinite
domain of the data-generating distribution. As applications, we derive bounds
on the (i) compression length of random sub-Gaussian matrices; and (ii)
generalization error for compressive learning with hard-SVM.
- Abstract（参考訳）: 本稿では,データ生成分布の線形分離性を線形圧縮下で維持する理論的問題について検討する。
線形分離性は、領域点間の内積をほぼ保存する線形変換によって維持されることが長年知られているが、線形分離性を維持するために内積を保存しておく限界は不明である。
本稿では,内部積の歪みが元のデータ生成分布の2乗限界よりも小さい限り,線形分離性が維持されることを示す。
この証明は主に、有限個のトレーニング例からデータ生成分布の無限領域へと拡張されたハードサポートベクトルマシン(SVM)の幾何学に基づいている。
応用として 境界を導出します
(i)ランダム・ガウス行列の圧縮長、及び
(ii)ハードsvmを用いた圧縮学習における一般化誤差
関連論文リスト
- Projected Tensor-Tensor Products for Efficient Computation of Optimal Multiway Data Representations [0.0]
本稿では,計算オーバーヘッドを低減するために可逆性制限を緩和する新しいテンソルテンソル製品を提案する。
予測された製品フレームワーク内での圧縮表現の行列緩和性と最適性を証明する理論を提供する。
論文 参考訳（メタデータ） (2024-09-28T16:29:54Z) - Fading memory and the convolution theorem [5.248564173595025]
因果フィルタと時間不変フィルタの連続性と減少メモリの位相的および解析的概念を紹介する。
主定理は、少なくとも共領域が有限次元であるとき、畳み込み表現の可用性が特徴づけられることを示している。
線形汎函数の入力空間と余領域がヒルベルト空間であるとき、最小の連続性と最小のフェードメモリ特性は、関連するカーネルヒルベルト空間の興味深い埋め込みの存在を保証する。
論文 参考訳（メタデータ） (2024-08-14T09:06:25Z) - Separation capacity of linear reservoirs with random connectivity matrix [0.0]
ランダムな線形貯水池の予測分離能力は、モーメントの一般化行列のスペクトル分解によって完全に特徴づけられることを示す。
対称の場合、分離能力は常に時間とともに劣化することを示す。
I.d.の場合、貯水池マトリックスの成分が1/sqrtN$の正確な係数でスケールされたときに、大きな貯水池との最適分離が一貫して達成されることを確かめる。
論文 参考訳（メタデータ） (2024-04-26T14:10:55Z) - Linear Regression on Manifold Structured Data: the Impact of Extrinsic
Geometry on Solutions [4.8234611688915665]
多様体上に構築されたデータに適用した線形回帰について検討する。
回帰解の特異性に対する多様体の曲率の影響を解析する。
論文 参考訳（メタデータ） (2023-07-05T17:51:26Z) - Learning Linear Causal Representations from Interventions under General
Nonlinear Mixing [52.66151568785088]
介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。
これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
論文 参考訳（メタデータ） (2023-06-04T02:32:12Z) - Theoretical Connection between Locally Linear Embedding, Factor
Analysis, and Probabilistic PCA [13.753161236029328]
リニア埋め込み(LLE)は非線形スペクトル次元減少および多様体学習法である。
本稿では,各データポイントが線形再構成重みを潜在因子として条件付けされていると仮定する観点から,線形再構成ステップを考察する。
論文 参考訳（メタデータ） (2022-03-25T21:07:20Z) - Robust Differentiable SVD [117.35644933471401]
対称行列の固有分解は多くのコンピュータビジョンアルゴリズムの中心にある。
不安定性は互いに近い固有値の存在によって生じる。
SVD勾配のテイラー展開は、反復過程に依存することなくPIを用いて得られる勾配と理論的に等価であることを示す。
論文 参考訳（メタデータ） (2021-04-08T15:04:15Z) - Minimax Estimation of Linear Functions of Eigenvectors in the Face of
Small Eigen-Gaps [95.62172085878132]
固有ベクトル摂動解析は様々な統計データ科学の応用において重要な役割を果たす。
未知の固有ベクトルの任意の線型関数の摂動を特徴付ける統計理論の一組を開発する。
自然の「プラグイン」推定器に固有の非無視バイアス問題を緩和するために,非バイアス推定器を開発する。
論文 参考訳（メタデータ） (2021-04-07T17:55:10Z) - Sparse Quantized Spectral Clustering [85.77233010209368]
このような非線形変換の下で行列の固有スペクトルがどのように変化するのかを、ランダム行列理論のツールを用いて正確に述べる。
急激なスペーシング/量子化の下でも,情報的固有構造にはほとんど変化は見られなかった。
論文 参考訳（メタデータ） (2020-10-03T15:58:07Z) - From deep to Shallow: Equivalent Forms of Deep Networks in Reproducing
Kernel Krein Space and Indefinite Support Vector Machines [63.011641517977644]
ディープネットワークを等価な(不確定な)カーネルマシンに変換します。
次に、この変換がキャパシティ制御および一様収束に与える影響について検討する。
最後に、平坦表現の空間性について解析し、平坦な重みが(効果的に) 0p1 で正規化された Lp-"ノルム" であることが示される。
論文 参考訳（メタデータ） (2020-07-15T03:21:35Z) - Eigendecomposition-Free Training of Deep Networks for Linear
Least-Square Problems [107.3868459697569]
我々は、ディープネットワークのトレーニングに固有分解のないアプローチを導入する。
この手法は固有分解の明示的な微分よりもはるかに堅牢であることを示す。
我々の手法は収束特性が良く、最先端の結果が得られます。
論文 参考訳（メタデータ） (2020-04-15T04:29:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。