論文の概要: Support vector machines and linear regression coincide with very high-dimensional features

• arxiv url: http://arxiv.org/abs/2105.14084v1
• Date: Fri, 28 May 2021 20:06:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-06 01:43:26.448361
• Title: Support vector machines and linear regression coincide with very high-dimensional features
• Title（参考訳）: 支持ベクトルマシンと線形回帰は非常に高次元的特徴に一致する
• Authors: Navid Ardeshir, Clayton Sanford, Daniel Hsu
• Abstract要約: SVMに適合するトレーニング例がすべてサポートベクタとなる現象を示す。 まず、独立特徴モデルにおけるベクトル拡散を支援するために必要となる次元(サンプルサイズの観点から)の超線形下界を証明した。 また、ガウス的特徴モデルにおける鋭い位相遷移を同定し、この遷移の幅を制限し、その普遍性に対する実験的支持を与える。
• 参考スコア（独自算出の注目度）: 5.878391874426428
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The support vector machine (SVM) and minimum Euclidean norm least squares regression are two fundamentally different approaches to fitting linear models, but they have recently been connected in models for very high-dimensional data through a phenomenon of support vector proliferation, where every training example used to fit an SVM becomes a support vector. In this paper, we explore the generality of this phenomenon and make the following contributions. First, we prove a super-linear lower bound on the dimension (in terms of sample size) required for support vector proliferation in independent feature models, matching the upper bounds from previous works. We further identify a sharp phase transition in Gaussian feature models, bound the width of this transition, and give experimental support for its universality. Finally, we hypothesize that this phase transition occurs only in much higher-dimensional settings in the $\ell_1$ variant of the SVM, and we present a new geometric characterization of the problem that may elucidate this phenomenon for the general $\ell_p$ case.
• Abstract（参考訳）: サポートベクトルマシン (svm) と最小ユークリッドノルム最小二乗回帰 (minimum euclidean norm least squares regression) は、線形モデルに適合する基本的な2つのアプローチであるが、最近は、svmに適合するトレーニング例がサポートベクトルとなるサポートベクトル増殖現象を通じて、非常に高次元データのためのモデルに接続されている。 本稿では,この現象の一般性を調査し,以下の貢献を行う。 まず、独立特徴モデルにおけるベクトル拡散を支援するために必要となる次元(サンプルサイズの観点から)の超線形下界を証明し、以前の研究から得られる上限と一致する。 さらに,ガウス特徴モデルの鋭い相転移を同定し,この転移の幅を限定し,その普遍性を実験的に支援する。 最後に、この相転移はsvmの$\ell_1$変種において非常に高次元な設定でのみ起こると仮定し、一般的な$\ell_p$の場合においてこの現象を解明する新たな幾何学的特徴付けを提案する。

関連論文リスト

• Linear Convergence of Diffusion Models Under the Manifold Hypothesis [5.040884755454258]
  クルバック・リーブラー(KL)の発散に収束するステップの数は、内在次元$Leid$における線型(対数項まで)であることが示される。 また、この線形依存は鋭いことを示す。
  論文  参考訳（メタデータ） (2024-10-11T17:58:30Z)
• von Mises Quasi-Processes for Bayesian Circular Regression [57.88921637944379]
  円値ランダム関数上の表現的および解釈可能な分布の族を探索する。 結果の確率モデルは、統計物理学における連続スピンモデルと関係を持つ。 後続推論のために、高速マルコフ連鎖モンテカルロサンプリングに寄与するストラトノビッチのような拡張を導入する。
  論文  参考訳（メタデータ） (2024-06-19T01:57:21Z)
• Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
  単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。 我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
  論文  参考訳（メタデータ） (2024-03-08T18:50:19Z)
• Theory of mobility edge and non-ergodic extended phase in coupled random matrices [18.60614534900842]
  局所化-非局在化遷移の混乱モデルの中心概念であるモビリティエッジは、ランダム行列理論の文脈で議論されることは稀である。 重なり合うスペクトルと非重なりのないスペクトルが全く異なるスケーリング挙動を示し、調整可能なモビリティエッジを構築するために使用できることを示す。 我々のモデルは、RTTにおける制御可能な方法で、モビリティエッジと非エルゴード位相を実現するための一般的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2023-11-15T01:43:37Z)
• Multifractal dimensions for orthogonal-to-unitary crossover ensemble [1.0793830805346494]
  多フラクタル次元の有限サイズバージョンは、システムサイズが$N$の増加とともに、単位対数的にゆっくりと収束することを示す。 本研究では, 量子キックロータ, シナイビリヤード系, およびランダム場における相関スピンチェーンモデルにおけるマルチフラクタル次元の解析に本研究の結果を適用した。
  論文  参考訳（メタデータ） (2023-10-05T13:22:43Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• Geometric Neural Diffusion Processes [55.891428654434634]
  拡散モデルの枠組みを拡張して、無限次元モデリングに一連の幾何学的先行を組み込む。 これらの条件で、生成関数モデルが同じ対称性を持つことを示す。
  論文  参考訳（メタデータ） (2023-07-11T16:51:38Z)
• A Differential Geometry Perspective on Orthogonal Recurrent Models [56.09491978954866]
  我々は微分幾何学からのツールと洞察を用いて、直交rnnの新しい視点を提供する。 直交RNNは、発散自由ベクトル場の空間における最適化と見なすことができる。 この観測に動機づけられて、ベクトル場全体の空間にまたがる新しいリカレントモデルの研究を行う。
  論文  参考訳（メタデータ） (2021-02-18T19:39:22Z)
• Multi-fidelity data fusion for the approximation of scalar functions with low intrinsic dimensionality through active subspaces [0.0]
  アクティブな部分空間を含む多面的アプローチを提案し、それを2つの異なる高次元ベンチマークでテストする。 本研究では,アクティブな部分空間を含む多元性アプローチを提案し,これを2つの異なる高次元ベンチマークで検証する。
  論文  参考訳（メタデータ） (2020-10-16T12:35:49Z)
• Asymptotic Errors for Teacher-Student Convex Generalized Linear Models (or : How to Prove Kabashima's Replica Formula) [23.15629681360836]
  凸一般化線形モデルの再構成性能に関する解析式を検証した。 解析的継続を行えば、結果を凸(非強直)問題に拡張できることを示す。 主流学習法に関する数値的な例で,本主張を述べる。
  論文  参考訳（メタデータ） (2020-06-11T16:26:35Z)
• A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian Kernel, a Precise Phase Transition, and the Corresponding Double Descent [85.77233010209368]
  本稿では、データサンプルの数が$n$である現実的な環境で、ランダムフーリエ(RFF)回帰の正確さを特徴付けます。 この分析はまた、大きな$n,p,N$のトレーニングとテスト回帰エラーの正確な推定も提供する。
  論文  参考訳（メタデータ） (2020-06-09T02:05:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。