論文の概要: The Performance Analysis of Generalized Margin Maximizer (GMM) on Separable Data

• arxiv url: http://arxiv.org/abs/2010.15379v1
• Date: Thu, 29 Oct 2020 06:40:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-01 22:09:44.194019
• Title: The Performance Analysis of Generalized Margin Maximizer (GMM) on Separable Data
• Title（参考訳）: 分別データを用いた一般化マージン最大化器(GMM)の性能解析
• Authors: Fariborz Salehi, Ehsan Abbasi, Babak Hassibi
• Abstract要約: GMM(Generalized Margin Maximizer)は、パラメータベクトルの任意の凸関数を最小化する。 非線形方程式の解法を用いてGMMの性能を正確に解析する。 提案手法は,パラメータ値,問題事例,モデル構造にまたがる広範囲なシミュレーション結果によって検証される。
• 参考スコア（独自算出の注目度）: 45.4329219943791
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Logistic models are commonly used for binary classification tasks. The success of such models has often been attributed to their connection to maximum-likelihood estimators. It has been shown that gradient descent algorithm, when applied on the logistic loss, converges to the max-margin classifier (a.k.a. hard-margin SVM). The performance of the max-margin classifier has been recently analyzed. Inspired by these results, in this paper, we present and study a more general setting, where the underlying parameters of the logistic model possess certain structures (sparse, block-sparse, low-rank, etc.) and introduce a more general framework (which is referred to as "Generalized Margin Maximizer", GMM). While classical max-margin classifiers minimize the $2$-norm of the parameter vector subject to linearly separating the data, GMM minimizes any arbitrary convex function of the parameter vector. We provide a precise analysis of the performance of GMM via the solution of a system of nonlinear equations. We also provide a detailed study for three special cases: ($1$) $\ell_2$-GMM that is the max-margin classifier, ($2$) $\ell_1$-GMM which encourages sparsity, and ($3$) $\ell_{\infty}$-GMM which is often used when the parameter vector has binary entries. Our theoretical results are validated by extensive simulation results across a range of parameter values, problem instances, and model structures.
• Abstract（参考訳）: 論理モデルは二項分類タスクによく使用される。 このようなモデルの成功は、しばしば最大形推定器との接続によるものである。 勾配降下アルゴリズムがロジスティック損失に適用されると、最大マージン分類器(ハードマージンSVM)に収束することが示されている。 Max-margin分類器の性能を最近分析した。 本稿では,これらの結果に触発されて,ロジスティックモデルの基本パラメータが特定の構造(スパース,ブロックスパース,ローランクなど)を持ち,より一般的な枠組み(「一般化マージン最大化器」と呼ばれる)を導入するような,より一般的な設定を提示・検討する。 古典的な最大値分類器はデータを線形に分離するためにパラメータベクトルの2$ノルムを最小化するが、GMMはパラメータベクトルの任意の凸関数を最小化する。 非線形方程式の解法を用いてGMMの性能を正確に解析する。 最大マージン分類器である$\ell_2$-gmm ($$) $\ell_1$-gmm ($2$) スパーシティを奨励する$\ell_1$-gmm ($3$) $\ell_{\infty}$-gmm パラメータベクトルがバイナリエントリを持つ場合によく使用される) という3つの特別なケースについて詳細な研究も行っています。 我々の理論結果は,パラメータ値,問題インスタンス,モデル構造など,幅広いシミュレーション結果によって検証される。

関連論文リスト

• A distribution-free mixed-integer optimization approach to hierarchical modelling of clustered and longitudinal data [0.0]
  我々は,新しいデータポイントに対するクラスタ効果を評価する革新的なアルゴリズムを導入し,このモデルのロバスト性や精度を高める。 このアプローチの推論的および予測的効果は、学生のスコアリングとタンパク質発現に適用することでさらに説明される。
  論文  参考訳（メタデータ） (2023-02-06T23:34:51Z)
• Robust Algorithms for GMM Estimation: A Finite Sample Viewpoint [30.839245814393724]
  モーメントの一般化法(GMM) 我々はGMM推定器を開発し、一定の$ell$リカバリ保証を$O(sqrtepsilon)$で許容する。 我々のアルゴリズムと仮定は、機器変数の線形回帰とロジスティック回帰に適用できる。
  論文  参考訳（メタデータ） (2021-10-06T21:06:22Z)
• Learning Gaussian Mixtures with Generalised Linear Models: Precise Asymptotics in High-dimensions [79.35722941720734]
  多クラス分類問題に対する一般化線形モデルは、現代の機械学習タスクの基本的な構成要素の1つである。 実験的リスク最小化による高次元推定器の精度を実証する。 合成データの範囲を超えて我々の理論をどのように適用できるかを論じる。
  論文  参考訳（メタデータ） (2021-06-07T16:53:56Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Generalized Matrix Factorization: efficient algorithms for fitting generalized linear latent variable models to large data arrays [62.997667081978825]
  一般化線形潜在変数モデル(GLLVM)は、そのような因子モデルを非ガウス応答に一般化する。 GLLVMのモデルパラメータを推定する現在のアルゴリズムは、集約的な計算を必要とし、大規模なデータセットにスケールしない。 本稿では,GLLVMを高次元データセットに適用するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-06T04:28:19Z)
• Model-Based Multi-Agent RL in Zero-Sum Markov Games with Near-Optimal Sample Complexity [67.02490430380415]
  モデルに基づくMARLは、Nash平衡値(NE)を求めるために$tilde O(|S||B|(gamma)-3epsilon-2)$のサンプル複雑性を実現する。 また、アルゴリズムが報酬に依存しない場合、そのようなサンプル境界は最小値(対数因子まで)であり、アルゴリズムは報酬知識のない遷移サンプルを問合せする。
  論文  参考訳（メタデータ） (2020-07-15T03:25:24Z)
• Consistent Structured Prediction with Max-Min Margin Markov Networks [84.60515484036239]
  二項分類のためのマックスマージン法は、最大マージンマルコフネットワーク(M3N$)の名前で構造化予測設定まで拡張されている。 我々は、学習問題を"max-min"マージンの定式化で定義し、結果のメソッドmax-minマージンマルコフネットワーク(M4N$)を命名することで、そのような制限を克服する。 マルチクラス分類,順序回帰,シーケンス予測,ランキング実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-07-02T10:48:42Z)
• A Precise High-Dimensional Asymptotic Theory for Boosting and Minimum-$\ell_1$-Norm Interpolated Classifiers [3.167685495996986]
  本稿では,分離可能なデータの強化に関する高精度な高次元理論を確立する。 統計モデルのクラスでは、ブースティングの普遍性誤差を正確に解析する。 また, 推力試験誤差と最適ベイズ誤差の関係を明示的に説明する。
  論文  参考訳（メタデータ） (2020-02-05T00:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。