論文の概要: Weight Vector Tuning and Asymptotic Analysis of Binary Linear Classifiers

• arxiv url: http://arxiv.org/abs/2110.00567v1
• Date: Fri, 1 Oct 2021 17:50:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-04 14:39:35.218196
• Title: Weight Vector Tuning and Asymptotic Analysis of Binary Linear Classifiers
• Title（参考訳）: 二元線形分類器の重みベクトルチューニングと漸近解析
• Authors: Lama B. Niyazi, Abla Kammoun, Hayssam Dahrouj, Mohamed-Slim Alouini, and Tareq Al-Naffouri
• Abstract要約: 本稿では,スカラーによる判別器の分解をパラメータ化することで,ジェネリックバイナリ線形分類器の重みベクトルチューニングを提案する。 また,重みベクトルチューニングは,高推定雑音下での線形判別分析(LDA)の性能を著しく向上させることがわかった。
• 参考スコア（独自算出の注目度）: 82.5915112474988
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unlike its intercept, a linear classifier's weight vector cannot be tuned by a simple grid search. Hence, this paper proposes weight vector tuning of a generic binary linear classifier through the parameterization of a decomposition of the discriminant by a scalar which controls the trade-off between conflicting informative and noisy terms. By varying this parameter, the original weight vector is modified in a meaningful way. Applying this method to a number of linear classifiers under a variety of data dimensionality and sample size settings reveals that the classification performance loss due to non-optimal native hyperparameters can be compensated for by weight vector tuning. This yields computational savings as the proposed tuning method reduces to tuning a scalar compared to tuning the native hyperparameter, which may involve repeated weight vector generation along with its burden of optimization, dimensionality reduction, etc., depending on the classifier. It is also found that weight vector tuning significantly improves the performance of Linear Discriminant Analysis (LDA) under high estimation noise. Proceeding from this second finding, an asymptotic study of the misclassification probability of the parameterized LDA classifier in the growth regime where the data dimensionality and sample size are comparable is conducted. Using random matrix theory, the misclassification probability is shown to converge to a quantity that is a function of the true statistics of the data. Additionally, an estimator of the misclassification probability is derived. Finally, computationally efficient tuning of the parameter using this estimator is demonstrated on real data.
• Abstract（参考訳）: インターセプトとは異なり、線形分類器の重みベクトルは単純なグリッド探索ではチューニングできない。 そこで,本論文では,相反する情報項と雑音項のトレードオフを制御するスカラーによる判別器の分解のパラメータ化を通じて,一般二元線形分類器の重みベクトルチューニングを提案する。 このパラメータを変更することで、元の重みベクトルは意味のある方法で修正される。 この手法を様々なデータ次元とサンプルサイズの設定の下で多くの線形分類器に適用すると、非最適ネイティブハイパーパラメータによる分類性能の損失は、重みベクトルチューニングによって補償できることが分かる。 提案手法は, 最適化, 次元化等の負荷とともに, 繰り返し重みベクトル生成を含むネイティブハイパーパラメータのチューニングと比較してスカラーのチューニングを減少させるので, 計算の節約が期待できる。 また,重みベクトルチューニングは,高推定雑音下での線形判別分析(LDA)の性能を著しく向上させることがわかった。 この2番目の発見から、データ次元とサンプルサイズが同等となる成長状態におけるパラメータ化LDA分類器の誤分類確率に関する漸近的研究を行った。 ランダム行列理論を用いて、誤分類確率はデータの真の統計量の関数である量に収束することが示されている。 さらに、誤分類確率の推定器を導出する。 最後に、この推定器を用いたパラメータの計算効率の良いチューニングを実データで示す。

関連論文リスト

• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Regularized Linear Discriminant Analysis Using a Nonlinear Covariance Matrix Estimator [11.887333567383239]
  線形判別分析(LDA)はデータ分類において広く用いられている手法である。 LDAは、データ共分散行列が不条件であるときに非効率になる。 このような状況に対応するために正規化LDA法が提案されている。
  論文  参考訳（メタデータ） (2024-01-31T11:37:14Z)
• Low-rank extended Kalman filtering for online learning of neural networks from streaming data [71.97861600347959]
  非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。 この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。 変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
  論文  参考訳（メタデータ） (2023-05-31T03:48:49Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• A Doubly Regularized Linear Discriminant Analysis Classifier with Automatic Parameter Selection [24.027886914804775]
  線形判別分析(LDA)に基づく分類器は、訓練データのサイズが特徴数よりも小さい、あるいは同等であるような多くの実践的な設定で混乱する傾向にある。 R2LDAと表す2つの正規化LDA分類器を提案する。 合成データと実データの両方から得られた結果は,提案したR2LDA手法の一貫性と有効性を示す。
  論文  参考訳（メタデータ） (2020-04-28T07:09:22Z)
• Asymptotic Analysis of an Ensemble of Randomly Projected Linear Discriminants [94.46276668068327]
  [1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。 我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。 また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
  論文  参考訳（メタデータ） (2020-04-17T12:47:04Z)
• A working likelihood approach to support vector regression with a data-driven insensitivity parameter [2.842794675894731]
  支持ベクトル回帰における不感なパラメータは、予測に大きな影響を及ぼす支持ベクトルの集合を決定する。 この不感なパラメータの近似値を決定するために,データ駆動型手法を提案する。 このデータ駆動型支持ベクトル回帰は、ノイズの尺度を用いてサンプルを統計的に標準化する。
  論文  参考訳（メタデータ） (2020-03-09T02:32:32Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
  ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
  論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。