論文の概要: Weight Vector Tuning and Asymptotic Analysis of Binary Linear
Classifiers
- arxiv url: http://arxiv.org/abs/2110.00567v1
- Date: Fri, 1 Oct 2021 17:50:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2021-10-04 14:39:35.218196
- Title: Weight Vector Tuning and Asymptotic Analysis of Binary Linear
Classifiers
- Title（参考訳）: 二元線形分類器の重みベクトルチューニングと漸近解析
- Authors: Lama B. Niyazi, Abla Kammoun, Hayssam Dahrouj, Mohamed-Slim Alouini,
and Tareq Al-Naffouri
- Abstract要約: 本稿では,スカラーによる判別器の分解をパラメータ化することで,ジェネリックバイナリ線形分類器の重みベクトルチューニングを提案する。
また,重みベクトルチューニングは,高推定雑音下での線形判別分析(LDA)の性能を著しく向上させることがわかった。
- 参考スコア（独自算出の注目度）: 82.5915112474988
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unlike its intercept, a linear classifier's weight vector cannot be tuned by
a simple grid search. Hence, this paper proposes weight vector tuning of a
generic binary linear classifier through the parameterization of a
decomposition of the discriminant by a scalar which controls the trade-off
between conflicting informative and noisy terms. By varying this parameter, the
original weight vector is modified in a meaningful way. Applying this method to
a number of linear classifiers under a variety of data dimensionality and
sample size settings reveals that the classification performance loss due to
non-optimal native hyperparameters can be compensated for by weight vector
tuning. This yields computational savings as the proposed tuning method reduces
to tuning a scalar compared to tuning the native hyperparameter, which may
involve repeated weight vector generation along with its burden of
optimization, dimensionality reduction, etc., depending on the classifier. It
is also found that weight vector tuning significantly improves the performance
of Linear Discriminant Analysis (LDA) under high estimation noise. Proceeding
from this second finding, an asymptotic study of the misclassification
probability of the parameterized LDA classifier in the growth regime where the
data dimensionality and sample size are comparable is conducted. Using random
matrix theory, the misclassification probability is shown to converge to a
quantity that is a function of the true statistics of the data. Additionally,
an estimator of the misclassification probability is derived. Finally,
computationally efficient tuning of the parameter using this estimator is
demonstrated on real data.
- Abstract（参考訳）: インターセプトとは異なり、線形分類器の重みベクトルは単純なグリッド探索ではチューニングできない。
そこで,本論文では,相反する情報項と雑音項のトレードオフを制御するスカラーによる判別器の分解のパラメータ化を通じて,一般二元線形分類器の重みベクトルチューニングを提案する。
このパラメータを変更することで、元の重みベクトルは意味のある方法で修正される。
この手法を様々なデータ次元とサンプルサイズの設定の下で多くの線形分類器に適用すると、非最適ネイティブハイパーパラメータによる分類性能の損失は、重みベクトルチューニングによって補償できることが分かる。
提案手法は, 最適化, 次元化等の負荷とともに, 繰り返し重みベクトル生成を含むネイティブハイパーパラメータのチューニングと比較してスカラーのチューニングを減少させるので, 計算の節約が期待できる。
また,重みベクトルチューニングは,高推定雑音下での線形判別分析(LDA)の性能を著しく向上させることがわかった。
この2番目の発見から、データ次元とサンプルサイズが同等となる成長状態におけるパラメータ化LDA分類器の誤分類確率に関する漸近的研究を行った。
ランダム行列理論を用いて、誤分類確率はデータの真の統計量の関数である量に収束することが示されている。
さらに、誤分類確率の推定器を導出する。
最後に、この推定器を用いたパラメータの計算効率の良いチューニングを実データで示す。
関連論文リスト
- Structural Effect and Spectral Enhancement of High-Dimensional Regularized Linear Discriminant Analysis [3.0517619877113358]
正規化線形判別分析(RLDA)は、分類と次元減少のための広く使われているツールである。
既存のRLDAの理論分析では、データ構造が分類性能に与える影響についての明確な洞察が欠けていることが多い。
本稿では,より高度な分類精度と次元減少を実現するためのスペクトル拡張判別分析(SEDA)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-07-22T15:16:48Z) - Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。
本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文 参考訳（メタデータ） (2024-05-01T15:59:00Z) - Regularized Linear Discriminant Analysis Using a Nonlinear Covariance
Matrix Estimator [11.887333567383239]
線形判別分析(LDA)はデータ分類において広く用いられている手法である。
LDAは、データ共分散行列が不条件であるときに非効率になる。
このような状況に対応するために正規化LDA法が提案されている。
論文 参考訳（メタデータ） (2024-01-31T11:37:14Z) - Low-rank extended Kalman filtering for online learning of neural
networks from streaming data [71.97861600347959]
非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。
この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。
変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
論文 参考訳（メタデータ） (2023-05-31T03:48:49Z) - Bayesian Analysis for Over-parameterized Linear Model via Effective Spectra [6.9060054915724]
我々は,データ適応型ガウス前処理を導入し,その環境次元よりもデータ固有の複雑さを目標とした。
我々は、スペクトルの質量が予測誤差境界にどのように影響するかを明らかにするために、対応する後部分布の収縮率を確立する。
ベイジアン法は,非スパース,高次元の設定において,データのスペクトル情報を利用した推定に有効であることを示す。
論文 参考訳（メタデータ） (2023-05-25T06:07:47Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳（メタデータ） (2020-07-16T13:27:47Z) - A Doubly Regularized Linear Discriminant Analysis Classifier with
Automatic Parameter Selection [24.027886914804775]
線形判別分析(LDA)に基づく分類器は、訓練データのサイズが特徴数よりも小さい、あるいは同等であるような多くの実践的な設定で混乱する傾向にある。
R2LDAと表す2つの正規化LDA分類器を提案する。
合成データと実データの両方から得られた結果は,提案したR2LDA手法の一貫性と有効性を示す。
論文 参考訳（メタデータ） (2020-04-28T07:09:22Z) - Asymptotic Analysis of an Ensemble of Randomly Projected Linear
Discriminants [94.46276668068327]
[1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。
我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。
また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
論文 参考訳（メタデータ） (2020-04-17T12:47:04Z) - A working likelihood approach to support vector regression with a
data-driven insensitivity parameter [2.842794675894731]
支持ベクトル回帰における不感なパラメータは、予測に大きな影響を及ぼす支持ベクトルの集合を決定する。
この不感なパラメータの近似値を決定するために,データ駆動型手法を提案する。
このデータ駆動型支持ベクトル回帰は、ノイズの尺度を用いてサンプルを統計的に標準化する。
論文 参考訳（メタデータ） (2020-03-09T02:32:32Z) - Implicit differentiation of Lasso-type models for hyperparameter
optimization [82.73138686390514]
ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。
提案手法は,解の空間性を利用して高次元データにスケールする。
論文 参考訳（メタデータ） (2020-02-20T18:43:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。