論文の概要: Approximation and generalization properties of the random projection classification method
- arxiv url: http://arxiv.org/abs/2108.06339v4
- Date: Wed, 11 Sep 2024 17:07:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-12 22:35:44.033791
- Title: Approximation and generalization properties of the random projection classification method
- Title（参考訳）: ランダム・プロジェクション分類法の近似と一般化特性
- Authors: Mireille Boutin, Evzenie Coupkova,
- Abstract要約: ランダムな一次元特徴を閾値付けした低複素度分類器群について検討する。
特定の分類問題(例えば、大きな羅生門比を持つもの)に対して、ランダムにパラメータを選択することにより、一般化特性において潜在的に大きな利得がある。
- 参考スコア（独自算出の注目度）: 0.4604003661048266
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The generalization gap of a classifier is related to the complexity of the set of functions among which the classifier is chosen. We study a family of low-complexity classifiers consisting of thresholding a random one-dimensional feature. The feature is obtained by projecting the data on a random line after embedding it into a higher-dimensional space parametrized by monomials of order up to k. More specifically, the extended data is projected n-times and the best classifier among those n, based on its performance on training data, is chosen. We show that this type of classifier is extremely flexible as, given full knowledge of the class conditional densities, under mild conditions, the error of these classifiers would converge to the optimal (Bayes) error as k and n go to infinity. We also bound the generalization gap of the random classifiers. In general, these bounds are better than those for any classifier with VC dimension greater than O(ln n). In particular, the bounds imply that, unless the number of projections n is extremely large, the generalization gap of the random projection approach is significantly smaller than that of a linear classifier in the extended space. Thus, for certain classification problems (e.g., those with a large Rashomon ratio), there is a potntially large gain in generalization properties by selecting parameters at random, rather than selecting the best one amongst the class.
- Abstract（参考訳）: 分類器の一般化ギャップは、分類器が選択される関数の集合の複雑さに関連している。
ランダムな一次元特徴を閾値付けした低複素度分類器群について検討する。
この特徴は、次数 k の単項によってパラメータ化された高次元空間にそれを埋め込んだ後に、ランダムな直線上にデータを投影することによって得られる。
より具体的には、拡張されたデータはn時間に投影され、トレーニングデータのパフォーマンスに基づいて、それらのnの中で最良の分類器が選択される。
このタイプの分類器は、穏やかな条件下でクラス条件密度の完全な知識が与えられたとき、これらの分類器の誤差は k と n が無限大になるときに最適(ベイズ)誤差に収束することを示す。
また、ランダム分類器の一般化ギャップも有界である。
一般に、これらの境界は、O(ln n) よりも大きいVC次元を持つ任意の分類器よりも優れている。
特に境界は、射影数 n が極端に大きい限り、ランダム射影アプローチの一般化ギャップは拡張空間における線型分類器のそれよりも著しく小さいことを意味する。
したがって、ある分類問題(例えば、大きな羅生門比を持つもの)に対して、クラスの中で最良のものを選ぶのではなく、ランダムにパラメータを選択することによって一般化特性が潜在的に大きなゲインを持つ。
関連論文リスト
- How many classifiers do we need? [50.69951049206484]
分類器間の不一致と偏極が、個々の分類器を集約することで得られる性能向上とどのように関連しているかを詳細に分析する。
分類器の個数で不一致の挙動を示す。
我々の理論と主張は、様々なタイプのニューラルネットワークを用いた画像分類タスクに関する経験的な結果によって裏付けられている。
論文 参考訳（メタデータ） (2024-11-01T02:59:56Z) - Classification Using Global and Local Mahalanobis Distances [1.7811840395202345]
競合クラスからの観測のマハラノビス距離に基づく新しい半パラメトリック分類器を提案する。
我々のツールは、これらの距離を異なるクラスの後部確率を推定する特徴として利用するロジスティックリンク関数を持つ一般化加法モデルである。
論文 参考訳（メタデータ） (2024-02-13T08:22:42Z) - Precise Asymptotic Generalization for Multiclass Classification with
Overparameterized Linear Models [4.093769373833101]
Subramanian et al.'22 の予想では、データポイント、特徴、クラスの数はすべて一緒になる。
我々の新しい下限は情報理論の強い逆に似ており、それらは誤分類率が0か1に近づくことを証明している。
厳密な解析の鍵はハンソン・ライトの不等式の新しい変種であり、スパースラベルの多重クラス問題に広く有用である。
論文 参考訳（メタデータ） (2023-06-23T00:59:15Z) - GMMSeg: Gaussian Mixture based Generative Semantic Segmentation Models [74.0430727476634]
結合分布 p(ピクセル特徴,クラス) の高密度な生成型分類器に依存する分割モデルの新たなファミリーを提案する。
さまざまなセグメンテーションアーキテクチャとバックボーンにより、GMMSegはクローズドセットデータセットにおいて差別的よりも優れています。
GMMSegは、オープンワールドデータセットでもうまく機能する。
論文 参考訳（メタデータ） (2022-10-05T05:20:49Z) - Soft-margin classification of object manifolds [0.0]
単一対象の複数の出現に対応する神経集団は、神経応答空間における多様体を定義する。
そのような多様体を分類する能力は、オブジェクト認識やその他の計算タスクは多様体内の変数に無関心な応答を必要とするため、興味がある。
ソフトマージン分類器は、より大きなアルゴリズムのクラスであり、トレーニングセット外のパフォーマンスを最適化するためにアプリケーションで使われる追加の正規化パラメータを提供する。
論文 参考訳（メタデータ） (2022-03-14T12:23:36Z) - Local versions of sum-of-norms clustering [77.34726150561087]
本手法はボールモデルにおいて任意に閉じた球を分離できることを示す。
我々は、不連結連結集合のクラスタリングで発生する誤差に定量的な有界性を証明した。
論文 参考訳（メタデータ） (2021-09-20T14:45:29Z) - On Supervised Classification of Feature Vectors with Independent and
Non-Identically Distributed Elements [10.52087851034255]
特徴ベクトルを互いに独立だが非独立に分散した要素で分類する問題について検討する。
ラベル毎に1つのトレーニング特徴ベクトルしか持たない場合でも,特徴ベクトルの長さが大きくなるにつれて誤差確率がゼロになることを示す。
論文 参考訳（メタデータ） (2020-08-01T06:49:50Z) - Random extrapolation for primal-dual coordinate descent [61.55967255151027]
本稿では,データ行列の疎度と目的関数の好適な構造に適応する,ランダムに外挿した原始-双対座標降下法を提案する。
一般凸凹の場合, 主対差と目的値に対するシーケンスのほぼ確実に収束と最適サブ線形収束率を示す。
論文 参考訳（メタデータ） (2020-07-13T17:39:35Z) - High-Dimensional Quadratic Discriminant Analysis under Spiked Covariance
Model [101.74172837046382]
そこで本研究では,魚の識別比を最大化する2次分類手法を提案する。
数値シミュレーションにより,提案した分類器は,合成データと実データの両方において古典的R-QDAよりも優れるだけでなく,計算量の削減も要求されることがわかった。
論文 参考訳（メタデータ） (2020-06-25T12:00:26Z) - Asymptotic Analysis of an Ensemble of Randomly Projected Linear
Discriminants [94.46276668068327]
[1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。
我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。
また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
論文 参考訳（メタデータ） (2020-04-17T12:47:04Z) - Intrinsic Dimension Estimation via Nearest Constrained Subspace
Classifier [7.028302194243312]
教師付き分類や固有次元推定のために,新しい部分空間に基づく分類器を提案する。
各クラスのデータの分布は、特徴空間の有限個のファイン部分空間の和によってモデル化される。
The proposed method is a generalization of classical NN (Nearest Neighbor), NFL (Nearest Feature Line) and has a close relationship with NS (Nearest Subspace)。
推定次元パラメータが正確に推定された分類器は、一般に分類精度の点で競合より優れている。
論文 参考訳（メタデータ） (2020-02-08T20:54:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。