論文の概要: Fractional norms and quasinorms do not help to overcome the curse of dimensionality

• arxiv url: http://arxiv.org/abs/2004.14230v1
• Date: Wed, 29 Apr 2020 14:30:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 13:08:05.558517
• Title: Fractional norms and quasinorms do not help to overcome the curse of dimensionality
• Title（参考訳）: 分数ノルムと準ノルムは次元の呪いを克服するのに役立たない
• Authors: Evgeny M. Mirkes, Jeza Allohibi, and Alexander N. Gorban
• Abstract要約: マンハッタンの距離や分数的な準位数 lp は、分類問題における次元性の呪いを克服するのに役立ちます。 系統的な比較では、p=2, 1, 0.5 の lp に基づく kNN の性能の違いは統計的に重要でないことが示されている。
• 参考スコア（独自算出の注目度）: 62.997667081978825
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The curse of dimensionality causes the well-known and widely discussed problems for machine learning methods. There is a hypothesis that using of the Manhattan distance and even fractional quasinorms lp (for p less than 1) can help to overcome the curse of dimensionality in classification problems. In this study, we systematically test this hypothesis. We confirm that fractional quasinorms have a greater relative contrast or coefficient of variation than the Euclidean norm l2, but we also demonstrate that the distance concentration shows qualitatively the same behaviour for all tested norms and quasinorms and the difference between them decays as dimension tends to infinity. Estimation of classification quality for kNN based on different norms and quasinorms shows that a greater relative contrast does not mean better classifier performance and the worst performance for different databases was shown by different norms (quasinorms). A systematic comparison shows that the difference of the performance of kNN based on lp for p=2, 1, and 0.5 is statistically insignificant.
• Abstract（参考訳）: 次元の呪いは機械学習の手法でよく知られ、広く議論されている問題を引き起こす。 マンハッタン距離と分数準ノルムlp(p が 1 未満の場合)の使用は分類問題における次元の呪いを克服するのに役立つという仮説がある。 本研究では,この仮説を体系的に検証する。 分数準ノルムはユークリッドノルム l2 よりも大きな相対的コントラストまたは変動係数を持つが、距離濃度は全てのテストされたノルムと準ノルムに対して定性的に同じ挙動を示し、それらの差は次元が無限大になるにつれて減衰する。 異なるノルムと準ノルムに基づいてkNNの分類品質を推定すると、より高い相対コントラストはより優れた分類器性能を意味しず、異なるノルム(準ノルム)によって異なるデータベースの最悪の性能が示された。 系統的な比較では、p=2, 1, 0.5のlpに基づくkNNの性能の違いは統計的に重要でない。

関連論文リスト

• Learning Discretized Neural Networks under Ricci Flow [51.36292559262042]
  低精度重みとアクティベーションからなる離散ニューラルネットワーク(DNN)について検討する。 DNNは、訓練中に微分不可能な離散関数のために無限あるいはゼロの勾配に悩まされる。
  論文  参考訳（メタデータ） (2023-02-07T10:51:53Z)
• Instance-Dependent Label-Noise Learning with Manifold-Regularized Transition Matrix Estimation [172.81824511381984]
  遷移行列 T(x) は、インスタンス依存ノイズ(IDN)の下では特定できない 我々は、T(x) の幾何学について、「より近い2つのインスタンスは、それに対応する遷移行列がより類似している」という仮定を提案する。 本手法は,難解なIDNの下でのラベルノイズ学習において,最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-06-06T04:12:01Z)
• A New Central Limit Theorem for the Augmented IPW Estimator: Variance Inflation, Cross-Fit Covariance and Beyond [0.9172870611255595]
  クロスフィッティングを用いたクロスフィッティング逆確率重み付け(AIPW)は、実際は一般的な選択肢である。 本研究では, 高次元状態における結果回帰モデルと確率スコアモデルを用いて, クロスフィット型AIPW推定器について検討する。 本研究は, メッセージパッシング理論, 決定論的等価性理論, 離脱一元的アプローチの3つの異なるツール間の新たな相互作用を利用する。
  論文  参考訳（メタデータ） (2022-05-20T14:17:53Z)
• Divide-and-Conquer Hard-thresholding Rules in High-dimensional Imbalanced Classification [1.0312968200748118]
  高次元の線形判別分析(LDA)における不均衡クラスサイズの影響について検討した。 マイノリティ・クラスと呼ばれる1つのクラスのデータの不足により、LDAはマイノリティ・クラスを無視し、最大誤分類率を得ることを示す。 そこで本研究では,不等式化率の大きな差を低減させる分割・対数法に基づくハードコンカレンスルールの新たな構成法を提案する。
  論文  参考訳（メタデータ） (2021-11-05T07:44:28Z)
• Measure Twice, Cut Once: Quantifying Bias and Fairness in Deep Neural Networks [7.763173131630868]
  本稿では,2つのモデルのクラスワイドバイアスを定量的に評価する2つの指標を提案する。 これらの新しいメトリクスのパフォーマンスを評価し、その実践的応用を実証することにより、公平性だけでなくバイアスも測定できることを示す。
  論文  参考訳（メタデータ） (2021-10-08T22:35:34Z)
• Optimization Variance: Exploring Generalization Properties of DNNs [83.78477167211315]
  ディープニューラルネットワーク(DNN)のテストエラーは、しばしば二重降下を示す。 そこで本研究では,モデル更新の多様性を測定するために,新しい測度である最適化分散(OV)を提案する。
  論文  参考訳（メタデータ） (2021-06-03T09:34:17Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Binary Classification of Gaussian Mixtures: Abundance of Support Vectors, Benign Overfitting and Regularization [39.35822033674126]
  生成ガウス混合モデルに基づく二項線形分類について検討する。 後者の分類誤差に関する新しい非漸近境界を導出する。 この結果は, 確率が一定である雑音モデルに拡張される。
  論文  参考訳（メタデータ） (2020-11-18T07:59:55Z)
• Telescoping Density-Ratio Estimation [21.514983459970903]
  我々は、テレスコープ密度比推定(TRE)という新しいフレームワークを導入する。 TREは高次元空間における高相似密度の比を推定できる。 実験により、TREは既存の単一比法よりも大幅に改善できることが示された。
  論文  参考訳（メタデータ） (2020-06-22T12:55:06Z)
• Learning from Aggregate Observations [82.44304647051243]
  本研究では,一組のインスタンスに監視信号が与えられる集合観察から学習する問題について検討する。 本稿では,多種多様な集合観測に適合する一般的な確率的枠組みを提案する。 単純な極大解は様々な微分可能なモデルに適用できる。
  論文  参考訳（メタデータ） (2020-04-14T06:18:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。