論文の概要: One-Bit Quantization and Sparsification for Multiclass Linear Classification via Regularized Regression

• arxiv url: http://arxiv.org/abs/2402.10474v1
• Date: Fri, 16 Feb 2024 06:39:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-19 17:17:18.508093
• Title: One-Bit Quantization and Sparsification for Multiclass Linear Classification via Regularized Regression
• Title（参考訳）: 正規化回帰による多クラス線形分類のための1ビット量子化とスパース化
• Authors: Reza Ghane, Danil Akhtiamov, Babak Hassibi
• Abstract要約: 最高の分類は、$f(cdot) = |cdot|2$ と $lambda to infty$ によって達成されることを示す。 f(cdot) = |cdot|_infty$ とほぼ同等に機能するスパースと1ビットの解を見つけることは、大きめの $lambda$ regime においてしばしば可能である。
• 参考スコア（独自算出の注目度）: 20.710343135282116
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the use of linear regression for multiclass classification in the over-parametrized regime where some of the training data is mislabeled. In such scenarios it is necessary to add an explicit regularization term, $\lambda f(w)$, for some convex function $f(\cdot)$, to avoid overfitting the mislabeled data. In our analysis, we assume that the data is sampled from a Gaussian Mixture Model with equal class sizes, and that a proportion $c$ of the training labels is corrupted for each class. Under these assumptions, we prove that the best classification performance is achieved when $f(\cdot) = \|\cdot\|^2_2$ and $\lambda \to \infty$. We then proceed to analyze the classification errors for $f(\cdot) = \|\cdot\|_1$ and $f(\cdot) = \|\cdot\|_\infty$ in the large $\lambda$ regime and notice that it is often possible to find sparse and one-bit solutions, respectively, that perform almost as well as the one corresponding to $f(\cdot) = \|\cdot\|_2^2$.
• Abstract（参考訳）: トレーニングデータのいくつかを誤ってラベル付けした過度パラメータ化システムにおいて,線形回帰を用いたマルチクラス分類について検討した。 このようなシナリオでは、誤ってラベル付けされたデータの過適合を避けるために、ある凸関数 $f(\cdot)$ に対して、明示的な正規化項 $\lambda f(w)$ を追加する必要がある。 本分析では,同値なクラスサイズを持つガウス混合モデルからデータをサンプリングし,各クラスに対してトレーニングラベルの$c$の比率が破損していると仮定する。 これらの仮定の下で、最良の分類性能は、$f(\cdot) = \|\cdot\|^2_2$ と $\lambda \to \infty$ で達成される。 次に、$f(\cdot) = \|\cdot\|_1$ と $f(\cdot) = \|\cdot\|_\infty$ の分類エラーを分析し、それぞれ$f(\cdot) = \|\cdot\|_2^2$ に対応するものと同様に、スパースと1ビットの解を見つけることがしばしば可能であることに注意する。

関連論文リスト

• Transformer In-Context Learning for Categorical Data [51.23121284812406]
  我々は、分類結果、非線形基礎モデル、非線形注意を考慮し、文脈内学習のレンズを通してトランスフォーマーを理解する研究を機能データで拡張する。 我々は、ImageNetデータセットを用いて、この数発の学習方法論の最初の実世界の実演であると考えられるものを提示する。
  論文  参考訳（メタデータ） (2024-05-27T15:03:21Z)
• Sharp Rates in Dependent Learning Theory: Avoiding Sample Size Deflation for the Square Loss [33.18537822803389]
  L2$ と $Psi_p$ の位相が我々の仮説クラス $mathscrF$, $mathscrF$ に同値であるときにいつでも、$mathscrF$ は弱準ガウス類であることを示す。 以上の結果から, 混合への直接的な依存は高次項に還元されるため, この問題は実現可能か否かを判断できる。
  論文  参考訳（メタデータ） (2024-02-08T18:57:42Z)
• Regularized Linear Regression for Binary Classification [20.710343135282116]
  正規化線形回帰は、トレーニングセットがノイズラベルを持つ二項分類問題に対して有望なアプローチである。 十分な正則化強度に対して、最適重みは反対符号の2つの値の周りに集中していることを示す。 多くの場合、各重みの1ビットに対する「圧縮」が性能の損失を極めて少なくする。
  論文  参考訳（メタデータ） (2023-11-03T23:18:21Z)
• Distribution-Independent Regression for Generalized Linear Models with Oblivious Corruptions [49.69852011882769]
  一般化線形モデル (GLMs) の重畳雑音の存在下での回帰問題に対する最初のアルゴリズムを示す。 本稿では,この問題に最も一般的な分布非依存設定で対処するアルゴリズムを提案する。 これは、サンプルの半分以上を任意に破損させる難聴ノイズを持つGLMレグレッションに対する最初の新しいアルゴリズムによる結果である。
  論文  参考訳（メタデータ） (2023-09-20T21:41:59Z)
• Repeated Observations for Classification [0.2676349883103404]
  繰り返し観測を行った結果,非パラメトリック分類の問題について検討した。 本分析では, 名目密度によるロバスト検出, プロトタイプ分類, 線形変換, 線形分類, スケーリングなどのモデルについて検討する。
  論文  参考訳（メタデータ） (2023-07-19T10:50:36Z)
• Statistical Learning under Heterogeneous Distribution Shift [71.8393170225794]
  ground-truth predictor is additive $mathbbE[mathbfz mid mathbfx,mathbfy] = f_star(mathbfx) +g_star(mathbfy)$.
  論文  参考訳（メタデータ） (2023-02-27T16:34:21Z)
• Bias Mimicking: A Simple Sampling Approach for Bias Mitigation [57.17709477668213]
  本稿では,新しいクラス条件サンプリング手法であるBias Mimickingを紹介する。 Bias Mimickingは、4つのベンチマークで3%の精度でサンプリングの精度を向上する。
  論文  参考訳（メタデータ） (2022-09-30T17:33:00Z)
• GRASP: A Goodness-of-Fit Test for Classification Learning [8.122270502556374]
  標準測度であるにもかかわらず、平均精度は、特徴ベクトル(Y|X$)が与えられたラベルの基本的な条件法則にモデルを適合させるのに失敗する。 我々のフレームワークは条件付き法則$Y|X$のパラメトリックな仮定を一切行わず、クエリを通してのみアクセス可能なブラックボックスオラクルモデルとして扱う。
  論文  参考訳（メタデータ） (2022-09-05T17:18:43Z)
• Approximate Function Evaluation via Multi-Armed Bandits [51.146684847667125]
  既知の滑らかな関数 $f$ の値を未知の点 $boldsymbolmu in mathbbRn$ で推定する問題について検討する。 我々は、各座標の重要性に応じてサンプルを学習するインスタンス適応アルゴリズムを設計し、少なくとも1-delta$の確率で$epsilon$の正確な推定値である$f(boldsymbolmu)$を返す。
  論文  参考訳（メタデータ） (2022-03-18T18:50:52Z)
• Self-training Converts Weak Learners to Strong Learners in Mixture Models [86.7137362125503]
  擬似ラベルの $boldsymbolbeta_mathrmpl$ が,最大$C_mathrmerr$ の分類誤差を達成可能であることを示す。 さらに、ロジスティックな損失に対して勾配降下を実行することで、ラベル付き例のみを使用して、分類誤差が$C_mathrmerr$で擬ラベルの $boldsymbolbeta_mathrmpl$ が得られることを示す。
  論文  参考訳（メタデータ） (2021-06-25T17:59:16Z)
• The generalization error of max-margin linear classifiers: Benign overfitting and high dimensional asymptotics in the overparametrized regime [11.252856459394854]
  現代の機械学習分類器は、トレーニングセットに消滅する分類誤差を示すことが多い。 これらの現象に触発され、線形分離可能なデータに対する高次元の最大マージン分類を再検討する。
  論文  参考訳（メタデータ） (2019-11-05T00:15:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。