論文の概要: One-Bit Quantization and Sparsification for Multiclass Linear Classification with Strong Regularization

• arxiv url: http://arxiv.org/abs/2402.10474v2
• Date: Thu, 10 Oct 2024 21:11:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-14 13:29:53.709223
• Title: One-Bit Quantization and Sparsification for Multiclass Linear Classification with Strong Regularization
• Title（参考訳）: 強い正則化をもつ多クラス線形分類のための1ビット量子化とスカラー化
• Authors: Reza Ghane, Danil Akhtiamov, Babak Hassibi,
• Abstract要約: 最高の分類は、$f(cdot) = |cdot|2$ と $lambda to infty$ によって達成されることを示す。 f(cdot) = |cdot|_infty$ とほぼ同等に機能するスパースと1ビットの解を見つけることは、大きめの $lambda$ regime においてしばしば可能である。
• 参考スコア（独自算出の注目度）: 18.427215139020625
• License:
• Abstract: We study the use of linear regression for multiclass classification in the over-parametrized regime where some of the training data is mislabeled. In such scenarios it is necessary to add an explicit regularization term, $\lambda f(w)$, for some convex function $f(\cdot)$, to avoid overfitting the mislabeled data. In our analysis, we assume that the data is sampled from a Gaussian Mixture Model with equal class sizes, and that a proportion $c$ of the training labels is corrupted for each class. Under these assumptions, we prove that the best classification performance is achieved when $f(\cdot) = \|\cdot\|^2_2$ and $\lambda \to \infty$. We then proceed to analyze the classification errors for $f(\cdot) = \|\cdot\|_1$ and $f(\cdot) = \|\cdot\|_\infty$ in the large $\lambda$ regime and notice that it is often possible to find sparse and one-bit solutions, respectively, that perform almost as well as the one corresponding to $f(\cdot) = \|\cdot\|_2^2$.
• Abstract（参考訳）: トレーニングデータのいくつかを誤ってラベル付けした過度パラメータ化システムにおいて,線形回帰を用いたマルチクラス分類について検討した。 このようなシナリオでは、誤ってラベル付けされたデータの過度な適合を避けるために、ある凸関数 $f(\cdot)$ に対して、明示的な正規化項 $\lambda f(w)$ を追加する必要がある。 本分析では,同値なクラスサイズを持つガウス混合モデルからデータをサンプリングし,各クラスに対してトレーニングラベルの$c$の比率が破損していると仮定する。 これらの仮定の下では、$f(\cdot) = \|\cdot\|^2_2$ と $\lambda \to \infty$ の場合に最高の分類性能が達成されることを示す。 すると、$f(\cdot) = \|\cdot\|_1$ と $f(\cdot) = \|\cdot\|_\infty$ の分類誤差を分析し、それぞれがスパースと1ビットの解を見つけることができ、$f(\cdot) = \|\cdot\|_2^2$ に対応するものとほぼ同等に動作することに気付く。

関連論文リスト

• Sharp Rates in Dependent Learning Theory: Avoiding Sample Size Deflation for the Square Loss [33.18537822803389]
  L2$ と $Psi_p$ の位相が我々の仮説クラス $mathscrF$, $mathscrF$ に同値であるときにいつでも、$mathscrF$ は弱準ガウス類であることを示す。 以上の結果から, 混合への直接的な依存は高次項に還元されるため, この問題は実現可能か否かを判断できる。
  論文  参考訳（メタデータ） (2024-02-08T18:57:42Z)
• Regularized Linear Regression for Binary Classification [20.710343135282116]
  正規化線形回帰は、トレーニングセットがノイズラベルを持つ二項分類問題に対して有望なアプローチである。 十分な正則化強度に対して、最適重みは反対符号の2つの値の周りに集中していることを示す。 多くの場合、各重みの1ビットに対する「圧縮」が性能の損失を極めて少なくする。
  論文  参考訳（メタデータ） (2023-11-03T23:18:21Z)
• Distribution-Independent Regression for Generalized Linear Models with Oblivious Corruptions [49.69852011882769]
  一般化線形モデル (GLMs) の重畳雑音の存在下での回帰問題に対する最初のアルゴリズムを示す。 本稿では,この問題に最も一般的な分布非依存設定で対処するアルゴリズムを提案する。 これは、サンプルの半分以上を任意に破損させる難聴ノイズを持つGLMレグレッションに対する最初の新しいアルゴリズムによる結果である。
  論文  参考訳（メタデータ） (2023-09-20T21:41:59Z)
• Repeated Observations for Classification [0.2676349883103404]
  繰り返し観測を行った結果,非パラメトリック分類の問題について検討した。 本分析では, 名目密度によるロバスト検出, プロトタイプ分類, 線形変換, 線形分類, スケーリングなどのモデルについて検討する。
  論文  参考訳（メタデータ） (2023-07-19T10:50:36Z)
• Statistical Learning under Heterogeneous Distribution Shift [71.8393170225794]
  ground-truth predictor is additive $mathbbE[mathbfz mid mathbfx,mathbfy] = f_star(mathbfx) +g_star(mathbfy)$.
  論文  参考訳（メタデータ） (2023-02-27T16:34:21Z)
• Bias Mimicking: A Simple Sampling Approach for Bias Mitigation [57.17709477668213]
  本稿では,新しいクラス条件サンプリング手法であるBias Mimickingを紹介する。 Bias Mimickingは、4つのベンチマークで3%の精度でサンプリングの精度を向上する。
  論文  参考訳（メタデータ） (2022-09-30T17:33:00Z)
• Blessing of Class Diversity in Pre-training [54.335530406959435]
  事前学習タスクのクラスが十分に多種多様である場合、事前学習は下流タスクのサンプル効率を大幅に向上させることができることを示す。 我々の証明は、合成関数クラスに対するベクトル形式ラデマッハ複雑性連鎖則と修正自己調和条件に依存している。
  論文  参考訳（メタデータ） (2022-09-07T20:10:12Z)
• Approximate Function Evaluation via Multi-Armed Bandits [51.146684847667125]
  既知の滑らかな関数 $f$ の値を未知の点 $boldsymbolmu in mathbbRn$ で推定する問題について検討する。 我々は、各座標の重要性に応じてサンプルを学習するインスタンス適応アルゴリズムを設計し、少なくとも1-delta$の確率で$epsilon$の正確な推定値である$f(boldsymbolmu)$を返す。
  論文  参考訳（メタデータ） (2022-03-18T18:50:52Z)
• Classification Under Ambiguity: When Is Average-K Better Than Top-K? [1.7156052308952854]
  トップ$K$分類と呼ばれる一般的な選択肢は、ある番号の$K$を選択し、最高スコアの$K$ラベルを返すことである。 本稿では,平均$K$分類が固定上位$K$分類よりも低い誤差率が得られる場合の曖昧性プロファイルを公式に特徴付ける。
  論文  参考訳（メタデータ） (2021-12-16T12:58:07Z)
• Self-training Converts Weak Learners to Strong Learners in Mixture Models [86.7137362125503]
  擬似ラベルの $boldsymbolbeta_mathrmpl$ が,最大$C_mathrmerr$ の分類誤差を達成可能であることを示す。 さらに、ロジスティックな損失に対して勾配降下を実行することで、ラベル付き例のみを使用して、分類誤差が$C_mathrmerr$で擬ラベルの $boldsymbolbeta_mathrmpl$ が得られることを示す。
  論文  参考訳（メタデータ） (2021-06-25T17:59:16Z)
• The generalization error of max-margin linear classifiers: Benign overfitting and high dimensional asymptotics in the overparametrized regime [11.252856459394854]
  現代の機械学習分類器は、トレーニングセットに消滅する分類誤差を示すことが多い。 これらの現象に触発され、線形分離可能なデータに対する高次元の最大マージン分類を再検討する。
  論文  参考訳（メタデータ） (2019-11-05T00:15:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。