論文の概要: The Binary and Ternary Quantization Can Improve Feature Discrimination
- arxiv url: http://arxiv.org/abs/2504.13792v1
- Date: Fri, 18 Apr 2025 16:44:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-28 14:48:36.884238
- Title: The Binary and Ternary Quantization Can Improve Feature Discrimination
- Title（参考訳）: 二項量子化と三項量子化は特徴識別を改善する
- Authors: Weizhi Lu, Mingrui Chen, Weiyu Li,
- Abstract要約: 機械学習では、量子化はデータの表現を単純化し、ハードウェア上でのアルゴリズムの展開を容易にするために広く使われている。
現在の研究は量子化エラーに焦点を当てており、高い量子化エラーは一般的により低い分類性能をもたらすという前提のもとに運用されている。
例えば、$0,1$-binary Quantization や$0, pm1$-ternary Quantization のような非常に低いビット幅量子化法は、同等またはそれ以上の分類精度が得られることを示す。
- 参考スコア（独自算出の注目度）: 8.723496120436169
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In machine learning, quantization is widely used to simplify data representation and facilitate algorithm deployment on hardware. Given the fundamental role of classification in machine learning, it is crucial to investigate the impact of quantization on classification. Current research primarily focuses on quantization errors, operating under the premise that higher quantization errors generally result in lower classification performance. However, this premise lacks a solid theoretical foundation and often contradicts empirical findings. For instance, certain extremely low bit-width quantization methods, such as $\{0,1\}$-binary quantization and $\{0, \pm1\}$-ternary quantization, can achieve comparable or even superior classification accuracy compared to the original non-quantized data, despite exhibiting high quantization errors. To more accurately evaluate classification performance, we propose to directly investigate the feature discrimination of quantized data, instead of analyzing its quantization error. Interestingly, it is found that both binary and ternary quantization methods can improve, rather than degrade, the feature discrimination of the original data. This remarkable performance is validated through classification experiments across various data types, including images, speech, and texts.
- Abstract（参考訳）: 機械学習では、量子化はデータの表現を単純化し、ハードウェア上でのアルゴリズムの展開を容易にするために広く使われている。
機械学習における分類の基本的な役割を考えると、量子化が分類に与える影響を調べることが重要である。
現在の研究は主に量子化エラーに焦点を当てており、高い量子化エラーは一般的により低い分類性能をもたらすという前提のもとに運用されている。
しかし、この前提はしっかりとした理論的な基礎を欠き、しばしば経験的な発見と矛盾する。
例えば、$\{0,1\}$-binary Quantization や $\{0, \pm1\}$-ternary Quantization のような非常に低いビット幅量子化法は、高い量子化誤差を示すにもかかわらず、元の非量子化データと同等またはそれ以上の分類精度が得られる。
分類性能をより正確に評価するために,量子化誤差を解析する代わりに,量子化データの特徴識別を直接的に検討することを提案する。
興味深いことに、二分法と三分法の両方の量子化法は、元のデータの特徴判別を劣化させるのではなく、改善できることがわかった。
この顕著な性能は、画像、音声、テキストを含む様々なデータタイプにわたる分類実験によって検証される。
関連論文リスト
- Quantization of Large Language Models with an Overdetermined Basis [73.79368761182998]
本稿では,嘉心表現の原理に基づくデータ量子化アルゴリズムを提案する。
以上の結果から, カシ量子化はモデル性能の競争力や優れた品質を達成できることが示唆された。
論文 参考訳（メタデータ） (2024-04-15T12:38:46Z) - Ensembles of Quantum Classifiers [0.0]
量子分類アルゴリズムの実行に有効なアプローチは、アンサンブル法の導入である。
本稿では,二項分類のための量子分類器のアンサンブルの実装と実証評価について述べる。
論文 参考訳（メタデータ） (2023-11-16T10:27:25Z) - Deep Imbalanced Regression via Hierarchical Classification Adjustment [50.19438850112964]
コンピュータビジョンにおける回帰タスクは、しばしば、対象空間をクラスに定量化することで分類される。
トレーニングサンプルの大多数は目標値の先頭にあるが、少数のサンプルは通常より広い尾幅に分布する。
不均衡回帰タスクを解くために階層型分類器を構築することを提案する。
不均衡回帰のための新しい階層型分類調整(HCA)は,3つのタスクにおいて優れた結果を示す。
論文 参考訳（メタデータ） (2023-10-26T04:54:39Z) - Analysis of Diagnostics (Part I): Prevalence, Uncertainty Quantification, and Machine Learning [0.0]
この写本は、分類理論と有病率のより深い関係を研究する二部作の最初のものである。
そこで本稿では,有病率重み付き経験誤差を最小化することにより,Bstar (q)$を推定する数値ホモトピーアルゴリズムを提案する。
合成データとSARS-CoV-2酵素結合免疫測定法(ELISA)を用いて本法の有効性を検証した。
論文 参考訳（メタデータ） (2023-08-30T13:26:49Z) - Ensemble-learning variational shallow-circuit quantum classifiers [4.104704267247209]
本稿では,ブートストラップ集約と適応的ブースティングという,アンサンブル学習の2つの手法を提案する。
これらのプロトコルは古典的な手書き数字や対称性で保護されたトポロジカルハミルトニアンの量子位相の識別のために例示されている。
論文 参考訳（メタデータ） (2023-01-30T07:26:35Z) - A didactic approach to quantum machine learning with a single qubit [68.8204255655161]
我々は、データ再ロード技術を用いて、単一のキュービットで学習するケースに焦点を当てる。
我々は、Qiskit量子コンピューティングSDKを用いて、おもちゃと現実世界のデータセットに異なる定式化を実装した。
論文 参考訳（メタデータ） (2022-11-23T18:25:32Z) - Multi-Label Quantification [78.83284164605473]
定量化とは、教師なしデータサンプルにおいて、興味あるクラスの相対周波数の予測子を生成する教師付き学習課題である。
本研究では,その相対頻度をより正確に予測するために,興味あるクラス間の依存関係を活用しようとするクラス有病率値の推定手法を提案する。
論文 参考訳（メタデータ） (2022-11-15T11:29:59Z) - Prototype-Anchored Learning for Learning with Imperfect Annotations [83.7763875464011]
不完全な注釈付きデータセットからバイアスのない分類モデルを学ぶことは困難である。
本稿では,様々な学習に基づく分類手法に容易に組み込むことができるプロトタイプ・アンコレッド学習法を提案する。
我々は,PALがクラス不均衡学習および耐雑音学習に与える影響を,合成および実世界のデータセットに関する広範な実験により検証した。
論文 参考訳（メタデータ） (2022-06-23T10:25:37Z) - Ternary and Binary Quantization for Improved Classification [11.510216175832568]
ランダムプロジェクションによりまずデータ次元を減らし、3次符号や2次符号への投影を定量化する手法について検討する。
量子化すべきデータは、共通のフィルタで生成されるスパースな特徴であるので、量子化が同等で、しばしばより優れた精度を提供できることを観察する。
論文 参考訳（メタデータ） (2022-03-31T05:04:52Z) - Learning to Rank Anomalies: Scalar Performance Criteria and Maximization
of Two-Sample Rank Statistics [0.0]
本稿では,観測結果の異常度を反映した特徴空間上で定義されたデータ駆動スコアリング関数を提案する。
このスコアリング関数は、よく設計された二項分類問題を通じて学習される。
本稿では,予備的な数値実験による方法論について解説する。
論文 参考訳（メタデータ） (2021-09-20T14:45:56Z) - Robust Importance Sampling for Error Estimation in the Context of
Optimal Bayesian Transfer Learning [13.760785726194591]
最適ベイズ移動学習のための最小平均二乗誤差推定器(MMSE)を新たに導入する。
提案した推定器を用いて,多様な学習能力にまたがる幅広い分類器の分類精度を評価する。
合成データと実世界のRNAシークエンシング(RNA-seq)データの両方に基づく実験結果から,提案したOBTL誤差推定手法が標準誤差推定器より明らかに優れていることが示された。
論文 参考訳（メタデータ） (2021-09-05T19:11:33Z) - Regularized Classification-Aware Quantization [39.04839665081476]
本稿では,バイナリ分類タスクの分散量子化スキームを学習するアルゴリズムのクラスを提案する。
本手法は正規化分類認識量子化と呼ばれる。
論文 参考訳（メタデータ） (2021-07-12T21:27:48Z) - Robust quantum classifier with minimal overhead [0.8057006406834467]
カーネル法に基づくバイナリ分類のためのいくつかの量子アルゴリズムが提案されている。
これらのアルゴリズムは期待値を推定することに依存しており、高額な量子データ符号化手順を何度も繰り返す必要がある。
カーネルベースのバイナリ分類は,データの数や寸法に関わらず,単一キュービットで行うことができることを示す。
論文 参考訳（メタデータ） (2021-04-16T14:51:00Z) - Don't Just Blame Over-parametrization for Over-confidence: Theoretical
Analysis of Calibration in Binary Classification [58.03725169462616]
理論上は、過剰パラメトリゼーションは過剰信頼の唯一の理由ではない。
我々は、ロジスティック回帰は本質的に信頼過剰であり、実現可能で、非パラメータな設定であることを示す。
おそらく驚くことに、過剰な信頼が常にそうであるとは限らないことも示します。
論文 参考訳（メタデータ） (2021-02-15T21:38:09Z) - Theoretical Insights Into Multiclass Classification: A High-dimensional
Asymptotic View [82.80085730891126]
線形多クラス分類の最初の現代的精度解析を行う。
分析の結果,分類精度は分布に依存していることがわかった。
得られた洞察は、他の分類アルゴリズムの正確な理解の道を開くかもしれない。
論文 参考訳（メタデータ） (2020-11-16T05:17:29Z) - Fairness in Semi-supervised Learning: Unlabeled Data Help to Reduce
Discrimination [53.3082498402884]
機械学習の台頭における投機は、機械学習モデルによる決定が公正かどうかである。
本稿では,未ラベルデータのラベルを予測するための擬似ラベリングを含む,前処理フェーズにおける公平な半教師付き学習の枠組みを提案する。
偏見、分散、ノイズの理論的分解分析は、半教師付き学習における差別の異なる源とそれらが公平性に与える影響を浮き彫りにする。
論文 参考訳（メタデータ） (2020-09-25T05:48:56Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳（メタデータ） (2020-06-22T21:12:31Z) - M2m: Imbalanced Classification via Major-to-minor Translation [79.09018382489506]
ほとんどの実世界のシナリオでは、ラベル付きトレーニングデータセットは非常にクラス不均衡であり、ディープニューラルネットワークは、バランスの取れたテスト基準への一般化に苦しむ。
本稿では,より頻度の低いクラスを,より頻度の低いクラスからのサンプルを翻訳することによって,この問題を緩和する新しい方法を提案する。
提案手法は,従来の再サンプリング法や再重み付け法と比較して,マイノリティクラスの一般化を著しく改善することを示す。
論文 参考訳（メタデータ） (2020-04-01T13:21:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。