論文の概要: Partitioning-Guided K-Means: Extreme Empty Cluster Resolution for Extreme Model Compression

• arxiv url: http://arxiv.org/abs/2306.14031v1
• Date: Sat, 24 Jun 2023 18:19:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-27 17:30:37.768412
• Title: Partitioning-Guided K-Means: Extreme Empty Cluster Resolution for Extreme Model Compression
• Title（参考訳）: 分割誘導K平均:極端モデル圧縮のための極端エンプティクラスター分解能
• Authors: Tianhong Huang, Victor Agostinelli, Lizhong Chen
• Abstract要約: 我々は、Quant-Noiseを用いた反復的製品量子化(iPQ)を、この分野における最先端技術だと考えている。 Quant-Noiseを使ったiPQは、空のクラスタによる予測品質の低下を防止できる。 我々は,空クラスタの解消に焦点をあてて,Quant-NoiseによるiPQの精度向上を目的とした,新たな拡張を提案する。
• 参考スコア（独自算出の注目度）: 0.17188280334580192
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Compactness in deep learning can be critical to a model's viability in low-resource applications, and a common approach to extreme model compression is quantization. We consider Iterative Product Quantization (iPQ) with Quant-Noise to be state-of-the-art in this area, but this quantization framework suffers from preventable inference quality degradation due to prevalent empty clusters. In this paper, we propose several novel enhancements aiming to improve the accuracy of iPQ with Quant-Noise by focusing on resolving empty clusters. Our contribution, which we call Partitioning-Guided k-means (PG k-means), is a heavily augmented k-means implementation composed of three main components. First, we propose a partitioning-based pre-assignment strategy that ensures no initial empty clusters and encourages an even weight-to-cluster distribution. Second, we propose an empirically superior empty cluster resolution heuristic executed via cautious partitioning of large clusters. Finally, we construct an optional optimization step that consolidates intuitively dense clusters of weights to ensure shared representation. The proposed approach consistently reduces the number of empty clusters in iPQ with Quant-Noise by 100x on average, uses 8x fewer iterations during empty cluster resolution, and improves overall model accuracy by up to 12%, when applied to RoBERTa on a variety of tasks in the GLUE benchmark.
• Abstract（参考訳）: ディープラーニングのコンパクト性は、低リソースアプリケーションにおけるモデルの生存性に不可欠であり、極端なモデル圧縮に対する一般的なアプローチは量子化である。 この領域では,量子ノイズを伴う反復的製品量子化(ipq)が最先端であると考えられるが,この量子化フレームワークは,広く普及しているクラスタによる推論品質の低下を防止できる。 本稿では,空クラスタの解消に焦点をあて,Quant-NoiseによるiPQの精度向上を目的とした,新たな拡張を提案する。 私たちのコントリビューションは、Partitioning-Guided k-means(PG k-means)と呼ばれ、3つの主要コンポーネントからなる強化k-means実装である。 まず,初期空クラスタの確保を保証し,クラスタ間分散の促進を図る分割型事前割り当て戦略を提案する。 第2に,大規模クラスタの慎重なパーティショニングによって実行される,経験的に優れた空クラスター分解ヒューリスティックを提案する。 最後に,重みの直観的に密集したクラスタを統合し,共有表現を確実にするための最適化ステップを構築する。 提案手法は,Quant-Noise を用いた iPQ における空クラスタの数を平均で100倍に減らし,空クラスタの解像度を 8 倍削減し,GLUE ベンチマークの様々なタスクで RoBERTa に適用した場合,モデル全体の精度を最大 12% 向上させる。

関連論文リスト

• Self-Supervised Graph Embedding Clustering [70.36328717683297]
  K-means 1-step dimensionality reduction clustering method は,クラスタリングタスクにおける次元性の呪いに対処する上で,いくつかの進歩をもたらした。 本稿では,K-meansに多様体学習を統合する統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-24T08:59:51Z)
• Cluster truncated Wigner approximation for bond-disordered Heisenberg spin models [0.0]
  クラスタートリニケートウィグナー近似(cTWA)は、結合非秩序なハイゼンベルクスピン鎖のクエンチダイナミクスとパワー-ロー相互作用に応用される。 当初導入されたガウス近似に基づくスキームの代替として、初期ウィグナー関数の離散サンプリングスキームを開発する。
  論文  参考訳（メタデータ） (2024-07-01T18:00:06Z)
• Deep Embedding Clustering Driven by Sample Stability [16.53706617383543]
  サンプル安定性(DECS)により駆動されるディープ埋め込みクラスタリングアルゴリズムを提案する。 具体的には、まずオートエンコーダで初期特徴空間を構築し、次にサンプル安定性に制約されたクラスタ指向の埋め込み機能を学ぶ。 5つのデータセットに対する実験結果から,提案手法は最先端のクラスタリング手法と比較して優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-01-29T09:19:49Z)
• Gap-Free Clustering: Sensitivity and Robustness of SDP [6.996002801232415]
  ブロックモデル(SBM)におけるグラフクラスタリングについて,大クラスタと小クラスタの両方の存在下で検討した。 以前の凸緩和アプローチは正確な回復を達成するため、$o(sqrtn)$の小さなクラスタを許可しないか、最小の回復クラスタと最大の非回復クラスタの間のサイズギャップを必要とする。 本研究では,これらの要求を除去し,クラスタサイズによらず,大規模クラスタを確実に復元する半定値プログラミング(SDP)に基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-29T21:27:21Z)
• Instance-Optimal Cluster Recovery in the Labeled Stochastic Block Model [79.46465138631592]
  観測されたラベルを用いてクラスタを復元する効率的なアルゴリズムを考案する。 本稿では,期待値と高い確率でこれらの下位境界との性能を一致させる最初のアルゴリズムであるIACを提案する。
  論文  参考訳（メタデータ） (2023-06-18T08:46:06Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)
• Local Sample-weighted Multiple Kernel Clustering with Consensus Discriminative Graph [73.68184322526338]
  マルチカーネルクラスタリング(MKC)は、ベースカーネルの集合から最適な情報融合を実現するためにコミットされる。 本稿では,新しい局所サンプル重み付きマルチカーネルクラスタリングモデルを提案する。 実験により, LSWMKCはより優れた局所多様体表現を有し, 既存のカーネルやグラフベースのクラスタリングアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2022-07-05T05:00:38Z)
• Neural Mixture Models with Expectation-Maximization for End-to-end Deep Clustering [0.8543753708890495]
  本稿では,ニューラルネットワークを用いた混合モデルに基づくクラスタリングを実現する。 我々は,Eステップとして前方パス,Mステップとして後方パスを動作させるバッチワイズEMイテレーションにより,ネットワークのエンドツーエンドをトレーニングする。 トレーニングされたネットワークは、k-meansに依存した単一ステージのディープクラスタリング手法よりも優れています。
  論文  参考訳（メタデータ） (2021-07-06T08:00:58Z)
• Scalable Hierarchical Agglomerative Clustering [65.66407726145619]
  既存のスケーラブルな階層的クラスタリング手法は、スピードの質を犠牲にする。 我々は、品質を犠牲にせず、数十億のデータポイントまでスケールする、スケーラブルで集約的な階層的クラスタリング法を提案する。
  論文  参考訳（メタデータ） (2020-10-22T15:58:35Z)
• Progressive Cluster Purification for Unsupervised Feature Learning [48.87365358296371]
  教師なしの特徴学習では、サンプル特異性に基づく手法はクラス間の情報を無視する。 本稿では,プログレッシブクラスタ形成時にクラス不整合サンプルを除外するクラスタリングに基づく新しい手法を提案する。 我々の手法は、プログレッシブ・クラスタ・パーフィケーション(PCP)と呼ばれ、訓練中に徐々にクラスタ数を減らし、プログレッシブ・クラスタリングを実装している。
  論文  参考訳（メタデータ） (2020-07-06T08:11:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。