論文の概要: IDKM: Memory Efficient Neural Network Quantization via Implicit, Differentiable $k$-Means

• arxiv url: http://arxiv.org/abs/2312.07759v1
• Date: Tue, 12 Dec 2023 22:02:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-14 17:22:26.650528
• Title: IDKM: Memory Efficient Neural Network Quantization via Implicit, Differentiable $k$-Means
• Title（参考訳）: IDKM: 命令型、微分可能な$k$-Meansによるメモリ効率の良いニューラルネットワーク量子化
• Authors: Sean Jaffe, Ambuj K. Singh, Francesco Bullo
• Abstract要約: 本稿では,DKMのメモリ制限を解消する暗黙的で微分可能な$k$-meansアルゴリズム(IDKM)を提案する。 我々はIDKMがDKMに匹敵する性能を達成できることを示す。 また、DKMが全くトレーニングできないハードウェア上で、IDKMとIDKM-JFBを使用して、大規模なニューラルネットワークであるResnet18を定量化しています。
• 参考スコア（独自算出の注目度）: 20.13045791225961
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Compressing large neural networks with minimal performance loss is crucial to enabling their deployment on edge devices. (Cho et al., 2022) proposed a weight quantization method that uses an attention-based clustering algorithm called differentiable $k$-means (DKM). Despite achieving state-of-the-art results, DKM's performance is constrained by its heavy memory dependency. We propose an implicit, differentiable $k$-means algorithm (IDKM), which eliminates the major memory restriction of DKM. Let $t$ be the number of $k$-means iterations, $m$ be the number of weight-vectors, and $b$ be the number of bits per cluster address. IDKM reduces the overall memory complexity of a single $k$-means layer from $\mathcal{O}(t \cdot m \cdot 2^b)$ to $\mathcal{O}( m \cdot 2^b)$. We also introduce a variant, IDKM with Jacobian-Free-Backpropagation (IDKM-JFB), for which the time complexity of the gradient calculation is independent of $t$ as well. We provide a proof of concept of our methods by showing that, under the same settings, IDKM achieves comparable performance to DKM with less compute time and less memory. We also use IDKM and IDKM-JFB to quantize a large neural network, Resnet18, on hardware where DKM cannot train at all.
• Abstract（参考訳）: エッジデバイスへのデプロイメントを可能にするためには、パフォーマンス損失を最小限にした大規模なニューラルネットワークの圧縮が不可欠だ。 (Cho et al., 2022) は微分可能な$k$-means (DKM) と呼ばれる注意に基づくクラスタリングアルゴリズムを用いた重み量子化法を提案した。 最先端の結果を得たにもかかわらず、DKMのパフォーマンスはその重いメモリ依存によって制限される。 本稿では,DKMのメモリ制限を解消する暗黙的で微分可能な$k$-meansアルゴリズム(IDKM)を提案する。 $t$ を $k$-means の反復数とし、$m$ をウェイトベクター数とし、$b$ をクラスタアドレス当たりのビット数とする。 IDKMは、単一の$k$-means層の全体的なメモリ複雑性を$\mathcal{O}(t \cdot m \cdot 2^b)$から$\mathcal{O}(m \cdot 2^b)$に減らす。 我々はまた、勾配計算の時間的複雑さが$t$にも依存しない、Jacobian-Free-Backpropagation (IDKM-JFB) の変種IDKMを導入する。 我々は,IDKMがDKMと同等の性能で計算時間が少なく,メモリも少ないことを示すことによって,本手法の概念実証を行う。 また、DKMが全くトレーニングできないハードウェア上で、IDKMとIDKM-JFBを使用して、大規模なニューラルネットワークであるResnet18を定量化しています。

関連論文リスト

• Rectified Gaussian kernel multi-view k-means clustering [0.0]
  マルチビューデータに対処する2種類のマルチビューk-means (MVKM) アルゴリズムについて述べる。 一般的な考え方は、$h$-th view data point $x_ih$と$h$-th view clustercenter $a_kh$を、異なる方法でセントロイドベースのアプローチで概説することである。
  論文  参考訳（メタデータ） (2024-05-09T08:35:21Z)
• A Linear Time and Space Local Point Cloud Geometry Encoder via Vectorized Kernel Mixture (VecKM) [37.87282737463472]
  本稿では,ローカルポイントクラウド幾何エンコーダであるVecKMを提案する。 VecKMは、近隣のすべての点を用いて局所的幾何学的エンコーディングを構築し、より記述的なエンコーディングを生成する。 VecKMは計算が効率的で、大規模クラウドインプットにスケーラブルである。
  論文  参考訳（メタデータ） (2024-04-02T02:01:21Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Weak Schur sampling with logarithmic quantum memory [0.0]
  弱いシュアサンプリングのための新しいアルゴリズムを提案する。 我々のアルゴリズムは、既約表現をインデックスするヤングラベルと対称群の多重度ラベルの両方を効率的に決定する。
  論文  参考訳（メタデータ） (2023-09-21T10:02:46Z)
• Replicable Clustering [57.19013971737493]
  我々は,統計学的な$k$-medians,統計学的な$k$-means,統計学的な$k$-centers問題のアルゴリズムをブラックボックス方式で近似ルーチンを用いて提案する。 理論的結果を検証するブラックボックスとしてsklearnの$k$-means++実装を用いた2次元合成分布の実験も行っている。
  論文  参考訳（メタデータ） (2023-02-20T23:29:43Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• Asymmetric Scalable Cross-modal Hashing [51.309905690367835]
  クロスモーダルハッシュは、大規模なマルチメディア検索問題を解決する方法として成功している。 これらの問題に対処する新しい非対称スケーラブルクロスモーダルハッシュ(ASCMH)を提案する。 我々のASCMHは、最先端のクロスモーダルハッシュ法よりも精度と効率の点で優れています。
  論文  参考訳（メタデータ） (2022-07-26T04:38:47Z)
• Scalable Differentially Private Clustering via Hierarchically Separated Trees [82.69664595378869]
  我々は,最大$O(d3/2log n)cdot OPT + O(k d2 log2 n / epsilon2)$,$epsilon$はプライバシ保証であることを示す。 最悪の場合の保証は、最先端のプライベートクラスタリング手法よりも悪いが、提案するアルゴリズムは実用的である。
  論文  参考訳（メタデータ） (2022-06-17T09:24:41Z)
• Consistent Structured Prediction with Max-Min Margin Markov Networks [84.60515484036239]
  二項分類のためのマックスマージン法は、最大マージンマルコフネットワーク(M3N$)の名前で構造化予測設定まで拡張されている。 我々は、学習問題を"max-min"マージンの定式化で定義し、結果のメソッドmax-minマージンマルコフネットワーク(M4N$)を命名することで、そのような制限を克服する。 マルチクラス分類,順序回帰,シーケンス予測,ランキング実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-07-02T10:48:42Z)
• Improving The Performance Of The K-means Algorithm [2.28438857884398]
  私の論文では、クラスタリング結果の質を概ね保ちながら、IKMを高速化する2つのアルゴリズムを提案している。 最初のアルゴリズムはDivisive K-meansと呼ばれ、クラスタの分割プロセスを高速化することでIKMの速度を改善する。 2つ目のアルゴリズムはPar2PK-means(Par2PK-means)と呼ばれ、Two-Phase K-meansモデルを用いてIKMを並列化する。
  論文  参考訳（メタデータ） (2020-05-10T15:09:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。