論文の概要: Sigma-Delta and Distributed Noise-Shaping Quantization Methods for Random Fourier Features

• arxiv url: http://arxiv.org/abs/2106.02614v1
• Date: Fri, 4 Jun 2021 17:24:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-07 15:13:39.836241
• Title: Sigma-Delta and Distributed Noise-Shaping Quantization Methods for Random Fourier Features
• Title（参考訳）: ランダムフーリエ特徴に対するシグマデルタと分散ノイズシェーピング量子化法
• Authors: Jinjie Zhang, Alexander Cloninger, Rayan Saab
• Abstract要約: 我々は、量子化 RFF が基礎となるカーネルの高精度な近似を可能にすることを証明した。 量子化 RFF はさらに圧縮され,メモリ使用量と精度のトレードオフに優れることを示す。 本手法は,この文脈におけるアート量子化手法の他の状態と比較し,いくつかの機械学習タスクにおいて,提案手法の性能を実証的に示す。
• 参考スコア（独自算出の注目度）: 73.25551965751603
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose the use of low bit-depth Sigma-Delta and distributed noise-shaping methods for quantizing the Random Fourier features (RFFs) associated with shift-invariant kernels. We prove that our quantized RFFs -- even in the case of $1$-bit quantization -- allow a high accuracy approximation of the underlying kernels, and the approximation error decays at least polynomially fast as the dimension of the RFFs increases. We also show that the quantized RFFs can be further compressed, yielding an excellent trade-off between memory use and accuracy. Namely, the approximation error now decays exponentially as a function of the bits used. Moreover, we empirically show by testing the performance of our methods on several machine learning tasks that our method compares favorably to other state of the art quantization methods in this context.
• Abstract（参考訳）: 本稿では、シフト不変カーネルに関連するランダムフーリエ特徴(RFF)を定量化するために、低ビット深度Sigma-Deltaと分散ノイズ整形手法を提案する。 我々は、量子化されたRFFが、ビット量子化の場合でさえ、基礎となるカーネルの高精度な近似を可能にすることを証明し、RFFの次元が大きくなるにつれて、近似誤差は少なくとも多項式的に早く崩壊する。 また、量子化 RFF をさらに圧縮することができ、メモリ使用量と精度のトレードオフに優れることを示す。 すなわち、近似誤差は使われるビットの関数として指数関数的に減少する。 さらに,本手法が他の数値化手法と好適に比較できるいくつかの機械学習タスクにおいて,本手法の性能を試験することにより実証的に示す。

関連論文リスト

• Variance-Reducing Couplings for Random Features [57.73648780299374]
  ランダム機能(RF)は、機械学習においてカーネルメソッドをスケールアップする一般的なテクニックである。 ユークリッド空間と離散入力空間の両方で定義されるRFを改善するための結合を求める。 パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
  論文  参考訳（メタデータ） (2024-05-26T12:25:09Z)
• On Optimal Sampling for Learning SDF Using MLPs Equipped with Positional Encoding [79.67071790034609]
  我々は、好ましくない副作用を伴わずに、正確な暗黙の場を学習するための適切なサンプリング率を決定するツールを考案した。 PEを具備したPEは、PE層の最高周波数成分よりも内在周波数がはるかに高いことが観察された。 SDFフィッティングの設定において,この推奨サンプリングレートは正確なフィッティング結果の確保に十分であることを示す。
  論文  参考訳（メタデータ） (2024-01-02T10:51:52Z)
• Neural Fields with Thermal Activations for Arbitrary-Scale Super-Resolution [56.089473862929886]
  本稿では,適応型ガウスPSFを用いて点を問合せできる新しい設計手法を提案する。 理論的に保証されたアンチエイリアスにより、任意のスケールの単一画像の超解像のための新しい手法が確立される。
  論文  参考訳（メタデータ） (2023-11-29T14:01:28Z)
• Trigonometric Quadrature Fourier Features for Scalable Gaussian Process Regression [3.577968559443225]
  QFF(Quardrature Fourier Features)は、近似精度の向上とキャリブレーションの不確実性評価の改善により近年人気を集めている。 QFFの鍵となる限界は、その性能が高振動性二次状態に関連するよく知られた病態に悩まされることである。 我々は、新しい非ガウスの二次法則を用いる新しい三角四分法フーリエ法(TQFF)により、この問題に対処する。
  論文  参考訳（メタデータ） (2023-10-23T03:53:09Z)
• Towards Accurate Post-training Quantization for Diffusion Models [73.19871905102545]
  本稿では,効率的な画像生成のための拡散モデル(ADP-DM)の高精度なデータフリーポストトレーニング量子化フレームワークを提案する。 提案手法は, 拡散モデルの学習後の量子化を, 同様の計算コストで, 非常に大きなマージンで高速化する。
  論文  参考訳（メタデータ） (2023-05-30T04:00:35Z)
• Stochastic optimal transport in Banach Spaces for regularized estimation of multivariate quantiles [0.0]
  絶対連続確率測度$mu$と$nu$の間のエントロピー最適輸送(EOT)を解く新しいアルゴリズムを提案する。 無限次元バナッハ空間でその値を取るアルゴリズムのほぼ確実に収束について研究する。
  論文  参考訳（メタデータ） (2023-02-02T10:02:01Z)
• Efficient Fourier single-pixel imaging with Gaussian random sampling [1.2355696607086075]
  フーリエ単画素イメージング(FSI)のための新しいサンプリング手法を提案する。 これにより、FSIは測定回数を減らして鮮明でシャープな画像を再構成することができる。 提案手法と併用して,256×256ピクセルの鮮明で鮮明な画像を10%のサンプリング比で再構成できる圧縮FSIを実験的に実証した。
  論文  参考訳（メタデータ） (2021-06-29T01:23:33Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Variational Bayesian Quantization [31.999462074510305]
  訓練されたモデルにおける連続潜伏表現の定量化のための新しいアルゴリズムを提案する。 固定量子化スキームにモデルを組み込む現在のエンドツーエンドのニューラル圧縮法とは異なり、我々のアルゴリズムはモデル設計とトレーニングを量子化から分離する。 我々のアルゴリズムは連続領域への算術符号の新たな拡張と見なすことができる。
  論文  参考訳（メタデータ） (2020-02-18T00:15:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。