Fugu-MT 論文翻訳(概要): SVQ: Sparse Vector Quantization for Spatiotemporal Forecasting

論文の概要: SVQ: Sparse Vector Quantization for Spatiotemporal Forecasting

arxiv url: http://arxiv.org/abs/2312.03406v3
Date: Thu, 8 Feb 2024 02:55:08 GMT
ステータス: 処理完了
システム内更新日: 2024-02-09 18:45:51.207063
Title: SVQ: Sparse Vector Quantization for Spatiotemporal Forecasting
Title（参考訳）: SVQ:時空間予測のためのスパースベクトル量子化
Authors: Chao Chen, Tian Zhou, Yanjun Zhao, Hui Liu, Liang Sun, Rong Jin
Abstract要約: 本稿では,スパース回帰に基づくベクトル量子化(SVQ)を提案する。ビデオ予測では、Human、KTH、KittiCaltech-itはMAEを平均9.4%削減し、画質を17.3%改善している。 5つのベンチマークデータセットに関する実証研究により、SVQが最先端の結果を示した。
参考スコア（独自算出の注目度）: 23.38628640665113
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Spatio-temporal forecasting, pivotal in numerous fields, hinges on the delicate equilibrium between isolating nuanced patterns and sifting out noise. To tackle this, we introduce Sparse Regression-based Vector Quantization (SVQ), a novel technique that leverages sparse regression for succinct representation, an approach theoretically and practically favored over classical clustering-based vector quantization methods. This approach preserves critical details from the original vectors using a regression model while filtering out noise via sparse design. Moreover, we approximate the sparse regression process using a blend of a two-layer MLP and an extensive codebook. This approach not only substantially cuts down on computational costs but also grants SVQ differentiability and training simplicity, resulting in a notable enhancement of performance. Our empirical studies on five spatial-temporal benchmark datasets demonstrate that SVQ achieves state-of-the-art results. Specifically, on the WeatherBench-S temperature dataset, SVQ improves the top baseline by 7.9%. In video prediction benchmarks-Human, KTH, and KittiCaltech-it reduces MAE by an average of 9.4% and improves image quality by 17.3% (LPIPS).
Abstract（参考訳）: 多くの分野で重要な時空間予測は、ニュアンスパターンの分離とノイズの排除の間の微妙な均衡にかかっている。これを解決するために,スパース回帰に基づくベクトル量子化(SVQ)を導入する。これはスパース回帰を簡潔表現に活用する新しい手法であり,古典的なクラスタリングに基づくベクトル量子化法よりも理論的かつ実用的な手法である。このアプローチは、疎設計によるノイズをフィルタリングしながら、回帰モデルを用いて元のベクトルからの重要な詳細を保存する。さらに, 2層MLPと広範囲なコードブックを混合して, スパース回帰過程を近似した。このアプローチは、計算コストを大幅に削減するだけでなく、SVQの微分可能性とトレーニングの単純さを与え、パフォーマンスを著しく向上させる。 5つの時空間ベンチマークデータセットに関する実証研究は、SVQが最先端の結果を得ることを示す。具体的には、WeatherBench-S温度データセットにおいて、SVQはトップベースラインを7.9%改善する。ビデオ予測ベンチマークでは、Human、KTH、KittiCaltech-itはMAEを平均9.4%削減し、画質を17.3%改善した。

関連論文リスト

AffineQuant: Affine Transformation Quantization for Large Language Models [58.45460102764]
ポストトレーニング量子化(PTQ)は、その圧縮効率とトレーニングの文脈における費用対効果により、かなりの関心を集めている。既存の大規模言語モデル(LLM)のPTQ手法は、事前量子化重みと後量子化重みの間の変換のスケーリングに最適化範囲を制限している。本稿では,PTQ(AffineQuant)における等価アフィン変換を用いた直接最適化を提唱する。
論文参考訳（メタデータ） (2024-03-19T08:40:21Z)
Towards Accurate Post-training Quantization for Reparameterized Models [6.158896686945439]
現在のポストトレーニング量子化法(PTQ)は、しばしばかなりの精度の劣化を引き起こす。これは主にチャネル特異的およびサンプル特異的な外れ値によって引き起こされる。本稿では、量子化された再パラメータ化モデルの精度を維持する新しいフレームワークであるRepAPQを提案する。
論文参考訳（メタデータ） (2024-02-25T15:42:12Z)
Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。本稿では,直感的に設計を記述し,設計選択について説明する。本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
論文参考訳（メタデータ） (2023-10-31T16:15:13Z)
Balancing Computational Efficiency and Forecast Error in Machine Learning-based Time-Series Forecasting: Insights from Live Experiments on Meteorological Nowcasting [0.0]
本稿では,気象情報を用いた計算コストと予測誤差の関係について述べる。 5日間のライブ実験では、4000のデータソースがトレーニングのためにストリームされ、1時間あたり144モデルが参照された。その結果, 分散ホライゾンを用いることで計算使用量を50%以上削減し, 誤差は0～15%増加した。
論文参考訳（メタデータ） (2023-09-26T19:10:00Z)
QuantEase: Optimization-based Quantization for Language Models [17.333778751252392]
本研究は,近年のLarge Language Models (LLMs) の進歩から,様々な量子化層の量子化(PTQ)を導入する。当社のCDベースのアプローチは、ベクター操作にのみ依存して、簡単にアップデートできる。我々はまた、完全な精度で重要な重量(外積)を維持することができるような、外れ値のアプローチも検討している。
論文参考訳（メタデータ） (2023-09-05T01:39:09Z)
S-HR-VQVAE: Sequential Hierarchical Residual Learning Vector Quantized Variational Autoencoder for Video Prediction [16.14728977379756]
我々は,新しい残差ベクトル学習量子化変分オートエンコーダ(HR-VQE)と階層的自己回帰ベクトル予測モデル(AST-PM)を組み合わせた新しいモデルを提案する。我々は,モデルサイズがはるかに小さいにもかかわらず,定量評価と定性評価の両面で,最先端のビデオ予測手法と比較して好意的に比較した。
論文参考訳（メタデータ） (2023-07-13T11:58:27Z)
Solving Oscillation Problem in Post-Training Quantization Through a Theoretical Perspective [74.48124653728422]
ポストトレーニング量子化(PTQ)は、事実上最も効率的な圧縮手法の1つである。我々は、PTQ法で見過ごされた振動問題について論じる。
論文参考訳（メタデータ） (2023-03-21T14:52:52Z)
Training Discrete Deep Generative Models via Gapped Straight-Through Estimator [72.71398034617607]
再サンプリングのオーバーヘッドを伴わずに分散を低減するため, GST (Gapped Straight-Through) 推定器を提案する。この推定子は、Straight-Through Gumbel-Softmaxの本質的な性質に着想を得たものである。実験により,提案したGST推定器は,2つの離散的な深部生成モデリングタスクの強いベースラインと比較して,優れた性能を享受できることが示された。
論文参考訳（メタデータ） (2022-06-15T01:46:05Z)
Why Approximate Matrix Square Root Outperforms Accurate SVD in Global Covariance Pooling? [59.820507600960745]
本稿では,前方通過のSVDと後方伝播のPad'e近似を用いて勾配を計算する新しいGCPメタ層を提案する。提案するメタレイヤは,さまざまなCNNモデルに統合され,大規模および微細なデータセット上で最先端のパフォーマンスを実現する。
論文参考訳（メタデータ） (2021-05-06T08:03:45Z)
An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems [77.88178159830905]
Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。 SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
論文参考訳（メタデータ） (2021-01-26T13:06:00Z)
Quantile Surfaces -- Generalizing Quantile Regression to Multivariate Targets [4.979758772307178]
我々のアプローチは、QS(quantile surfaces)と呼ばれる、単一出力量子化回帰(QR)から多変量ターゲットへの拡張に基づいている。第1段階では、決定論的ポイント予測(中央傾向推定)を行います。次に、量子表面回帰ニューラルネットワーク(QSNN)と呼ばれるニューラルネットワークを含むQSを用いた予測の不確かさをモデル化する。再生可能エネルギー発電の確率予測と,短期サイクリストの軌道予測の2つの分野において,合成データに対する新たなアプローチと,現在研究中の2つの領域における実世界の課題の評価を行った。
論文参考訳（メタデータ） (2020-09-29T16:35:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。