Fugu-MT 論文翻訳(概要): Does Vector Quantization Fail in Spatio-Temporal Forecasting? Exploring a Differentiable Sparse Soft-Vector Quantization Approach

論文の概要: Does Vector Quantization Fail in Spatio-Temporal Forecasting? Exploring a Differentiable Sparse Soft-Vector Quantization Approach

arxiv url: http://arxiv.org/abs/2312.03406v4
Date: Sun, 18 May 2025 09:11:15 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-20 14:57:10.1122
Title: Does Vector Quantization Fail in Spatio-Temporal Forecasting? Exploring a Differentiable Sparse Soft-Vector Quantization Approach
Title（参考訳）: 時空間予測におけるベクトル量子化は機能しないか? : 分離可能なソフトベクトル量子化手法の探索
Authors: Chao Chen, Tian Zhou, Yanjun Zhao, Hui Liu, Liang Sun, Rong Jin,
Abstract要約: Sparse Soft- Quantization (SVQ) は、時間的予測を強化するための最初のVQ手法である。 SVQはスパースノイズの低減とバランスを取り、完全性を提供し、スパースレグレッションの強固な基盤を提供する。このアプローチでは,スパース回帰プロセスの合理化のために,2層データセットと広範なコードブックを用いる。
参考スコア（独自算出の注目度）: 22.070533429289334
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Spatio-temporal forecasting is crucial in various fields and requires a careful balance between identifying subtle patterns and filtering out noise. Vector quantization (VQ) appears well-suited for this purpose, as it quantizes input vectors into a set of codebook vectors or patterns. Although VQ has shown promise in various computer vision tasks, it surprisingly falls short in enhancing the accuracy of spatio-temporal forecasting. We attribute this to two main issues: inaccurate optimization due to non-differentiability and limited representation power in hard-VQ. To tackle these challenges, we introduce Differentiable Sparse Soft-Vector Quantization (SVQ), the first VQ method to enhance spatio-temporal forecasting. SVQ balances detail preservation with noise reduction, offering full differentiability and a solid foundation in sparse regression. Our approach employs a two-layer MLP and an extensive codebook to streamline the sparse regression process, significantly cutting computational costs while simplifying training and improving performance. Empirical studies on five spatio-temporal benchmark datasets show SVQ achieves state-of-the-art results, including a 7.9% improvement on the WeatherBench-S temperature dataset and an average mean absolute error reduction of 9.4% in video prediction benchmarks (Human3.6M, KTH, and KittiCaltech), along with a 17.3% enhancement in image quality (LPIPS). Code is publicly available at https://github.com/Pachark/SVQ-Forecasting.
Abstract（参考訳）: 時空間予測は様々な分野において重要であり、微妙なパターンの識別とノイズの除去のバランスを取る必要がある。ベクトル量子化(VQ)はこの目的に適しており、入力ベクトルをコードブックベクトルやパターンの集合に量子化する。 VQは様々なコンピュータビジョンタスクにおいて有望であるが、時空間予測の精度を高めるには驚くほど不足している。非微分可能性による不正確な最適化と、ハードVQにおける限られた表現力である。これらの課題に対処するために、時空間予測を強化する最初のVQ法であるSparse Soft-Vector Quantization (SVQ)を導入する。 SVQはディテール保存とノイズ低減のバランスを保ち、完全な微分可能性とスパースレグレッションの強固な基盤を提供する。提案手法では,2層MLPと広範囲なコードブックを用いてスパース回帰処理を効率化し,トレーニングの簡素化と性能向上を図りながら,計算コストを大幅に削減する。 5つの時空間ベンチマークデータセットに関する実証的な研究によると、SVQは、WeatherBench-S温度データセットを7.9%改善し、ビデオ予測ベンチマーク(Human3.6M、KTH、KittiCaltech)の平均絶対誤差を9.4%削減し、画像品質(LPIPS)を17.3%向上した。コードはhttps://github.com/Pachark/SVQ-Forecasting.comで公開されている。

関連論文リスト

AffineQuant: Affine Transformation Quantization for Large Language Models [58.45460102764]
ポストトレーニング量子化(PTQ)は、その圧縮効率とトレーニングの文脈における費用対効果により、かなりの関心を集めている。既存の大規模言語モデル(LLM)のPTQ手法は、事前量子化重みと後量子化重みの間の変換のスケーリングに最適化範囲を制限している。本稿では,PTQ(AffineQuant)における等価アフィン変換を用いた直接最適化を提唱する。
論文参考訳（メタデータ） (2024-03-19T08:40:21Z)
Towards Accurate Post-training Quantization for Reparameterized Models [6.158896686945439]
現在のポストトレーニング量子化法(PTQ)は、しばしばかなりの精度の劣化を引き起こす。これは主にチャネル特異的およびサンプル特異的な外れ値によって引き起こされる。本稿では、量子化された再パラメータ化モデルの精度を維持する新しいフレームワークであるRepAPQを提案する。
論文参考訳（メタデータ） (2024-02-25T15:42:12Z)
Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。本稿では,直感的に設計を記述し,設計選択について説明する。本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
論文参考訳（メタデータ） (2023-10-31T16:15:13Z)
Balancing Computational Efficiency and Forecast Error in Machine Learning-based Time-Series Forecasting: Insights from Live Experiments on Meteorological Nowcasting [0.0]
本稿では,気象情報を用いた計算コストと予測誤差の関係について述べる。 5日間のライブ実験では、4000のデータソースがトレーニングのためにストリームされ、1時間あたり144モデルが参照された。その結果, 分散ホライゾンを用いることで計算使用量を50%以上削減し, 誤差は0～15%増加した。
論文参考訳（メタデータ） (2023-09-26T19:10:00Z)
QuantEase: Optimization-based Quantization for Language Models [17.333778751252392]
本研究は,近年のLarge Language Models (LLMs) の進歩から,様々な量子化層の量子化(PTQ)を導入する。当社のCDベースのアプローチは、ベクター操作にのみ依存して、簡単にアップデートできる。我々はまた、完全な精度で重要な重量(外積)を維持することができるような、外れ値のアプローチも検討している。
論文参考訳（メタデータ） (2023-09-05T01:39:09Z)
S-HR-VQVAE: Sequential Hierarchical Residual Learning Vector Quantized Variational Autoencoder for Video Prediction [16.14728977379756]
我々は,新しい残差ベクトル学習量子化変分オートエンコーダ(HR-VQE)と階層的自己回帰ベクトル予測モデル(AST-PM)を組み合わせた新しいモデルを提案する。我々は,モデルサイズがはるかに小さいにもかかわらず,定量評価と定性評価の両面で,最先端のビデオ予測手法と比較して好意的に比較した。
論文参考訳（メタデータ） (2023-07-13T11:58:27Z)
Solving Oscillation Problem in Post-Training Quantization Through a Theoretical Perspective [74.48124653728422]
ポストトレーニング量子化(PTQ)は、事実上最も効率的な圧縮手法の1つである。我々は、PTQ法で見過ごされた振動問題について論じる。
論文参考訳（メタデータ） (2023-03-21T14:52:52Z)
Training Discrete Deep Generative Models via Gapped Straight-Through Estimator [72.71398034617607]
再サンプリングのオーバーヘッドを伴わずに分散を低減するため, GST (Gapped Straight-Through) 推定器を提案する。この推定子は、Straight-Through Gumbel-Softmaxの本質的な性質に着想を得たものである。実験により,提案したGST推定器は,2つの離散的な深部生成モデリングタスクの強いベースラインと比較して,優れた性能を享受できることが示された。
論文参考訳（メタデータ） (2022-06-15T01:46:05Z)
Why Approximate Matrix Square Root Outperforms Accurate SVD in Global Covariance Pooling? [59.820507600960745]
本稿では,前方通過のSVDと後方伝播のPad'e近似を用いて勾配を計算する新しいGCPメタ層を提案する。提案するメタレイヤは,さまざまなCNNモデルに統合され,大規模および微細なデータセット上で最先端のパフォーマンスを実現する。
論文参考訳（メタデータ） (2021-05-06T08:03:45Z)
An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems [77.88178159830905]
Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。 SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
論文参考訳（メタデータ） (2021-01-26T13:06:00Z)
Quantile Surfaces -- Generalizing Quantile Regression to Multivariate Targets [4.979758772307178]
我々のアプローチは、QS(quantile surfaces)と呼ばれる、単一出力量子化回帰(QR)から多変量ターゲットへの拡張に基づいている。第1段階では、決定論的ポイント予測(中央傾向推定)を行います。次に、量子表面回帰ニューラルネットワーク(QSNN)と呼ばれるニューラルネットワークを含むQSを用いた予測の不確かさをモデル化する。再生可能エネルギー発電の確率予測と,短期サイクリストの軌道予測の2つの分野において,合成データに対する新たなアプローチと,現在研究中の2つの領域における実世界の課題の評価を行った。
論文参考訳（メタデータ） (2020-09-29T16:35:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。