Fugu-MT 論文翻訳(概要): SVQ: Sparse Vector Quantization for Spatiotemporal Forecasting

論文の概要: SVQ: Sparse Vector Quantization for Spatiotemporal Forecasting

arxiv url: http://arxiv.org/abs/2312.03406v2
Date: Thu, 7 Dec 2023 01:24:54 GMT
ステータス: 処理完了
システム内更新日: 2023-12-08 11:22:05.413819
Title: SVQ: Sparse Vector Quantization for Spatiotemporal Forecasting
Title（参考訳）: SVQ:時空間予測のためのスパースベクトル量子化
Authors: Chao Chen, Tian Zhou, Yanjun Zhao, Hui Liu, Liang Sun, Rong Jin
Abstract要約: 2層回帰法によるスパース回帰を近似するスパース量子化法を提案する。天気予報,交通流予報,映像予報など多分野の多様なデータセットを用いて行った実験から,提案手法がベースモデルの性能を継続的に向上することを示す。
参考スコア（独自算出の注目度）: 23.38628640665113
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Spatiotemporal forecasting tasks, such as weather forecasting and traffic prediction, offer significant societal benefits. These tasks can be effectively approached as image forecasting problems using computer vision models. Vector quantization (VQ) is a well-known method for discrete representation that improves the latent space, leading to enhanced generalization and transfer learning capabilities. One of the main challenges in using VQ for spatiotemporal forecasting is how to balance between keeping enough details and removing noises from the original patterns for better generalization. We address this challenge by developing sparse vector quantization, or {\bf SVQ} for short, that leverages sparse regression to make better trade-off between the two objectives. The main innovation of this work is to approximate sparse regression by a two-layer MLP and a randomly fixed or learnable matrix, dramatically improving its computational efficiency. Through experiments conducted on diverse datasets in multiple fields including weather forecasting, traffic flow prediction, and video forecasting, we unequivocally demonstrate that our proposed method consistently enhances the performance of base models and achieves state-of-the-art results across all benchmarks.
Abstract（参考訳）: 天気予報や交通予報のような時空間予測タスクは、社会に大きな利益をもたらす。これらのタスクは、コンピュータビジョンモデルを用いて画像予測問題として効果的にアプローチできる。ベクトル量子化(vector quantization, vq)は、潜在空間を改善し、一般化と転送学習能力の向上につながる離散表現の一般的な方法である。時空間予測にVQを使用する際の大きな課題の1つは、十分な詳細を維持することと、元のパターンからノイズを取り除くことで、より一般化する方法である。この課題は、スパースベクトル量子化(略して {\bf SVQ})を開発し、スパース回帰を利用して2つの目的間のトレードオフを改善することで解決する。この研究の主な革新は、2層MLPとランダムに固定または学習可能な行列によるスパース回帰を近似し、計算効率を劇的に改善することである。気象予報,トラヒックフロー予報,ビデオ予報など多分野の多種多様なデータセットを対象として実験を行い,本手法がベースモデルの性能を一貫して向上させ,全ベンチマークで最新の結果が得られることを示す。

関連論文リスト

AffineQuant: Affine Transformation Quantization for Large Language Models [58.45460102764]
ポストトレーニング量子化(PTQ)は、その圧縮効率とトレーニングの文脈における費用対効果により、かなりの関心を集めている。既存の大規模言語モデル(LLM)のPTQ手法は、事前量子化重みと後量子化重みの間の変換のスケーリングに最適化範囲を制限している。本稿では,PTQ(AffineQuant)における等価アフィン変換を用いた直接最適化を提唱する。
論文参考訳（メタデータ） (2024-03-19T08:40:21Z)
Towards Accurate Post-training Quantization for Reparameterized Models [6.158896686945439]
現在のポストトレーニング量子化法(PTQ)は、しばしばかなりの精度の劣化を引き起こす。これは主にチャネル特異的およびサンプル特異的な外れ値によって引き起こされる。本稿では、量子化された再パラメータ化モデルの精度を維持する新しいフレームワークであるRepAPQを提案する。
論文参考訳（メタデータ） (2024-02-25T15:42:12Z)
Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。本稿では,直感的に設計を記述し,設計選択について説明する。本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
論文参考訳（メタデータ） (2023-10-31T16:15:13Z)
Balancing Computational Efficiency and Forecast Error in Machine Learning-based Time-Series Forecasting: Insights from Live Experiments on Meteorological Nowcasting [0.0]
本稿では,気象情報を用いた計算コストと予測誤差の関係について述べる。 5日間のライブ実験では、4000のデータソースがトレーニングのためにストリームされ、1時間あたり144モデルが参照された。その結果, 分散ホライゾンを用いることで計算使用量を50%以上削減し, 誤差は0～15%増加した。
論文参考訳（メタデータ） (2023-09-26T19:10:00Z)
QuantEase: Optimization-based Quantization for Language Models [17.333778751252392]
本研究は,近年のLarge Language Models (LLMs) の進歩から,様々な量子化層の量子化(PTQ)を導入する。当社のCDベースのアプローチは、ベクター操作にのみ依存して、簡単にアップデートできる。我々はまた、完全な精度で重要な重量(外積)を維持することができるような、外れ値のアプローチも検討している。
論文参考訳（メタデータ） (2023-09-05T01:39:09Z)
S-HR-VQVAE: Sequential Hierarchical Residual Learning Vector Quantized Variational Autoencoder for Video Prediction [16.14728977379756]
我々は,新しい残差ベクトル学習量子化変分オートエンコーダ(HR-VQE)と階層的自己回帰ベクトル予測モデル(AST-PM)を組み合わせた新しいモデルを提案する。我々は,モデルサイズがはるかに小さいにもかかわらず,定量評価と定性評価の両面で,最先端のビデオ予測手法と比較して好意的に比較した。
論文参考訳（メタデータ） (2023-07-13T11:58:27Z)
Solving Oscillation Problem in Post-Training Quantization Through a Theoretical Perspective [74.48124653728422]
ポストトレーニング量子化(PTQ)は、事実上最も効率的な圧縮手法の1つである。我々は、PTQ法で見過ごされた振動問題について論じる。
論文参考訳（メタデータ） (2023-03-21T14:52:52Z)
Training Discrete Deep Generative Models via Gapped Straight-Through Estimator [72.71398034617607]
再サンプリングのオーバーヘッドを伴わずに分散を低減するため, GST (Gapped Straight-Through) 推定器を提案する。この推定子は、Straight-Through Gumbel-Softmaxの本質的な性質に着想を得たものである。実験により,提案したGST推定器は,2つの離散的な深部生成モデリングタスクの強いベースラインと比較して,優れた性能を享受できることが示された。
論文参考訳（メタデータ） (2022-06-15T01:46:05Z)
Why Approximate Matrix Square Root Outperforms Accurate SVD in Global Covariance Pooling? [59.820507600960745]
本稿では,前方通過のSVDと後方伝播のPad'e近似を用いて勾配を計算する新しいGCPメタ層を提案する。提案するメタレイヤは,さまざまなCNNモデルに統合され,大規模および微細なデータセット上で最先端のパフォーマンスを実現する。
論文参考訳（メタデータ） (2021-05-06T08:03:45Z)
An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems [77.88178159830905]
Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。 SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
論文参考訳（メタデータ） (2021-01-26T13:06:00Z)
Quantile Surfaces -- Generalizing Quantile Regression to Multivariate Targets [4.979758772307178]
我々のアプローチは、QS(quantile surfaces)と呼ばれる、単一出力量子化回帰(QR)から多変量ターゲットへの拡張に基づいている。第1段階では、決定論的ポイント予測(中央傾向推定)を行います。次に、量子表面回帰ニューラルネットワーク(QSNN)と呼ばれるニューラルネットワークを含むQSを用いた予測の不確かさをモデル化する。再生可能エネルギー発電の確率予測と,短期サイクリストの軌道予測の2つの分野において,合成データに対する新たなアプローチと,現在研究中の2つの領域における実世界の課題の評価を行った。
論文参考訳（メタデータ） (2020-09-29T16:35:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。