論文の概要: Trajectory Forecasting through Low-Rank Adaptation of Discrete Latent Codes
- arxiv url: http://arxiv.org/abs/2405.20743v1
- Date: Fri, 31 May 2024 10:13:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-03 14:47:24.345216
- Title: Trajectory Forecasting through Low-Rank Adaptation of Discrete Latent Codes
- Title（参考訳）: 離散遅延符号の低ランク適応による軌道予測
- Authors: Riccardo Benaglia, Angelo Porrello, Pietro Buzzega, Simone Calderara, Rita Cucchiara,
- Abstract要約: トラジェクトリ予測は、一連のエージェントの将来の動きを予測できるため、ビデオ監視分析に不可欠である。
本稿では,離散潜在空間を用いたベクトル量子変分オートエンコーダ(VQ-VAEs)を導入し,後方崩壊問題に対処する。
このような2段階のフレームワークは、インスタンスレベルの離散化によって強化され、正確で多様な予測につながることを示す。
- 参考スコア（独自算出の注目度）: 36.12653178844828
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Trajectory forecasting is crucial for video surveillance analytics, as it enables the anticipation of future movements for a set of agents, e.g. basketball players engaged in intricate interactions with long-term intentions. Deep generative models offer a natural learning approach for trajectory forecasting, yet they encounter difficulties in achieving an optimal balance between sampling fidelity and diversity. We address this challenge by leveraging Vector Quantized Variational Autoencoders (VQ-VAEs), which utilize a discrete latent space to tackle the issue of posterior collapse. Specifically, we introduce an instance-based codebook that allows tailored latent representations for each example. In a nutshell, the rows of the codebook are dynamically adjusted to reflect contextual information (i.e., past motion patterns extracted from the observed trajectories). In this way, the discretization process gains flexibility, leading to improved reconstructions. Notably, instance-level dynamics are injected into the codebook through low-rank updates, which restrict the customization of the codebook to a lower dimension space. The resulting discrete space serves as the basis of the subsequent step, which regards the training of a diffusion-based predictive model. We show that such a two-fold framework, augmented with instance-level discretization, leads to accurate and diverse forecasts, yielding state-of-the-art performance on three established benchmarks.
- Abstract（参考訳）: トラジェクトリ予測はビデオ監視分析において不可欠であり、例えば、長期的意図との複雑な相互作用に従事するバスケットボール選手など、一組のエージェントの将来の動きを予測できる。
深層生成モデルは、軌道予測のための自然な学習手法を提供するが、サンプリング忠実度と多様性の最適バランスを達成するのに困難に直面する。
本稿では,ベクトル量子化変分オートエンコーダ(VQ-VAEs)を用いて,離散潜在空間を用いて後方崩壊問題に取り組むことで,この問題に対処する。
具体的には、インスタンスベースのコードブックを導入し、各例用に調整された潜在表現を可能にします。
簡単に言えば、コードブックの行は動的に調整され、文脈情報(つまり、観察された軌跡から抽出された過去の動きパターン)を反映する。
このようにして、離散化プロセスは柔軟性を高め、再構築の改善につながる。
特に、インスタンスレベルのダイナミクスは低ランクの更新によってコードブックに注入され、コードブックの低次元空間へのカスタマイズが制限される。
結果として生じる離散空間は、拡散に基づく予測モデルのトレーニングを考慮に入れたその後のステップの基礎となる。
このような2段階のフレームワークは、インスタンスレベルの離散化によって強化され、正確で多様な予測をもたらし、3つの確立されたベンチマークで最先端のパフォーマンスが得られることを示す。
関連論文リスト
- Gaussian Mixture Vector Quantization with Aggregated Categorical Posterior [5.862123282894087]
ベクトル量子化変分オートエンコーダ(VQ-VAE)を導入する。
VQ-VAEは、離散埋め込みを潜時として使用する変分オートエンコーダの一種である。
GM-VQは,手工芸品に頼らずに,コードブックの利用率を向上し,情報損失を低減する。
論文 参考訳（メタデータ） (2024-10-14T05:58:11Z) - Diffusion Forcing: Next-token Prediction Meets Full-Sequence Diffusion [61.03681839276652]
拡散強制(Diffusion Forcing)は、拡散モデルをトレーニングし、トークンの集合に独立した音レベルを付与する、新たなトレーニングパラダイムである。
因果的次トーケン予測モデルを訓練して1つまたは複数の未来のトークンを生成することで、シーケンス生成モデルに拡散強制を適用する。
論文 参考訳（メタデータ） (2024-07-01T15:43:25Z) - Variational quantization for state space models [3.9762742923544456]
何千もの異種時系列を収集する大規模なデータセットを用いてタスクを予測することは、多くの分野において重要な統計問題である。
離散状態空間隠蔽マルコフモデルと最近のニューラルネットワークアーキテクチャを組み合わせた新しい予測モデルを提案し,ベクトル量子化変分オートエンコーダにインスパイアされたトレーニング手順を提案する。
提案手法の性能を複数のデータセットを用いて評価し,他の最先端ソリューションよりも優れていることを示す。
論文 参考訳（メタデータ） (2024-04-17T07:01:41Z) - Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル
GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。
本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
論文 参考訳（メタデータ） (2023-04-22T15:32:59Z) - Regularized Vector Quantization for Tokenized Image Synthesis [126.96880843754066]
画像の離散表現への量子化は、統合生成モデリングにおける根本的な問題である。
決定論的量子化は、厳しいコードブックの崩壊と推論段階の誤調整に悩まされ、一方、量子化は、コードブックの利用率の低下と再構築の目的に悩まされる。
本稿では、2つの視点から正規化を適用することにより、上記の問題を効果的に緩和できる正規化ベクトル量子化フレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-11T15:20:54Z) - Adaptive Discrete Communication Bottlenecks with Dynamic Vector
Quantization [76.68866368409216]
入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。
コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
論文 参考訳（メタデータ） (2022-02-02T23:54:26Z) - Differentiable Generalised Predictive Coding [2.868176771215219]
本稿では,脳の機能を内部生成モデルの階層的洗練とみなすニューラルプロセス理論と相反する,微分可能な力学モデルについて述べる。
我々の研究は、勾配に基づく予測符号化の既存の実装を拡張し、非線形状態パラメータ化のためのディープニューラルネットワークを統合することができる。
論文 参考訳（メタデータ） (2021-12-02T22:02:56Z) - Contrastive Self-supervised Sequential Recommendation with Robust
Augmentation [101.25762166231904]
Sequential Recommendation Describes a set of technique to model dynamic user behavior to order to predict future interaction in sequence user data。
データスパーシリティやノイズの多いデータなど、古くて新しい問題はまだ残っている。
逐次レコメンデーション(CoSeRec)のためのコントラスト型自己監督学習を提案する。
論文 参考訳（メタデータ） (2021-08-14T07:15:25Z) - Learning Consistent Deep Generative Models from Sparse Data via
Prediction Constraints [16.48824312904122]
我々は変分オートエンコーダやその他の深層生成モデルを学ぶための新しいフレームワークを開発する。
これら2つのコントリビューション -- 予測制約と一貫性制約 -- が,画像分類性能の有望な向上につながることを示す。
論文 参考訳（メタデータ） (2020-12-12T04:18:50Z) - Unsupervised Controllable Generation with Self-Training [90.04287577605723]
GANによる制御可能な世代は依然として困難な研究課題である。
本稿では,自己学習を通じてジェネレータを制御する潜伏符号の分布を学習するための教師なしフレームワークを提案する。
我々のフレームワークは、変分オートエンコーダのような他の変種と比較して、より良い絡み合いを示す。
論文 参考訳（メタデータ） (2020-07-17T21:50:35Z) - Elastic Consistency: A General Consistency Model for Distributed
Stochastic Gradient Descent [28.006781039853575]
近年の機械学習の進歩を支える重要な要素は、大規模な分散メモリ環境で機械学習モデルをトレーニングする能力である。
本稿では,大規模機械学習モデルの学習に使用される一般収束手法を提案する。
我々のフレームワークは弾性弾性境界と呼ばれ、様々な分散SGD法に対する収束境界を導出することができる。
論文 参考訳（メタデータ） (2020-01-16T16:10:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。