Fugu-MT 論文翻訳(概要): S-HR-VQVAE: Sequential Hierarchical Residual Learning Vector Quantized Variational Autoencoder for Video Prediction

論文の概要: S-HR-VQVAE: Sequential Hierarchical Residual Learning Vector Quantized Variational Autoencoder for Video Prediction

arxiv url: http://arxiv.org/abs/2307.06701v1
Date: Thu, 13 Jul 2023 11:58:27 GMT
ステータス: 処理完了
システム内更新日: 2023-07-14 15:00:56.205618
Title: S-HR-VQVAE: Sequential Hierarchical Residual Learning Vector Quantized Variational Autoencoder for Video Prediction
Title（参考訳）: S-HR-VQVAE:映像予測のための逐次階層型残差学習ベクトル量子化変分オートエンコーダ
Authors: Mohammad Adiban, Kalin Stefanov, Sabato Marco Siniscalchi, Giampiero Salvi
Abstract要約: 量子化可変ベクトルオートコーダ(SHR-VQE)の逐次階層的残差学習能力を提案する。 SHR-VQEは、時間的データの学習、高いぼやけた予測の処理、物理特性の暗黙的なモデリングなど、ビデオ予測の課題に対処できることを示す。
参考スコア（独自算出の注目度）: 19.92324010429006
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We address the video prediction task by putting forth a novel model that combines (i) our recently proposed hierarchical residual vector quantized variational autoencoder (HR-VQVAE), and (ii) a novel spatiotemporal PixelCNN (ST-PixelCNN). We refer to this approach as a sequential hierarchical residual learning vector quantized variational autoencoder (S-HR-VQVAE). By leveraging the intrinsic capabilities of HR-VQVAE at modeling still images with a parsimonious representation, combined with the ST-PixelCNN's ability at handling spatiotemporal information, S-HR-VQVAE can better deal with chief challenges in video prediction. These include learning spatiotemporal information, handling high dimensional data, combating blurry prediction, and implicit modeling of physical characteristics. Extensive experimental results on the KTH Human Action and Moving-MNIST tasks demonstrate that our model compares favorably against top video prediction techniques both in quantitative and qualitative evaluations despite a much smaller model size. Finally, we boost S-HR-VQVAE by proposing a novel training method to jointly estimate the HR-VQVAE and ST-PixelCNN parameters.
Abstract（参考訳）: 我々は、組み合わせた新しいモデルを作成することによって、映像予測課題に対処する。 (i)最近提案した階層的残差ベクトル量子化変分オートエンコーダ(HR-VQVAE)と (II)新しい時空間PixelCNN(ST-PixelCNN)。本手法を逐次階層的残差学習ベクトル量子化変分オートエンコーダ (s-hr-vqvae) と呼ぶ。 S-HR-VQVAEは、時空間情報を扱うST-PixelCNNの能力と相似表現による静止画像のモデリングにおける本質的な能力を活用することで、ビデオ予測における主要な課題に対処することができる。これには、時空間情報の学習、高次元データの処理、ぼやけた予測の対処、物理的特性の暗黙的モデリングが含まれる。 kthヒューマンアクションとmove-mnistタスクに関する広範な実験結果から,モデルサイズがはるかに小さいにもかかわらず,定量的および質的評価において,トップビデオ予測手法と比較した結果が得られた。最後に、HR-VQVAEとST-PixelCNNパラメータを共同で推定する新しいトレーニング手法を提案することにより、S-HR-VQVAEを向上する。

関連論文リスト

SalFoM: Dynamic Saliency Prediction with Video Foundation Models [37.25208752620703]
ビデオサリエンシ予測(VSP)は人間の視覚システムと比較して有望な性能を示した。本稿では,新しいエンコーダデコーダビデオトランスアーキテクチャであるSalFoMを紹介する。本モデルはUnMasked Teacher(UMT)抽出器を使用し,異種デコーダを意識した時間変換器を提案する。
論文参考訳（メタデータ） (2024-04-03T22:38:54Z)
Cross-modal Prompts: Adapting Large Pre-trained Models for Audio-Visual Downstream Tasks [55.36987468073152]
本稿では,DG-SCT(Dual-Guided Space-Channel-Temporal)アテンション機構を提案する。 DG-SCTモジュールはトレーニング可能なクロスモーダル・インタラクション・レイヤを事前トレーニングされたオーディオ・ビジュアル・エンコーダに組み込む。提案手法は, AVE, AVVP, AVS, AVQA, AVQAを含む複数のダウンストリームタスクにまたがる最先端の処理結果を実現する。
論文参考訳（メタデータ） (2023-11-09T05:24:20Z)
Koopman Invertible Autoencoder: Leveraging Forward and Backward Dynamics for Temporal Modeling [13.38194491846739]
我々は、Koopman Invertible Autoencoders (KIA) と呼ぶ、Koopman演算子理論に基づく新しい機械学習モデルを提案する。 KIAは、無限次元ヒルベルト空間における前方と後方のダイナミクスをモデル化することによって、システムの固有の特性を捉えている。これにより,低次元表現を効率よく学習し,長期システムの挙動をより正確に予測することが可能になる。
論文参考訳（メタデータ） (2023-09-19T03:42:55Z)
Spatio-Temporal Encoding of Brain Dynamics with Surface Masked Autoencoders [10.097983222759884]
表面仮面オートエンコーダ(sMAE)と表面仮面オートエンコーダ(MAE) これらのモデルは、皮質発達と構造関数の強力な潜在表現を学習することにより、入力のマスクされたバージョンから皮質特徴写像を再構築するように訓練されている。以上の結果から, (v)sMAE事前学習モデルでは, 複数のタスクにおける表現型予測性能が約26%向上し,スクラッチからトレーニングしたモデルに対してより高速な収束が得られた。
論文参考訳（メタデータ） (2023-08-10T10:01:56Z)
Contextually Enhanced ES-dRNN with Dynamic Attention for Short-Term Load Forecasting [1.1602089225841632]
提案手法は,コンテキストトラックとメイントラックという,同時に訓練された2つのトラックから構成される。 RNNアーキテクチャは、階層的な拡張を積み重ねた複数の繰り返し層で構成され、最近提案された注意的再帰細胞を備えている。このモデルは点予測と予測間隔の両方を生成する。
論文参考訳（メタデータ） (2022-12-18T07:42:48Z)
IDM-Follower: A Model-Informed Deep Learning Method for Long-Sequence Car-Following Trajectory Prediction [24.94160059351764]
ほとんどの自動車追従モデルは生成的であり、最後のステップの速度、位置、加速度の入力のみを考慮する。 2つの独立したエンコーダと、次の軌道を逐次予測できる自己アテンションデコーダを備えた新しい構造を実装した。シミュレーションとNGSIMデータセットの複数の設定による数値実験により、IMM-Followerは予測性能を向上させることができることが示された。
論文参考訳（メタデータ） (2022-10-20T02:24:27Z)
CONVIQT: Contrastive Video Quality Estimator [63.749184706461826]
知覚ビデオ品質評価(VQA)は、多くのストリーミングおよびビデオ共有プラットフォームにおいて不可欠な要素である。本稿では,視覚的に関連のある映像品質表現を自己指導的に学習する問題について考察する。本研究は, 自己教師型学習を用いて, 知覚力による説得力のある表現が得られることを示す。
論文参考訳（メタデータ） (2022-06-29T15:22:01Z)
Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文参考訳（メタデータ） (2021-06-25T22:08:51Z)
Why Do Pretrained Language Models Help in Downstream Tasks? An Analysis of Head and Prompt Tuning [66.44344616836158]
本稿では,事前学習タスクと下流タスクをテキストの潜在変数生成モデルに関連付ける分析フレームワークを提案する。 HMMの特定の非退化条件下では、単純な分類ヘッドがダウンストリームタスクを解くことができ、また、迅速なチューニングにより、より弱い非退化条件で下流の保証を得ることができ、さらに、メモリ拡張HMMの回復保証がバニラHMMよりも強いことを示す。
論文参考訳（メタデータ） (2021-06-17T03:31:47Z)
DiscreTalk: Text-to-Speech as a Machine Translation Problem [52.33785857500754]
本稿ではニューラルマシン翻訳(NMT)に基づくエンドツーエンドテキスト音声合成(E2E-TTS)モデルを提案する。提案モデルは,非自己回帰ベクトル量子化変分オートエンコーダ(VQ-VAE)モデルと自己回帰トランスフォーマー-NMTモデルという2つのコンポーネントから構成される。
論文参考訳（メタデータ） (2020-05-12T02:45:09Z)
Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
論文参考訳（メタデータ） (2020-02-21T05:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。