論文の概要: Large Motion Video Autoencoding with Cross-modal Video VAE

• arxiv url: http://arxiv.org/abs/2412.17805v1
• Date: Mon, 23 Dec 2024 18:58:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:57:43.330304
• Title: Large Motion Video Autoencoding with Cross-modal Video VAE
• Title（参考訳）: クロスモーダルビデオVAEを用いた大動画像自動符号化
• Authors: Yazhou Xing, Yang Fei, Yingqing He, Jingye Chen, Jiaxin Xie, Xiaowei Chi, Qifeng Chen,
• Abstract要約: ビデオ可変オートエンコーダ(VAE)は、ビデオ冗長性を低減し、効率的なビデオ生成を容易にするために不可欠である。 既存のビデオVAEは時間圧縮に対処し始めているが、しばしば再建性能が不十分である。 本稿では,高忠実度ビデオエンコーディングが可能な,新規で強力なビデオオートエンコーダを提案する。
• 参考スコア（独自算出の注目度）: 52.13379965800485
• License:
• Abstract: Learning a robust video Variational Autoencoder (VAE) is essential for reducing video redundancy and facilitating efficient video generation. Directly applying image VAEs to individual frames in isolation can result in temporal inconsistencies and suboptimal compression rates due to a lack of temporal compression. Existing Video VAEs have begun to address temporal compression; however, they often suffer from inadequate reconstruction performance. In this paper, we present a novel and powerful video autoencoder capable of high-fidelity video encoding. First, we observe that entangling spatial and temporal compression by merely extending the image VAE to a 3D VAE can introduce motion blur and detail distortion artifacts. Thus, we propose temporal-aware spatial compression to better encode and decode the spatial information. Additionally, we integrate a lightweight motion compression model for further temporal compression. Second, we propose to leverage the textual information inherent in text-to-video datasets and incorporate text guidance into our model. This significantly enhances reconstruction quality, particularly in terms of detail preservation and temporal stability. Third, we further improve the versatility of our model through joint training on both images and videos, which not only enhances reconstruction quality but also enables the model to perform both image and video autoencoding. Extensive evaluations against strong recent baselines demonstrate the superior performance of our method. The project website can be found at~\href{https://yzxing87.github.io/vae/}{https://yzxing87.github.io/vae/}.
• Abstract（参考訳）: ビデオ冗長性を低減し、効率的なビデオ生成を容易にするためには、ロバストなビデオ変分オートコーダ(VAE)の学習が不可欠である。 個々のフレームに直接VAEを適用すると、時間的圧縮の欠如により、時間的不整合と最適以下の圧縮率が発生する。 既存のビデオVAEは時間圧縮に対処し始めているが、しばしば再建性能が不十分である。 本稿では,高忠実度ビデオエンコーディングが可能な,斬新で強力なビデオオートエンコーダを提案する。 まず,画像のVAEを3次元VAEに拡張するだけで,空間的・時間的圧縮の絡み合いを観察する。 そこで本稿では,空間情報をよりよく符号化し,復号化するための時空間圧縮を提案する。 さらに,さらに時間的圧縮を行うために,軽量な動き圧縮モデルを統合する。 第2に,テキスト・トゥ・ビデオ・データセットに固有のテキスト情報を活用し,本モデルにテキストガイダンスを組み込むことを提案する。 これにより、特に詳細な保存と時間的安定性の観点から、復元品質が著しく向上する。 第3に,画像とビデオの協調学習により,モデルの汎用性をさらに向上させ,再現性の向上だけでなく,画像とビデオの自動符号化も可能とした。 近年の強靭なベースラインに対する広範囲な評価は,本手法の優れた性能を示す。 プロジェクトのWebサイトは~\href{https://yzxing87.github.io/vae/}{https://yzxing87.github.io/vae/} にある。

関連論文リスト

• Improved Video VAE for Latent Video Diffusion Model [55.818110540710215]
  ビデオオートエンコーダ(VAE)は、ピクセルデータを低次元の潜在空間に圧縮することを目的としており、OpenAIのSoraで重要な役割を果たしている。 既存のVAEのほとんどは、時間空間圧縮のために3次元因果構造に事前訓練された画像VAEを注入する。 ビデオVAE(IV-VAE)をさらに改善するための新しいKTCアーキテクチャとGCConvモジュールを提案する。
  論文  参考訳（メタデータ） (2024-11-10T12:43:38Z)
• Perceptual Quality Improvement in Videoconferencing using Keyframes-based GAN [28.773037051085318]
  本稿では,ビデオ会議における圧縮アーティファクト削減のための新しいGAN手法を提案する。 まず,圧縮および参照フレームからマルチスケールの特徴を抽出する。 そして、私たちのアーキテクチャは、顔のランドマークに従って、これらの特徴を段階的に組み合わせます。
  論文  参考訳（メタデータ） (2023-11-07T16:38:23Z)
• Predictive Coding For Animation-Based Video Compression [13.161311799049978]
  本稿では,画像アニメーションを予測器として用いる予測符号化手法を提案し,実際の対象フレームに対する残差を符号化する。 実験の結果,HEVCビデオ標準に比べて70%以上,VVCに比べて30%以上,有意な上昇を示した。
  論文  参考訳（メタデータ） (2023-07-09T14:40:54Z)
• Exploring Long- and Short-Range Temporal Information for Learned Video Compression [54.91301930491466]
  圧縮性能を高めるために,映像コンテンツの特徴を活かし,時間的情報を探究することに注力する。 本稿では,画像群(GOP)内で画像の推測中に連続的に更新できる時間前処理を提案する。 この場合、時間的事前は、現在のGOP内のすべてのデコードされた画像の貴重な時間的情報を含む。 本稿では,マルチスケール補償を実現する階層構造を設計する。
  論文  参考訳（メタデータ） (2022-08-07T15:57:18Z)
• Leveraging Bitstream Metadata for Fast, Accurate, Generalized Compressed Video Quality Enhancement [74.1052624663082]
  圧縮ビデオの細部を復元する深層学習アーキテクチャを開発した。 これにより,従来の圧縮補正法と比較して復元精度が向上することを示す。 我々は、ビットストリームで容易に利用できる量子化データに対して、我々のモデルを条件付けする。
  論文  参考訳（メタデータ） (2022-01-31T18:56:04Z)
• Conditional Entropy Coding for Efficient Video Compression [82.35389813794372]
  本稿では,フレーム間の条件エントロピーをモデル化することのみに焦点を当てた,非常にシンプルで効率的なビデオ圧縮フレームワークを提案する。 まず、画像遅延符号間のエントロピーをモデル化する単純なアーキテクチャが、他のニューラルビデオ圧縮やビデオコーデックと同等の競争力を持つことを示す。 次に、このアーキテクチャの上に新しい内部学習拡張を提案し、復号速度を抑えることなく10%の節約を実現した。
  論文  参考訳（メタデータ） (2020-08-20T20:01:59Z)
• Content Adaptive and Error Propagation Aware Deep Video Compression [110.31693187153084]
  本稿では,コンテンツ適応型・誤り伝搬対応型ビデオ圧縮システムを提案する。 本手法では, 複数フレームの圧縮性能を1フレームではなく複数フレームで考慮し, 共同学習手法を用いる。 従来の圧縮システムでは手作りのコーディングモードを使用する代わりに,オンラインエンコーダ更新方式をシステム内に設計する。
  論文  参考訳（メタデータ） (2020-03-25T09:04:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。