論文の概要: Compressing Scene Dynamics: A Generative Approach

• arxiv url: http://arxiv.org/abs/2410.09768v1
• Date: Sun, 13 Oct 2024 07:54:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 05:02:48.412659
• Title: Compressing Scene Dynamics: A Generative Approach
• Title（参考訳）: 圧縮シーンダイナミクス : 生成的アプローチ
• Authors: Shanzhi Yin, Zihan Zhang, Bolin Chen, Shiqi Wang, Yan Ye,
• Abstract要約: 本稿では,生成ビデオ圧縮のための映像コンテンツではなく,動きパターンから生成先行を学習することを提案する。 前者は風に揺れる木や海に浮かぶボートなど、一般的な場面における小さな動きのダイナミクスから派生したものである。 超低ビットレート通信と多様なシーンコンテンツのための高品質な再構成を実現するために、新しい生成シーンダイナミックス圧縮フレームワークを構築した。
• 参考スコア（独自算出の注目度）: 26.838900035206613
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper proposes to learn generative priors from the motion patterns instead of video contents for generative video compression. The priors are derived from small motion dynamics in common scenes such as swinging trees in the wind and floating boat on the sea. Utilizing such compact motion priors, a novel generative scene dynamics compression framework is built to realize ultra-low bit-rate communication and high-quality reconstruction for diverse scene contents. At the encoder side, motion priors are characterized into compact representations in a dense-to-sparse manner. At the decoder side, the decoded motion priors serve as the trajectory hints for scene dynamics reconstruction via a diffusion-based flow-driven generator. The experimental results illustrate that the proposed method can achieve superior rate-distortion performance and outperform the state-of-the-art conventional video codec Versatile Video Coding (VVC) on scene dynamics sequences. The project page can be found at https://github.com/xyzysz/GNVDC.
• Abstract（参考訳）: 本稿では,生成ビデオ圧縮のための映像コンテンツではなく,動きパターンから生成先行を学習することを提案する。 前者は風に揺れる木や海に浮かぶボートなど、一般的な場面における小さな動きのダイナミクスから派生したものである。 このようなコンパクトな動きを生かして、様々なシーンコンテンツのための超低ビットレート通信と高品質な再構成を実現するために、新しい生成シーンダイナミックス圧縮フレームワークを構築した。 エンコーダ側では、動き先行は密度とスパースな方法でコンパクトな表現として特徴づけられる。 デコーダ側では、デコーダは拡散ベースのフロー駆動ジェネレータを介してシーンダイナミクス再構築のための軌道ヒントとして機能する。 実験結果から,提案手法はより高速な速度歪み性能を実現し,シーン動的シーケンス上での従来のビデオコーデック Versatile Video Coding (VVC) よりも優れることが示された。 プロジェクトページはhttps://github.com/xyzysz/GNVDCで見ることができる。

関連論文リスト

• Generative Human Video Compression with Multi-granularity Temporal Trajectory Factorization [13.341123726068652]
  本稿では,人為的ビデオ圧縮のための多粒度時間軌道因子化フレームワークを提案する。 実験結果から,提案手法は最新の生成モデルと最先端のビデオ符号化標準であるVersatile Video Codingより優れていた。
  論文  参考訳（メタデータ） (2024-10-14T05:34:32Z)
• VDG: Vision-Only Dynamic Gaussian for Driving Simulation [112.6139608504842]
  ポーズフリーな動的ガウス法(VDG)に自己教師付きVOを導入する。 VDGはRGB画像入力のみで動作可能で、ポーズフリーのダイナミックビュー合成法に比べて高速で広いシーンで動的シーンを構築することができる。 その結果,現状の動的ビュー合成法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2024-06-26T09:29:21Z)
• VMC: Video Motion Customization using Temporal Attention Adaption for Text-to-Video Diffusion Models [58.93124686141781]
  Video Motion Customization (VMC) はビデオ拡散モデルに時間的注意層を適応させる新しいワンショットチューニング手法である。 本研究では, 連続するフレーム間の残留ベクトルを運動基準として用いた新しい運動蒸留法を提案する。 実世界のさまざまな動きや状況にまたがる最先端のビデオ生成モデルに対して,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-12-01T06:50:11Z)
• MoVideo: Motion-Aware Video Generation with Diffusion Models [97.03352319694795]
  本稿では,映像深度と光フローの2つの側面から動きを考慮に入れたモーションアウェア・ジェネレーション(MoVideo)フレームワークを提案する。 MoVideoは、テキスト・トゥ・ビデオと画像・トゥ・ビデオ生成の両方で最先端の結果を達成し、期待できる即時一貫性、フレームの整合性、視覚的品質を示す。
  論文  参考訳（メタデータ） (2023-11-19T13:36:03Z)
• StyleInV: A Temporal Style Modulated Inversion Network for Unconditional Video Generation [73.54398908446906]
  本稿では,GANのための学習型反転ネットワークを用いた新しいモーションジェネレータの設計を提案する。 本手法は,既訓練のStyleGANジェネレータとエンコーダをペアにした場合に,簡単な微調整でスタイル転送をサポートする。
  論文  参考訳（メタデータ） (2023-08-31T17:59:33Z)
• VNVC: A Versatile Neural Video Coding Framework for Efficient Human-Machine Vision [59.632286735304156]
  コード化された表現をピクセルに復号することなく直接拡張・解析することがより効率的である。 再構成と直接拡張/分析の両方をサポートするために,コンパクト表現の学習を目標とする汎用型ニューラルビデオ符号化(VNVC)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-19T03:04:57Z)
• LaMD: Latent Motion Diffusion for Video Generation [69.4111397077229]
  LaMDフレームワークは、モーション分解されたビデオオートエンコーダと拡散に基づくモーションジェネレータで構成される。 その結果、LaMDはダイナミックスから高度に制御可能な動きに至るまで、幅広い動きを持つ高品質なビデオを生成することがわかった。
  論文  参考訳（メタデータ） (2023-04-23T10:32:32Z)
• Scene Matters: Model-based Deep Video Compression [13.329074811293292]
  本稿では,シーンを映像シーケンスの基本単位とみなすモデルベースビデオ圧縮(MVC)フレームワークを提案する。 提案したMVCは,1シーンでビデオシーケンス全体の新しい強度変化を直接モデル化し,冗長性を低減せず,非冗長表現を求める。 提案手法は,最新のビデオ標準H.266に比べて最大20%の削減を実現し,既存のビデオ符号化方式よりもデコーディングの効率がよい。
  論文  参考訳（メタデータ） (2023-03-08T13:15:19Z)
• MotionVideoGAN: A Novel Video Generator Based on the Motion Space Learned from Image Pairs [16.964371778504297]
  我々は、事前訓練された画像ペア生成器によって学習された動き空間に基づいて、動画を合成する新しいビデオジェネレータであるMotionVideoGANを紹介する。 モーションコードは、編集された画像が同じ内容を共有するため、モーション空間内の画像を編集するのに役立ちます。 提案手法は,未条件のビデオ生成評価に使用される最も複雑なビデオデータセットであるUCF101に対して,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-03-06T05:52:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。