論文の概要: VideoCompressa: Data-Efficient Video Understanding via Joint Temporal Compression and Spatial Reconstruction

• arxiv url: http://arxiv.org/abs/2511.18831v1
• Date: Mon, 24 Nov 2025 07:07:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-25 18:34:25.070541
• Title: VideoCompressa: Data-Efficient Video Understanding via Joint Temporal Compression and Spatial Reconstruction
• Title（参考訳）: VideoCompressa: 共同時間圧縮と空間再構成によるデータ効率の良いビデオ理解
• Authors: Shaobo Wang, Tianle Niu, Runkang Yang, Deshan Liu, Xu He, Zichen Wen, Conghui He, Xuming Hu, Linfeng Zhang,
• Abstract要約: ビデオ理解モデルは、大規模データセットの禁止ストレージと計算コストによって、ますます制限されている。 VideoCompressaはビデオデータ合成のための新しいフレームワークで、動的潜在圧縮として問題を再構成する。
• 参考スコア（独自算出の注目度）: 55.66673587952058
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The scalability of video understanding models is increasingly limited by the prohibitive storage and computational costs of large-scale video datasets. While data synthesis has improved data efficiency in the image domain, its extension to video remains challenging due to pervasive temporal redundancy and complex spatiotemporal dynamics. In this work, we uncover a critical insight: the primary source of inefficiency in video datasets is not inter-sample redundancy, but intra-sample frame-level redundancy. To leverage this insight, we introduce VideoCompressa, a novel framework for video data synthesis that reframes the problem as dynamic latent compression. Specifically, VideoCompressa jointly optimizes a differentiable keyframe selector-implemented as a lightweight ConvNet with Gumbel-Softmax sampling-to identify the most informative frames, and a pretrained, frozen Variational Autoencoder (VAE) to compress these frames into compact, semantically rich latent codes. These latent representations are then fed into a compression network, enabling end-to-end backpropagation. Crucially, the keyframe selector and synthetic latent codes are co-optimized to maximize retention of task-relevant information. Experiments show that our method achieves unprecedented data efficiency: on UCF101 with ConvNets, VideoCompressa surpasses full-data training by 2.34\% points using only 0.13\% of the original data, with over 5800x speedup compared to traditional synthesis method. Moreover, when fine-tuning Qwen2.5-7B-VL on HMDB51, VideoCompressa matches full-data performance using just 0.41\% of the training data-outperforming zero-shot baseline by 10.61\%.
• Abstract（参考訳）: ビデオ理解モデルのスケーラビリティは、大規模ビデオデータセットのストレージと計算コストによってますます制限されている。 データ合成は画像領域におけるデータ効率を向上させたが、広汎な時間的冗長性と複雑な時空間ダイナミクスのため、ビデオへの拡張は依然として困難である。 ビデオデータセットの非効率性の主な原因は、サンプル間の冗長性ではなく、サンプル内のフレームレベルの冗長性である。 この知見を活用するために,ビデオデータ合成のための新しいフレームワークであるVideoCompressaを紹介した。 具体的には、VideoCompressaは軽量なConvNetとして実装されたキーフレームセレクタをGumbel-Softmaxサンプリングで最適化し、最も情報性の高いフレームを識別し、事前訓練された冷凍変分オートエンコーダ(VAE)を使用してこれらのフレームをコンパクトで意味的にリッチな潜在コードに圧縮する。 これらの潜在表現は圧縮ネットワークに送られ、エンドツーエンドのバックプロパゲーションを可能にする。 重要なことに、キーフレームセレクタと合成潜時符号は、タスク関連情報の保持を最大化するために共最適化される。 実験の結果,UCF101 with ConvNetsでは,従来の合成法に比べて5800倍以上の速度で,従来の0.13倍の精度でフルデータトレーニングを2.34倍のポイントで上回っていることがわかった。 さらに、HMDB51上でQwen2.5-7B-VLを微調整すると、VideoCompressaはトレーニングデータ出力ゼロショットベースラインの0.11倍の差でフルデータのパフォーマンスを10.61倍に向上させる。

関連論文リスト

• Large Motion Video Autoencoding with Cross-modal Video VAE [52.13379965800485]
  ビデオ可変オートエンコーダ(VAE)は、ビデオ冗長性を低減し、効率的なビデオ生成を容易にするために不可欠である。 既存のビデオVAEは時間圧縮に対処し始めているが、しばしば再建性能が不十分である。 本稿では,高忠実度ビデオエンコーディングが可能な,新規で強力なビデオオートエンコーダを提案する。
  論文  参考訳（メタデータ） (2024-12-23T18:58:24Z)
• Improved Video VAE for Latent Video Diffusion Model [55.818110540710215]
  ビデオオートエンコーダ(VAE)は、ピクセルデータを低次元の潜在空間に圧縮することを目的としており、OpenAIのSoraで重要な役割を果たしている。 既存のVAEのほとんどは、時間空間圧縮のために3次元因果構造に事前訓練された画像VAEを注入する。 ビデオVAE(IV-VAE)をさらに改善するための新しいKTCアーキテクチャとGCConvモジュールを提案する。
  論文  参考訳（メタデータ） (2024-11-10T12:43:38Z)
• High-Efficiency Neural Video Compression via Hierarchical Predictive Learning [27.41398149573729]
  強化されたDeep Hierarchical Video Compression(DHVC 2.0)は、優れた圧縮性能と目覚ましい複雑さの効率を導入する。 階層的な予測符号化を使用して、各ビデオフレームをマルチスケール表現に変換する。 トランスミッションフレンドリーなプログレッシブデコーディングをサポートしており、パケットロスの存在下では特にネットワーク化されたビデオアプリケーションに有利である。
  論文  参考訳（メタデータ） (2024-10-03T15:40:58Z)
• Accelerating Learned Video Compression via Low-Resolution Representation Learning [18.399027308582596]
  低解像度表現学習に焦点を当てた学習ビデオ圧縮のための効率最適化フレームワークを提案する。 提案手法は,H.266参照ソフトウェアVTMの低遅延P構成と同等の性能を実現する。
  論文  参考訳（メタデータ） (2024-07-23T12:02:57Z)
• Differentiable Resolution Compression and Alignment for Efficient Video Classification and Retrieval [16.497758750494537]
  本稿では,高解像度圧縮・アライメント機構を備えた効率的な映像表現ネットワークを提案する。 我々は、相性および非相性フレーム特徴を符号化するために、微分可能なコンテキスト対応圧縮モジュールを利用する。 我々は,異なる解像度のフレーム特徴間のグローバル時間相関を捉えるために,新しい解像度変換器層を導入する。
  論文  参考訳（メタデータ） (2023-09-15T05:31:53Z)
• Fast-Vid2Vid: Spatial-Temporal Compression for Video-to-Video Synthesis [40.249030338644225]
  映像合成 (Vid2Vid) は, セマンティックマップのシーケンスから写真リアルな映像を生成することで, 顕著な成果を上げている。 Fast-Vid2Vidは20 FPSのリアルタイムパフォーマンスを実現し、1つのV100 GPUで約8倍の計算コストを節約する。
  論文  参考訳（メタデータ） (2022-07-11T17:57:57Z)
• Leveraging Bitstream Metadata for Fast, Accurate, Generalized Compressed Video Quality Enhancement [74.1052624663082]
  圧縮ビデオの細部を復元する深層学習アーキテクチャを開発した。 これにより,従来の圧縮補正法と比較して復元精度が向上することを示す。 我々は、ビットストリームで容易に利用できる量子化データに対して、我々のモデルを条件付けする。
  論文  参考訳（メタデータ） (2022-01-31T18:56:04Z)
• Conditional Entropy Coding for Efficient Video Compression [82.35389813794372]
  本稿では,フレーム間の条件エントロピーをモデル化することのみに焦点を当てた,非常にシンプルで効率的なビデオ圧縮フレームワークを提案する。 まず、画像遅延符号間のエントロピーをモデル化する単純なアーキテクチャが、他のニューラルビデオ圧縮やビデオコーデックと同等の競争力を持つことを示す。 次に、このアーキテクチャの上に新しい内部学習拡張を提案し、復号速度を抑えることなく10%の節約を実現した。
  論文  参考訳（メタデータ） (2020-08-20T20:01:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。