論文の概要: Rethinking Video Storage for AI Training: Breaking Cross-Frame Dependencies for Efficient Random Access
- arxiv url: http://arxiv.org/abs/2610.33079v1
- Date: Wed, 21 Oct 2026 09:19:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.24072
- Title: Rethinking Video Storage for AI Training: Breaking Cross-Frame Dependencies for Efficient Random Access
- Title（参考訳）: AIトレーニングのためのビデオストレージの再考:効率的なランダムアクセスのためのクロスフレーム依存を破る
- Abstract要約: 大規模なAIトレーニングは、ランダムな時間的サンプリングパターンを持つ巨大なビデオデータセットにますます依存している。
既存のビデオストレージパラダイムは逐次再生に最適化されており、圧縮効率を最大化するためにフレーム間参照構造を用いる。
本稿では,非関連フレームの逐次再構成と,サンプリング対象の参照チェーンの再構築という,デコード増幅の源泉を同定する。
- 参考スコア（独自算出の注目度）: 50.93138320625733
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large-scale AI training increasingly relies on massive video datasets with random temporal sampling patterns. However, existing video storage paradigms are optimized for sequential playback and employ sophisticated inter-frame reference structures to maximize compression efficiency. When applied to the random-sampling workloads of AI training, these paradigms face substantial decoding-efficiency bottlenecks. Workarounds such as independent JPEG frames and short groups of pictures (GOPs) reduce decoding work at the cost of larger storage and transfer volumes. In this paper, we identify two sources of decode amplification: sequential reconstruction of unrelated frames and reconstruction of the reference chains required by sampled targets. We address both sources by co-designing the decoding schedule and video reference structure. Dependency-aware sparse decoding reconstructs only requested frames and their required references, skipping unrelated reconstruction without transcoding the source videos. Optional offline Dependency-Decoupled Random Access (DDRA) encoding further reduces reference reconstruction by restricting each interior frame to two bounding intra-coded anchors. Together, sparse decoding and DDRA retain inter-frame prediction while bounding reconstruction to at most three frames per requested target, independent of the intra period. Experiments on a large-scale robotics corpus show that, at comparable reconstruction quality, our method achieves $1.45\times$ the loading throughput of LeRobot v3 with 58.7% less media payload.
- Abstract（参考訳）: 大規模なAIトレーニングは、ランダムな時間的サンプリングパターンを持つ巨大なビデオデータセットにますます依存している。
しかし、既存のビデオストレージパラダイムは逐次再生に最適化されており、圧縮効率を最大化するためにフレーム間参照構造を使用している。
AIトレーニングのランダムサンプリングワークロードに適用すると、これらのパラダイムはデコーディングと効率のボトルネックに直面する。
独立したJPEGフレームやショートグループ・オブ・ピクチャ(GOP)のような回避策は、より大きなストレージと転送ボリュームのコストでデコード作業を減らす。
本稿では,非関連フレームの逐次再構成と,サンプリング対象の参照チェーンの再構築という,デコード増幅の源泉を同定する。
我々は、デコードスケジュールとビデオ参照構造を共同設計することで、両方のソースに対処する。
依存関係を意識したスパース復号は、要求されたフレームと必要な参照のみを再構成し、ソースビデオを変換することなく、無関係な再構成をスキップする。
DDRA(Optional offline Dependency-Decoupled Random Access)は、各内部フレームを2つの有界符号付きアンカーに制限することにより、参照再構成をさらに削減する。
スパースデコーディングとDDRAは共にフレーム間予測を維持し、要求されたターゲット毎に少なくとも3つのフレームにリビルドする。
大規模ロボティクスコーパスの実験では、再現性に匹敵する品質で、LeRobot v3のロードスループットを58.7%低減した1.45\timesを達成している。
関連論文リスト
- ZeroGVC: Zero-Shot Generative Video Compression with Autoregressive Diffusion Priors [52.50325804778549]
我々はゼロショット生成ビデオ圧縮フレームワークZeroGVCを提案する。
ZeroGVCは、画像群(GOP)の最初のフレームを符号化し、Codebook-Guided Autoregressive Latent Compressionを通じてその後のPフレームを表現する。
標準ビデオ圧縮ベンチマークの実験では、ZeroGVCは、追加のトレーニングを伴わずに、超低速度での知覚的再構成品質が優れたことを実証している。
論文 参考訳（メタデータ） (2026-06-21T07:46:14Z) - Generation Is Compression: Zero-Shot Video Coding via Stochastic Rectified Flow [1.8898767128464697]
emphGenerative Video Codebook Codec (GVCC)は、事前訓練されたビデオ生成モデルをそれ自体に変換するゼロショットフレームワークである。
この統合されたバックボーン上に構築された3つの条件付け戦略 – emphImage-to-Video (I2V), emphText-to-Video (T2V), emphFirst-Last-Frame-to-Video (FLF2V) – をインスタンス化する。
論文 参考訳（メタデータ） (2026-03-27T16:33:20Z) - Autoregressive Video Autoencoder with Decoupled Temporal and Spatial Context [8.458436768725212]
ビデオオートエンコーダは、ビデオをコンパクトな潜在表現に圧縮して効率的な再構成を行う。
自動回帰ビデオオートエンコーダ(ARVAE)を提案する。
ARVAEは、非常に軽量なモデルと小規模のトレーニングデータにより、優れた再構築品質を実現する。
論文 参考訳（メタデータ） (2025-12-12T05:40:01Z) - FCA2: Frame Compression-Aware Autoencoder for Modular and Fast Compressed Video Super-Resolution [68.77813885751308]
最先端(SOTA)圧縮ビデオ超解像(CVSR)モデルは、長期の推論時間、複雑なトレーニングパイプライン、補助情報への依存など、永続的な課題に直面している。
ハイパースペクトル画像(HSI)とビデオデータの構造的および統計的類似性から着想を得た,効率的でスケーラブルなソリューションを提案する。
提案手法では,計算複雑性を低減し,推論を高速化し,フレーム間の時間情報の抽出を促進する圧縮駆動型次元減少戦略を導入する。
論文 参考訳（メタデータ） (2025-06-13T07:59:52Z) - Improved Video VAE for Latent Video Diffusion Model [55.818110540710215]
ビデオオートエンコーダ(VAE)は、ピクセルデータを低次元の潜在空間に圧縮することを目的としており、OpenAIのSoraで重要な役割を果たしている。
既存のVAEのほとんどは、時間空間圧縮のために3次元因果構造に事前訓練された画像VAEを注入する。
ビデオVAE(IV-VAE)をさらに改善するための新しいKTCアーキテクチャとGCConvモジュールを提案する。
論文 参考訳（メタデータ） (2024-11-10T12:43:38Z) - High-Efficiency Neural Video Compression via Hierarchical Predictive Learning [27.41398149573729]
強化されたDeep Hierarchical Video Compression(DHVC 2.0)は、優れた圧縮性能と目覚ましい複雑さの効率を導入する。
階層的な予測符号化を使用して、各ビデオフレームをマルチスケール表現に変換する。
トランスミッションフレンドリーなプログレッシブデコーディングをサポートしており、パケットロスの存在下では特にネットワーク化されたビデオアプリケーションに有利である。
論文 参考訳（メタデータ） (2024-10-03T15:40:58Z) - A Codec Information Assisted Framework for Efficient Compressed Video
Super-Resolution [15.690562510147766]
リカレントニューラルネットワークアーキテクチャを用いたビデオ超解法(VSR)は、長距離時間依存性の効率的なモデリングのため、有望なソリューションである。
圧縮ビデオの繰り返しVSRモデルの高速化と高速化を目的としたコーデック情報支援フレームワーク(CIAF)を提案する。
論文 参考訳（メタデータ） (2022-10-15T08:48:29Z) - Recurrent Video Restoration Transformer with Guided Deformable Attention [116.1684355529431]
本稿では,グローバルなリカレントフレームワーク内で,隣接するフレームを並列に処理するRVRTを提案する。
RVRTは、バランスの取れたモデルサイズ、メモリとランタイムをテストするベンチマークデータセット上で、最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2022-06-05T10:36:09Z) - VRT: A Video Restoration Transformer [126.79589717404863]
ビデオ復元(例:ビデオ超解像度)は、高品質のフレームを低品質のフレームから復元することを目的としている。
並列フレーム予測と長距離時間依存性モデリング機能を備えたビデオ再生変換器(VRT)を提案する。
論文 参考訳（メタデータ） (2022-01-28T17:54:43Z) - Deep Video Coding with Dual-Path Generative Adversarial Network [39.19042551896408]
本稿では,DGVC(Double-path Generative Adversarial Network-based Video)という,効率的なコーデックを提案する。
我々のDGVCは、PSNR/MS-SSIMで平均ビット/ピクセル(bpp)を39.39%/54.92%削減する。
論文 参考訳（メタデータ） (2021-11-29T11:39:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。