論文の概要: Octree-based Video Representation

• arxiv url: http://arxiv.org/abs/2609.33100v2
• Date: Sun, 04 Oct 2026 01:33:18 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-06 21:00:27.534172
• Title: Octree-based Video Representation
• Title（参考訳）: オクタリーによる映像表現
• Abstract要約: ビデオモデルは、時間と空間によって視覚的複雑さが著しく異なるにもかかわらず、一様格子を用いるのが一般的である。 ビデオにオクツリーを近似させるOctoVideoを導入し、細部がセルを受け取っている間、滑らかな領域が粗いままになるようにする。 ビデオ信号にすでに存在する冗長性を効果的に活用することにより、OctoVideoはビデオの効率的な表現を提供する。
• 参考スコア（独自算出の注目度）: 7.765990189057376
• License:
• Abstract: Video models commonly use uniform grids even though visual complexity varies substantially across space and time. We introduce OctVideo, which approximates a video clip with an octree. This hierarchy recursively partitions a spatio-temporal volume into eight subvolumes, so that smooth regions remain coarse while detailed regions receive finer cells. Each leaf stores local RGB values and spatio-temporal gradients, supplemented by a lightweight learned residual. For reconstruction, a Conv1D VAE maps the serialized cells to a regular latent grid and selectively refines details during decoding. Our VAE achieves 36.12 dB PSNR with 38.2M parameters and 189.4 GFLOPs per clip on Kinetics-400 (K400). It also generalizes zero-shot to the high-resolution Densely Annotated VIdeo Segmentation (DAVIS) 2016 dataset with reconstruction quality comparable to the best evaluated models. On both datasets, it requires the fewest model FLOPs and achieves the fastest encoding and decoding among the evaluated models. OctVideo also supports video understanding, achieving competitive recognition performance with few input tokens when trained from scratch. By exploiting the redundancy already present in video signals and efficiently processing sparse structures, OctVideo provides an efficient representation for video.
• Abstract（参考訳）: ビデオモデルは、空間や時間によって視覚的複雑さが著しく異なるにもかかわらず、一様格子を用いるのが一般的である。 ビデオクリップとオクツリーを近似したOctoVideoを紹介する。 この階層は時空間体積を8つのサブボリュームに再帰的に分割するので、詳細な領域がより微細な細胞を受け取る間、滑らかな領域は粗いままである。 各葉は局所的なRGB値と時空間勾配を記憶し、軽量の学習残差で補う。 再構成のために、Conv1D VAEはシリアライズされたセルを通常の潜在格子にマッピングし、復号時に詳細を選択的に洗練する。 我々のVAEは、K400(K400)で38.2Mパラメータと189.4GFLOPで36.12dBのPSNRを達成した。 ゼロショットを高解像度のDensely Annotated VIdeo Segmentation (DAVIS) 2016データセットに一般化する。 両方のデータセット上では、最少のモデルFLOPを必要とし、評価されたモデル間で最も高速なエンコーディングとデコードを実現する。 OctVideoはビデオ理解もサポートしており、スクラッチからトレーニングした時に少ない入力トークンで、競争力のある認識性能を達成する。 ビデオ信号にすでに存在する冗長性を活用し、スパース構造を効率的に処理することにより、OctoVideoはビデオの効率的な表現を提供する。

関連論文リスト

• VideoWeave: A Data-Centric Approach for Efficient Video Understanding [54.5804686337209]
  我々は、合成長文学習サンプルを構築して、データ効率を改善するためのシンプルで効果的な方法であるVideoWeaveを提案する。 VideoWeaveは、利用可能なビデオテキストペアを再編成して、固定計算内で時間的多様性を拡大する。 我々の結果は、アーキテクチャを変更するのではなく、トレーニングデータを再編成することで、ビデオ言語モデルをトレーニングするためのシンプルでスケーラブルなパスを提供できることを強調している。
  論文  参考訳（メタデータ） (2026-01-09T20:55:26Z)
• An LMM for Efficient Video Understanding via Reinforced Compression of Video Cubes [85.00111442236499]
  本稿では,非時間密度の動画をGumbel Softmax を用いて様々な立方体に分割する新しい知覚パラダイムを持つ LMM である textbfQuicksviewer を提案する。 言語バックボーンから3段階のプログレッシブステージを通じてモデルをトレーニングし、それぞれが知覚効率によって平均420s/1fpsの長大なビデオを組み込む。 トレーニング用ビデオテキストサンプルは0.8Mに過ぎず, 精度が最大8.72倍に向上した。
  論文  参考訳（メタデータ） (2025-04-21T17:57:21Z)
• Whats in a Video: Factorized Autoregressive Decoding for Online Dense Video Captioning [71.94122309290537]
  ビデオの高密度キャプションを生成するための,効率的なオンライン手法を提案する。 我々のモデルは、新しい自己回帰因子化復号化アーキテクチャを使用している。 提案手法は,オフライン手法とオンライン手法の両方と比較して優れた性能を示し,計算コストを20%削減する。
  論文  参考訳（メタデータ） (2024-11-22T02:46:44Z)
• xGen-VideoSyn-1: High-fidelity Text-to-Video Synthesis with Compressed Representations [120.52120919834988]
  xGen-SynVideo-1(xGen-SynVideo-1)は、テキスト記述からリアルなシーンを生成することができるテキスト・ツー・ビデオ(T2V)生成モデルである。 VidVAEはビデオデータを空間的にも時間的にも圧縮し、視覚トークンの長さを大幅に削減する。 DiTモデルは、空間的および時間的自己アテンション層を取り入れ、異なる時間枠とアスペクト比をまたいだ堅牢な一般化を可能にする。
  論文  参考訳（メタデータ） (2024-08-22T17:55:22Z)
• VideoGPT+: Integrating Image and Video Encoders for Enhanced Video Understanding [15.959757105308238]
  ビデオLMMは、視覚入力を処理するために、画像エンコーダまたはビデオエンコーダに依存しており、それぞれに独自の制限がある。 本稿では,映像エンコーダと映像エンコーダの相補的利点(大域的時間文脈モデリング)を組み合わせたビデオGPT+を紹介する。 本稿では,VCGBench,MVBench,Zero-shotなど,複数のビデオベンチマークのパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2024-06-13T17:59:59Z)
• FFNeRV: Flow-Guided Frame-Wise Neural Representations for Videos [5.958701846880935]
  ビデオ中のフレーム間の時間的冗長性を利用するために,フロー情報をフレームワイズ表現に組み込む新しい手法であるFFNeRVを提案する。 モデル圧縮技術により、FFNeRVは広く使われている標準ビデオコーデック(H.264とHEVC)より優れ、最先端のビデオ圧縮アルゴリズムと同等に動作する。
  論文  参考訳（メタデータ） (2022-12-23T12:51:42Z)
• Scalable Neural Video Representations with Learnable Positional Features [73.51591757726493]
  我々は,学習可能な位置特徴(NVP)を用いて,映像を潜時符号として効果的に再生するニューラル表現の訓練方法を示す。 一般的なUVGベンチマークにおけるNVPの優位性を実証し,先行技術と比較して,NVPは2倍の速度(5分以内)で走行するだけでなく,符号化品質も34.07rightarrow$34.57(PSNR測定値で測定)に上回っている。
  論文  参考訳（メタデータ） (2022-10-13T08:15:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。