論文の概要: Rethinking Video Autoencoders for Interactive World Models

• arxiv url: http://arxiv.org/abs/2610.30129v1
• Date: Wed, 21 Oct 2026 17:58:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 09:50:43.265942
• Title: Rethinking Video Autoencoders for Interactive World Models
• Title（参考訳）: 対話型世界モデルのためのビデオオートエンコーダの再考
• Abstract要約: ビデオワールドモデルは、過去のフレームとアクションから将来のフレームを予測する。 私たちは、世界モデルがどのように、どこで、どのくらい圧縮されるべきなのかを尋ねます。 CADREは複数時間圧縮にまたがる因果表現オートエンコーダのオープンファミリーである。
• 参考スコア（独自算出の注目度）: 33.33324854635299
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video world models predict future frames from past frames and actions. They serve as simulators in which agents train, plan or are evaluated, and that humans can control interactively. They generate in the latent space of a video autoencoder, whose compression sets their cost per frame and how long each action waits to take effect. Yet world models often reuse the autoencoders of text-to-video generators, built for offline generation with no agent waiting and, without their training data and code, not retrainable at another compression. We therefore ask how, where and how much a world model should compress. We build CADRE, an open family of causal diffusion representation autoencoders spanning multiple spatio-temporal compressions. Its members differ only in a small bottleneck on frozen features and share a diffusion decoder self-distilled to one or a few steps. We train the same world model on each autoencoder in two domains, manipulation and navigation, with two environments each. CADRE forms most of the latency-quality frontier, especially with a moving camera. Our study also leads to four findings. At strong compression, a diffusion decoder is sharper than perceptual regression. In robot manipulation, temporal compression is more effective in the autoencoder than in the world model. Manipulation and navigation call for opposite compressions: temporal compression costs little when the camera is still, and spatial compression when it moves. Surprisingly, with a still camera, coarser spatial tokens hurt motion far more than image quality. Code, models and a live demo are at https://kyutai.org/blog/2026-10-21-cadre
• Abstract（参考訳）: ビデオワールドモデルは、過去のフレームとアクションから将来のフレームを予測する。 エージェントが訓練、計画、評価を行い、人間が対話的に制御できるシミュレーターとして機能する。 ビデオオートエンコーダの潜時空間で生成され、圧縮によってフレーム当たりのコストと各アクションが有効になるまでの期間が設定される。 しかし、ワールドモデルは、エージェントを待たずにオフライン世代用に構築され、トレーニングデータやコードなしで、他の圧縮では再トレーニングできない、テキスト・ツー・ビデオジェネレータのオートエンコーダをしばしば再利用する。 したがって、世界モデルがどのように、どこで、どのくらい圧縮すべきかを問う。 複数の時空間圧縮にまたがる因果拡散表現オートエンコーダのオープンファミリーCADREを構築する。 メンバーは凍結した特徴の小さなボトルネックの中でのみ異なり、拡散デコーダを1つまたは数ステップで自己蒸留する。 私たちは、各オートエンコーダで、操作とナビゲーションの2つの領域で、同じ世界モデルをトレーニングします。 CADREは、特に動くカメラで、レイテンシークオリティのフロンティアの大部分を形成する。 私たちの研究は4つの発見につながります。 強い圧縮では、拡散復号器は知覚回帰よりもシャープである。 ロボット操作においては、時間圧縮は世界モデルよりもオートエンコーダにおいて効果的である。 操作とナビゲーションは反対の圧縮を要求する: 時間圧縮は、カメラがまだあるときはほとんどコストがかかりません。 驚くべきことに、静止カメラで空間トークンが粗いことで、画像のクオリティよりもはるかに多くの動きが損なわれます。 コード、モデル、ライブデモはhttps://kyutai.org/blog/2026-10-21-cadreにある。

関連論文リスト

• End-to-End Context Compression at Scale [81.70601323130997]
  長期コンテキスト言語モデル推論は、KVキャッシュがコンテキスト長とともに増加するにつれて、メモリによってボトルネックとなる。 KVキャッシュを圧縮する最近の技術は、モデル品質を著しく低下させるか、あるいはかなりの時間を要するか、1つの長いプロンプトを圧縮するために計算する。 既存のアプローチは、精度-効率のフロンティア上のKVキャッシュ圧縮と競合しない。
  論文  参考訳（メタデータ） (2026-06-08T15:43:16Z)
• Generative Latent Video Compression [26.99743586846841]
  本稿では,知覚的ビデオ圧縮の有効なフレームワークであるジェネレーティブ・ラテント・ビデオ圧縮(GLVC)を提案する。 GLVCは、ビデオフレームを知覚的に整列された潜在空間に投影するために、事前訓練された連続トークンを使用する。 GLVC は DISTS と LPIPS の指標で最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2025-10-11T03:28:49Z)
• Large Motion Video Autoencoding with Cross-modal Video VAE [52.13379965800485]
  ビデオ可変オートエンコーダ(VAE)は、ビデオ冗長性を低減し、効率的なビデオ生成を容易にするために不可欠である。 既存のビデオVAEは時間圧縮に対処し始めているが、しばしば再建性能が不十分である。 本稿では,高忠実度ビデオエンコーディングが可能な,新規で強力なビデオオートエンコーダを提案する。
  論文  参考訳（メタデータ） (2024-12-23T18:58:24Z)
• EVC: Towards Real-Time Neural Image Compression with Mask Decay [29.76392801329279]
  ニューラル画像圧縮は、RD性能のために最先端の伝統的なコーデック(H.266/VVC)を上回っている。 入力画像が768x512の30FPSで動作可能で,RD性能のVVCよりも優れた高効率単一モデル可変ビットレートコーデック(EVC)を提案する。
  論文  参考訳（メタデータ） (2023-02-10T06:02:29Z)
• Perceptual Learned Video Compression with Recurrent Conditional GAN [158.0726042755]
  本稿では, PVC (Perceptual Learned Video Compression) アプローチを提案する。 PLVCは低ビットレートで映像を知覚品質に圧縮することを学ぶ。 ユーザスタディでは、最新の学習ビデオ圧縮手法と比較して、PLVCの優れた知覚性能をさらに検証している。
  論文  参考訳（メタデータ） (2021-09-07T13:36:57Z)
• Conditional Entropy Coding for Efficient Video Compression [82.35389813794372]
  本稿では,フレーム間の条件エントロピーをモデル化することのみに焦点を当てた,非常にシンプルで効率的なビデオ圧縮フレームワークを提案する。 まず、画像遅延符号間のエントロピーをモデル化する単純なアーキテクチャが、他のニューラルビデオ圧縮やビデオコーデックと同等の競争力を持つことを示す。 次に、このアーキテクチャの上に新しい内部学習拡張を提案し、復号速度を抑えることなく10%の節約を実現した。
  論文  参考訳（メタデータ） (2020-08-20T20:01:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。