論文の概要: Learning from Next-Frame Prediction: Towards Unified and Scalable Visual Representation Learning
- arxiv url: http://arxiv.org/abs/2610.30724v1
- Date: Thu, 22 Oct 2026 04:46:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.213817
- Title: Learning from Next-Frame Prediction: Towards Unified and Scalable Visual Representation Learning
- Title（参考訳）: 次世代の予測から学ぶ:統一的でスケーラブルな視覚表現学習を目指して
- Abstract要約: 本稿では,組込み空間における次フレーム予測に基づく自己教師型視覚前訓練フレームワークVANEを紹介する。
因果エンコーダは、次のフレーム全体の表現を推測する状態予測器に対する過去の観測を要約する。
VANEはモデルとデータのスケーリングを改善し、ほとんどの予測、認識、高密度知覚ベンチマークでSOTAを達成する。
- 参考スコア（独自算出の注目度）: 42.7271539385427
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video provides a natural source of supervision: what happens next serves as a learning signal for visual world modeling. Yet masked video pretraining focuses on recovering missing content from surrounding context rather than predicting the future from the past. Autoregressive methods instead predict forward one token at a time, but have yet to match joint-embedding methods in representation quality. This gap motivates us to revisit the granularity and space of future prediction. In this work, we introduce VANE, a self-supervised visual pretraining framework built on next-frame prediction in embedding space. A causal encoder summarizes past observations for a state predictor that infers the representation of the entire next frame, making temporal evolution the primary learning signal. This prediction is carried out in a fixed embedding space provided by a frozen semantic tokenizer, emphasizing scene content and structure. To retain fine-grained spatial detail alongside semantic content, a lightweight auxiliary generative decoder reconstructs future-frame patches conditioned on the predicted representations. To unify visual modeling across images and videos, we construct a local-to-global crop sequence for still images, allowing the same encoder to predict newly revealed regions from earlier crops under the same objective. Experiments show that VANE improves with model and data scaling, achieving SOTA on most anticipation, recognition, and dense perception benchmarks among unified encoders. Especially on EPIC-KITCHENS-100 action anticipation, it surpasses V-JEPA 2.1 by 7.1 points in mean-class recall@5. These results demonstrate that next-frame prediction in embedding space is effective and scalable for visual world modeling.
- Abstract（参考訳）: 次に何が起こるかは、視覚世界モデリングの学習信号として役立ちます。
しかし、マスク付きビデオ事前トレーニングは、過去から未来を予測するのではなく、周囲のコンテキストから行方不明のコンテンツを回復することに焦点を当てている。
自己回帰的手法は1回に1つのトークンを前方に予測するが、表現品質における共同埋め込み手法とはまだ一致していない。
このギャップは、将来の予測の粒度と空間を再考する動機となります。
本研究では,組込み空間における次フレーム予測に基づく自己教師型視覚事前学習フレームワークVANEを紹介する。
因果エンコーダは、次のフレーム全体の表現を推論する状態予測器に対する過去の観測を要約し、時間的進化を一次学習信号にする。
この予測は、シーンの内容と構造を強調する凍結セマンティック・トークンーザによって提供される固定埋め込み空間で実行される。
軽量な補助生成復号器は、予測された表現に照らされた将来のフレームパッチを再構成する。
画像やビデオ間での視覚的モデリングを統一するために,静止画像の局所的・言語的クロップシーケンスを構築し,同じエンコーダを用いて,以前のクロップから新たに明らかになった領域を同じ目的に予測する。
実験により、VANEはモデルとデータスケーリングにより改善され、ほとんどの予測、認識、および統合エンコーダ間の密度知覚ベンチマークにおいてSOTAを達成する。
特にEPIC-KITCHENS-100のアクション予測では、平均クラスのリコール@5でV-JEPA 2.1を7.1ポイント上回る。
これらの結果は、埋め込み空間における次のフレーム予測が視覚世界モデリングに効果的でスケーラブルであることを示している。
関連論文リスト
- ALPS: Visual State Encoders for World Models [54.01864814166769]
プリトレーニングされた視覚状態エンコーダであるALPSを導入し、パッチトークンのセットで3つすべてを統一する。
静止画像とテキストのみを用いて, 言語, 再構成, 空間的対応目的を用いて, ViT-B/16をスクラッチから事前訓練する。
15の公開エンコーダで統一された評価では、ALPSは最下位の集合LIBERO状態プローブ誤差を達成する。
論文 参考訳（メタデータ） (2026-10-21T17:57:11Z) - Predict, Then Retrieve: Cross-Instance Future-State Retrieval from Video Prefixes [39.17422574355306]
本稿では、モデルが短いビデオプレフィックスと、オブジェクトの将来の状態に関する時間的質問を観察するタスクである予測状態検索(PSR)を紹介する。
PSRは予測と、複数の時間的地平線を横断するクロスインスタンス検索を組み合わせる。
また,凍結エンコーダを用いた軽量レトリバーLFTRを提案する。
論文 参考訳（メタデータ） (2026-08-05T04:12:00Z) - Representations Before Pixels: Semantics-Guided Hierarchical Video Prediction [12.661995278049764]
本稿では,階層型ビデオ予測フレームワークRe2Pixを紹介する。
予測は意味表現予測と表現誘導視覚合成の2つの段階に分けられる。
重要な課題は、トレーニング中に利用できる地道表現と推論で使用される予測表現との間の列車テストのミスマッチから生じる。
論文 参考訳（メタデータ） (2026-04-13T16:42:46Z) - FRAME: Pre-Training Video Feature Representations via Anticipation and Memory [55.046881477209695]
FRAMEは、高密度ビデオ理解に適した自己監督型ビデオフレームエンコーダである。
同社は、過去と現在のRGBフレームから現在と将来のDINOパッチ機能を予測することを学ぶ。
画像エンコーダや既存の自己監督型ビデオモデルよりも一貫して優れています。
論文 参考訳（メタデータ） (2025-06-05T19:44:47Z) - Predicting Long-horizon Futures by Conditioning on Geometry and Time [49.86180975196375]
我々は,過去を前提とした将来のセンサ観測の課題を探求する。
マルチモーダリティを扱える画像拡散モデルの大規模事前学習を活用する。
我々は、屋内と屋外のシーンにまたがる多様なビデオのセットについて、ビデオ予測のためのベンチマークを作成する。
論文 参考訳（メタデータ） (2024-04-17T16:56:31Z) - Video Prediction at Multiple Scales with Hierarchical Recurrent Networks [24.536256844130996]
本稿では,異なるレベルの粒度の将来の結果を同時に予測できる新しい映像予測モデルを提案する。
空間的および時間的ダウンサンプリングを組み合わせることで、MSPredは長い時間的地平線上での抽象表現を効率的に予測することができる。
実験では,提案モデルが将来の映像フレームだけでなく,様々なシナリオにおける他の表現を正確に予測できることを実証した。
論文 参考訳（メタデータ） (2022-03-17T13:08:28Z) - Semantic Prediction: Which One Should Come First, Recognition or
Prediction? [21.466783934830925]
下流の主なタスクの1つは、シーンのセマンティックな構成を解釈し、意思決定にそれを使用することである。
事前学習されたビデオ予測と事前学習された意味抽出モデルを考えると、同じ結果を得るための主な方法は2つある。
ビデオ予測モデルとしてLFDTN(Local Frequency Domain Transformer Network)と,合成データセットと実データセットのセマンティック抽出モデルとしてU-Netを用いて,これらの構成について検討する。
論文 参考訳（メタデータ） (2021-10-06T15:01:05Z) - Local Frequency Domain Transformer Networks for Video Prediction [24.126513851779936]
ビデオ予測は、現実世界の視覚的変化を予想するだけでなく、何よりも、教師なしの学習規則として登場した。
本稿では,解釈性を維持しつつ,これらのタスクを別々に実行することのできる,完全微分可能なビルディングブロックを提案する。
論文 参考訳（メタデータ） (2021-05-10T19:48:42Z) - Learning Semantic-Aware Dynamics for Video Prediction [68.04359321855702]
非閉塞を明示的にモデル化して,映像フレームを予測するためのアーキテクチャとトレーニング方式を提案する。
シーンの外観は、コ・ヴィジュアブル領域の予測された動きを用いて過去のフレームから歪められる。
論文 参考訳（メタデータ） (2021-04-20T05:00:24Z) - Revisiting Hierarchical Approach for Persistent Long-Term Video
Prediction [55.4498466252522]
従来の手法よりも桁違いに長い予測時間を持つビデオ予測の新しい標準を設定しました。
本手法は,まず意味構造列を推定し,その後,映像から映像への変換により,画素に翻訳することにより,将来的なフレームを予測する。
本手法は,自動車運転と人間のダンスに関する3つの課題データに基づいて評価し,非常に長い時間にわたって複雑なシーン構造と動きを生成できることを実証した。
論文 参考訳（メタデータ） (2021-04-14T08:39:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。