論文の概要: Predicting Long-horizon Futures by Conditioning on Geometry and Time

• arxiv url: http://arxiv.org/abs/2404.11554v1
• Date: Wed, 17 Apr 2024 16:56:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-18 13:06:14.631036
• Title: Predicting Long-horizon Futures by Conditioning on Geometry and Time
• Title（参考訳）: 幾何学的・時間的条件付けによる地平線の将来予測
• Authors: Tarasha Khurana, Deva Ramanan,
• Abstract要約: 我々は,過去を前提とした将来のセンサ観測の課題を探求する。 マルチモーダリティを扱える画像拡散モデルの大規模事前学習を活用する。 我々は、屋内と屋外のシーンにまたがる多様なビデオのセットについて、ビデオ予測のためのベンチマークを作成する。
• 参考スコア（独自算出の注目度）: 49.86180975196375
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Our work explores the task of generating future sensor observations conditioned on the past. We are motivated by `predictive coding' concepts from neuroscience as well as robotic applications such as self-driving vehicles. Predictive video modeling is challenging because the future may be multi-modal and learning at scale remains computationally expensive for video processing. To address both challenges, our key insight is to leverage the large-scale pretraining of image diffusion models which can handle multi-modality. We repurpose image models for video prediction by conditioning on new frame timestamps. Such models can be trained with videos of both static and dynamic scenes. To allow them to be trained with modestly-sized datasets, we introduce invariances by factoring out illumination and texture by forcing the model to predict (pseudo) depth, readily obtained for in-the-wild videos via off-the-shelf monocular depth networks. In fact, we show that simply modifying networks to predict grayscale pixels already improves the accuracy of video prediction. Given the extra controllability with timestamp conditioning, we propose sampling schedules that work better than the traditional autoregressive and hierarchical sampling strategies. Motivated by probabilistic metrics from the object forecasting literature, we create a benchmark for video prediction on a diverse set of videos spanning indoor and outdoor scenes and a large vocabulary of objects. Our experiments illustrate the effectiveness of learning to condition on timestamps, and show the importance of predicting the future with invariant modalities.
• Abstract（参考訳）: 本研究は,過去を前提とした将来のセンサ観測の課題を探求するものである。 私たちは、神経科学の‘予測的コーディング’の概念と、自動運転車のようなロボットアプリケーションによって動機付けられています。 予測ビデオモデリングは、未来はマルチモーダルであり、大規模学習はビデオ処理には計算コストがかかるため、難しい。 両課題に対処するためには,マルチモーダリティを扱える画像拡散モデルの大規模事前学習を活用することが重要である。 我々は、新しいフレームタイムスタンプを条件付けして、映像予測のための画像モデルを再利用する。 このようなモデルは、静的シーンと動的シーンの両方のビデオでトレーニングすることができる。 そこで本研究では,本モデルに対して,既設の単分子深度ネットワークを用いて,現場で得られる映像の深度(擬似)を予測するように強制することで,照明とテクスチャを分解し,不均一性を導入する。 実際、グレースケールのピクセルを予測するためにネットワークを変更するだけで、ビデオ予測の精度が向上していることが示されています。 タイムスタンプ条件付けによる余分な制御性を考慮して,従来の自己回帰的・階層的サンプリング戦略よりも優れたサンプリングスケジュールを提案する。 オブジェクト予測文献の確率的指標により、屋内および屋外のシーンにまたがる多様なビデオのセットと大きなオブジェクトの語彙に関するビデオ予測のベンチマークを作成する。 実験では, タイムスタンプ上での条件付き学習の有効性を実証し, 不変なモーダルで未来を予測することの重要性を示した。

関連論文リスト

• AID: Adapting Image2Video Diffusion Models for Instruction-guided Video Prediction [88.70116693750452]
  テキスト誘導ビデオ予測(TVP)は、命令に従って、初期フレームから将来のフレームの動きを予測する。 従来のTVP方式では, 安定拡散法を応用して大きなブレークスルーを達成している。 我々は、初期フレームとテキスト命令に基づいて、将来のビデオ状態を予測するためのMLLM(Multi-Modal Large Language Model)を導入する。
  論文  参考訳（メタデータ） (2024-06-10T17:02:08Z)
• STDiff: Spatio-temporal Diffusion for Continuous Stochastic Video Prediction [20.701792842768747]
  時間領域上に無限次元の潜伏変数を持つ新しい映像予測モデルを提案する。 我々のモデルは、時間的連続予測、すなわち教師なしの方法で、任意に高いフレームレートで予測することができる。
  論文  参考訳（メタデータ） (2023-12-11T16:12:43Z)
• HARP: Autoregressive Latent Video Prediction with High-Fidelity Image Generator [90.74663948713615]
  我々は,高忠実度未来のフレームを予測可能な自己回帰遅延映像予測モデルを訓練する。 既存のモデルに最小限の修正を加えて高解像度(256x256)ビデオを作成する。
  論文  参考訳（メタデータ） (2022-09-15T08:41:57Z)
• Video Prediction at Multiple Scales with Hierarchical Recurrent Networks [24.536256844130996]
  本稿では,異なるレベルの粒度の将来の結果を同時に予測できる新しい映像予測モデルを提案する。 空間的および時間的ダウンサンプリングを組み合わせることで、MSPredは長い時間的地平線上での抽象表現を効率的に予測することができる。 実験では,提案モデルが将来の映像フレームだけでなく,様々なシナリオにおける他の表現を正確に予測できることを実証した。
  論文  参考訳（メタデータ） (2022-03-17T13:08:28Z)
• Learning Multi-Object Dynamics with Compositional Neural Radiance Fields [63.424469458529906]
  本稿では,暗黙的オブジェクトエンコーダ,ニューラルレージアンスフィールド(NeRF),グラフニューラルネットワークに基づく画像観測から構成予測モデルを学習する手法を提案する。 NeRFは3D以前の強みから、シーンを表現するための一般的な選択肢となっている。 提案手法では,学習した潜時空間にRTを応用し,そのモデルと暗黙のオブジェクトエンコーダを用いて潜時空間を情報的かつ効率的にサンプリングする。
  論文  参考訳（メタデータ） (2022-02-24T01:31:29Z)
• FitVid: Overfitting in Pixel-Level Video Prediction [117.59339756506142]
  われわれはFitVidという新しいアーキテクチャを導入し、一般的なベンチマークに厳しいオーバーフィッティングを行えるようにした。 FitVidは、4つの異なるメトリクスで4つの異なるビデオ予測ベンチマークで現在の最先端モデルを上回っている。
  論文  参考訳（メタデータ） (2021-06-24T17:20:21Z)
• Greedy Hierarchical Variational Autoencoders for Large-Scale Video Prediction [79.23730812282093]
  本稿では,階層型オートエンコーダの各レベルを厳格に訓練することにより,高忠実度映像予測を学習するGreedy Hierarchical Variational Autoencoders(GHVAEs)を紹介する。 GHVAEは4つのビデオデータセットで予測性能が17～55%向上し、実際のロボットタスクで35～40%向上し、モジュールを追加するだけでパフォーマンスを単調に改善することができる。
  論文  参考訳（メタデータ） (2021-03-06T18:58:56Z)
• Clockwork Variational Autoencoders [33.17951971728784]
  我々は,潜伏列の階層を利用したビデオ予測モデルである clockwork vae (cw-vae) を紹介する。 4つの多様なビデオ予測データセット上で,階層的遅延と時間的抽象化の両方の利点を実証する。 長期映像予測のためのMinecraftベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-02-18T18:23:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。