論文の概要: DDLP: Unsupervised Object-Centric Video Prediction with Deep Dynamic Latent Particles

• arxiv url: http://arxiv.org/abs/2306.05957v2
• Date: Thu, 8 Feb 2024 14:54:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-09 19:34:37.932838
• Title: DDLP: Unsupervised Object-Centric Video Prediction with Deep Dynamic Latent Particles
• Title（参考訳）: DDLP:深部動的潜伏粒子を用いた教師なし物体中心映像予測
• Authors: Tal Daniel, Aviv Tamar
• Abstract要約: 本稿では,深部潜伏粒子表現に基づくオブジェクト中心のビデオ予測アルゴリズムを提案する。 提案手法は,いくつかの課題のあるデータセットに対して,最先端のオブジェクト中心のビデオ予測結果を生成する。
• 参考スコア（独自算出の注目度）: 29.349342719178306
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a new object-centric video prediction algorithm based on the deep latent particle (DLP) representation. In comparison to existing slot- or patch-based representations, DLPs model the scene using a set of keypoints with learned parameters for properties such as position and size, and are both efficient and interpretable. Our method, deep dynamic latent particles (DDLP), yields state-of-the-art object-centric video prediction results on several challenging datasets. The interpretable nature of DDLP allows us to perform ``what-if'' generation -- predict the consequence of changing properties of objects in the initial frames, and DLP's compact structure enables efficient diffusion-based unconditional video generation. Videos, code and pre-trained models are available: https://taldatech.github.io/ddlp-web
• Abstract（参考訳）: 本稿では,DLP(Deep Latent Particle)表現に基づくオブジェクト中心のビデオ予測アルゴリズムを提案する。 既存のスロットやパッチベースの表現と比較して、DLPは、位置やサイズなどの特性の学習パラメータを持つキーポイントのセットを使用してシーンをモデル化する。 提案手法であるdeep dynamic latent particles (ddlp) は,いくつかの難解なデータセットに対して最先端のオブジェクト中心ビデオ予測結果を生成する。 DDLPの解釈可能な性質により,初期フレームにおけるオブジェクトの特性変化の結果を予測する「What-if'」生成が可能となり,DLPのコンパクト構造は効率よく拡散ベースの非条件ビデオ生成を可能にする。 ビデオ、コード、事前訓練されたモデルが利用可能である。

関連論文リスト

• SIGMA:Sinkhorn-Guided Masked Video Modeling [69.31715194419091]
  SIGMA (Sinkhorn-guided Masked Video Modelling) は、新しいビデオ事前学習法である。 時空管の特徴を,限られた数の学習可能なクラスタに均等に分散する。 10個のデータセットによる実験結果から,より高性能で時間的,堅牢な映像表現を学習する上で,SIGMAの有効性が検証された。
  論文  参考訳（メタデータ） (2024-07-22T08:04:09Z)
• Spatio-Temporal Side Tuning Pre-trained Foundation Models for Video-based Pedestrian Attribute Recognition [58.79807861739438]
  既存の歩行者認識アルゴリズム(PAR)は主に静的画像に基づいて開発されている。 本稿では,時間的情報を完全に活用できるビデオフレームを用いて,人間の属性を理解することを提案する。
  論文  参考訳（メタデータ） (2024-04-27T14:43:32Z)
• Predicting Long-horizon Futures by Conditioning on Geometry and Time [49.86180975196375]
  我々は,過去を前提とした将来のセンサ観測の課題を探求する。 マルチモーダリティを扱える画像拡散モデルの大規模事前学習を活用する。 我々は、屋内と屋外のシーンにまたがる多様なビデオのセットについて、ビデオ予測のためのベンチマークを作成する。
  論文  参考訳（メタデータ） (2024-04-17T16:56:31Z)
• NVDS+: Towards Efficient and Versatile Neural Stabilizer for Video Depth Estimation [58.21817572577012]
  ビデオ深度推定は時間的に一貫した深度を推定することを目的としている。 プラグ・アンド・プレイ方式で様々な単一画像モデルから推定される不整合深さを安定化するNVDS+を導入する。 このデータセットには、200万フレーム以上の14,203本のビデオが含まれている。
  論文  参考訳（メタデータ） (2023-07-17T17:57:01Z)
• STDepthFormer: Predicting Spatio-temporal Depth from Video with a Self-supervised Transformer Model [0.0]
  ビデオ入力と空間的時間的注意ネットワークから,映像のフレーム列を同時に予測する自己教師型モデルを提案する。 提案モデルでは,物体形状やテクスチャなどの事前のシーン知識を,単一画像深度推定法に類似した手法で活用する。 マルチオブジェクト検出、セグメンテーション、トラッキングを含む複雑なモデルを必要とするのではなく、暗黙的にシーン内のオブジェクトの動きを予測することができる。
  論文  参考訳（メタデータ） (2023-03-02T12:22:51Z)
• Object-Centric Video Prediction via Decoupling of Object Dynamics and Interactions [27.112210225969733]
  本稿では,映像系列の構造を抽出し,オブジェクトのダイナミックスやインタラクションを視覚的観察からモデル化する,オブジェクト中心のビデオ予測タスクのための新しいフレームワークを提案する。 そこで本研究では,時間的ダイナミクスとオブジェクトの相互作用の処理を分離した2つのオブジェクト中心ビデオ予測器(OCVP)トランスフォーマモジュールを提案する。 実験では、OCVP予測器を用いたオブジェクト中心の予測フレームワークが、2つの異なるデータセットにおけるオブジェクト非依存のビデオ予測モデルより優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-23T08:29:26Z)
• Patch-based Object-centric Transformers for Efficient Video Generation [71.55412580325743]
  本稿では,新しい領域ベースビデオ生成アーキテクチャであるPatch-based Object-centric Video Transformer(POVT)を提案する。 圧縮ビデオの離散遅延空間上の自己回帰変換器を用いて、ビデオ予測における先行作業を構築した。 オブジェクト中心表現の圧縮性の向上により、より長い水平時間情報に対してオブジェクト情報のみにアクセスできるようにすることで、トレーニング効率を向上させることができる。
  論文  参考訳（メタデータ） (2022-06-08T16:29:59Z)
• Unsupervised Image Representation Learning with Deep Latent Particles [27.256381759225896]
  物体の位置を外見から切り離す視覚データの表現を提案する。 我々の手法はディープ潜時粒子 (DLP) と呼ばれ、低次元潜時粒子への視覚的入力を分解する。
  論文  参考訳（メタデータ） (2022-05-31T14:23:37Z)
• Objects are Different: Flexible Monocular 3D Object Detection [87.82253067302561]
  そこで本研究では,乱れたオブジェクトを明示的に分離し,オブジェクト深度推定のための複数のアプローチを適応的に組み合わせたモノクル3次元オブジェクト検出のためのフレキシブルなフレームワークを提案する。 実験の結果,本手法はkittiベンチマークテストセットにおいて,中等度レベルが27%,硬度が30%と,最先端法を27%上回った。
  論文  参考訳（メタデータ） (2021-04-06T07:01:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。