論文の概要: Learn the Force We Can: Enabling Sparse Motion Control in Multi-Object Video Generation

• arxiv url: http://arxiv.org/abs/2306.03988v2
• Date: Sun, 14 Jan 2024 00:29:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-18 02:32:20.219418
• Title: Learn the Force We Can: Enabling Sparse Motion Control in Multi-Object Video Generation
• Title（参考訳）: フォースを学べる:マルチオブジェクトビデオ生成におけるスパースモーション制御の実現
• Authors: Aram Davtyan and Paolo Favaro
• Abstract要約: 単一のフレームとスパース動作入力からビデオを生成する教師なしの手法を提案する。 我々の訓練されたモデルは、目に見えない現実的なオブジェクト間相互作用を生成できる。 ヨダは、制御性と映像品質の両面において、先行するアートビデオ生成の状況と同等かそれ以上であることを示す。
• 参考スコア（独自算出の注目度）: 26.292052071093945
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a novel unsupervised method to autoregressively generate videos from a single frame and a sparse motion input. Our trained model can generate unseen realistic object-to-object interactions. Although our model has never been given the explicit segmentation and motion of each object in the scene during training, it is able to implicitly separate their dynamics and extents. Key components in our method are the randomized conditioning scheme, the encoding of the input motion control, and the randomized and sparse sampling to enable generalization to out of distribution but realistic correlations. Our model, which we call YODA, has therefore the ability to move objects without physically touching them. Through extensive qualitative and quantitative evaluations on several datasets, we show that YODA is on par with or better than state of the art video generation prior work in terms of both controllability and video quality.
• Abstract（参考訳）: 本研究では,単一のフレームとスパース動作入力から映像を自動回帰生成する新しい教師なし手法を提案する。 我々の訓練されたモデルは、目に見えない現実的なオブジェクト間相互作用を生成できる。 私たちのモデルは、トレーニング中にシーン内の各オブジェクトの明示的なセグメンテーションと動きを与えられることはないが、それらのダイナミクスと範囲を暗黙的に分離することができる。 本手法の重要な構成要素は, ランダム化条件付けスキーム, 入力動作制御の符号化, ランダム化およびスパースサンプリングであり, 分布域外への一般化を可能にする。 ヨーダと呼ばれる我々のモデルは、物理的に触れることなく物体を動かすことができる。 いくつかのデータセットの定性的・定量的な評価を通じて, YODAは, 制御性と映像品質の両面で, 先行研究の最先端技術と同等かそれ以上であることを示す。

関連論文リスト

• EgoGaussian: Dynamic Scene Understanding from Egocentric Video with 3D Gaussian Splatting [95.44545809256473]
  本稿では,3Dシーンを同時に再構築し,RGBエゴセントリック入力のみから3Dオブジェクトの動きを追跡するEgoGaussianについて紹介する。 我々のアプローチでは、人間の活動の動的な性質を活用するクリップレベルのオンライン学習パイプラインを採用している。
  論文  参考訳（メタデータ） (2024-06-28T10:39:36Z)
• Purposer: Putting Human Motion Generation in Context [30.706219830149504]
  本研究では,3次元屋内シーンに人間の動きを再現する新しい手法を提案する。 シーン内のパス、ターゲットポーズ、過去の動き、そして3Dポイントの雲として表されるシーンなど、様々な条件信号の組み合わせで制御できる。
  論文  参考訳（メタデータ） (2024-04-19T15:16:04Z)
• CAGE: Controllable Articulation GEneration [14.002289666443529]
  分割拡散法を用いて, 部品形状, 接続性, 動きの相互作用を利用する。 本手法では,オブジェクトカテゴリラベルと部分接続グラフを入力として,オブジェクトの形状と運動パラメータを生成する。 実験の結果,本手法は音声オブジェクト生成における最先端の手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-15T07:04:27Z)
• TrackDiffusion: Tracklet-Conditioned Video Generation via Diffusion Models [75.20168902300166]
  微粒な軌跡条件の運動制御が可能な新しい映像生成フレームワークであるTrackDiffusionを提案する。 TrackDiffusionの重要なコンポーネントは、複数のオブジェクトのフレーム間の一貫性を明確に保証するインスタンスエンハンサーである。 TrackDiffusionによって生成されたビデオシーケンスは、視覚知覚モデルのトレーニングデータとして使用できる。
  論文  参考訳（メタデータ） (2023-12-01T15:24:38Z)
• ROAM: Robust and Object-Aware Motion Generation Using Neural Pose Descriptors [73.26004792375556]
  本稿では,3次元オブジェクト認識キャラクタ合成における新しいシーンオブジェクトへのロバストさと一般化が,参照オブジェクトを1つも持たないモーションモデルをトレーニングすることで実現可能であることを示す。 我々は、オブジェクト専用のデータセットに基づいて訓練された暗黙的な特徴表現を活用し、オブジェクトの周りのSE(3)-同変記述体フィールドをエンコードする。 本研究では,3次元仮想キャラクタの動作と相互作用の質,および未知のオブジェクトを持つシナリオに対するロバスト性を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-08-24T17:59:51Z)
• Dense Video Object Captioning from Disjoint Supervision [77.47084982558101]
  本稿では,高密度ビデオオブジェクトキャプションのための新しいタスクとモデルを提案する。 このタスクは、ビデオにおける空間的および時間的局所化を統一する。 我々は、この新しいタスクの強力なベースラインにおいて、我々のモデルがどのように改善されているかを示す。
  論文  参考訳（メタデータ） (2023-06-20T17:57:23Z)
• Pre-training Contextualized World Models with In-the-wild Videos for Reinforcement Learning [54.67880602409801]
  本稿では,視覚制御タスクの学習を効率的に行うために,Wild 動画を多用した事前学習型世界モデルの課題について検討する。 本稿では、コンテキストと動的モデリングを明確に分離したContextualized World Models(ContextWM)を紹介する。 実験により,ContextWMを内蔵したWildビデオ事前学習は,モデルベース強化学習のサンプル効率を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2023-05-29T14:29:12Z)
• Multi-object Video Generation from Single Frame Layouts [84.55806837855846]
  本研究では,グローバルシーンを局所オブジェクトに合成するビデオ生成フレームワークを提案する。 我々のフレームワークは、画像生成手法からの非自明な適応であり、この分野では新しくなっています。 本モデルは広範に使用されている2つのビデオ認識ベンチマークで評価されている。
  論文  参考訳（メタデータ） (2023-05-06T09:07:01Z)
• Understanding Object Dynamics for Interactive Image-to-Video Synthesis [8.17925295907622]
  本稿では,局所的な操作によって自然に見えるグローバルな調音をピクセルレベルで学習する手法を提案する。 我々の生成モデルは、ユーザインタラクションに対する応答として、自然なオブジェクトのダイナミクスを推論することを学ぶ。 ビデオ予測に関する既存の研究とは対照的に、任意のリアルなビデオは合成しない。
  論文  参考訳（メタデータ） (2021-06-21T17:57:39Z)
• Hindsight for Foresight: Unsupervised Structured Dynamics Models from Physical Interaction [24.72947291987545]
  エージェントが世界と対話することを学ぶための鍵となる課題は、オブジェクトの物理的性質を推論することである。 本研究では,ラベルのない3次元点群と画像から直接,ロボットのインタラクションのダイナミクスをモデル化するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-08-02T11:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。