論文の概要: DragAPart: Learning a Part-Level Motion Prior for Articulated Objects

• arxiv url: http://arxiv.org/abs/2403.15382v2
• Date: Sun, 28 Jul 2024 19:45:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-30 23:47:39.636972
• Title: DragAPart: Learning a Part-Level Motion Prior for Articulated Objects
• Title（参考訳）: DragAPart: 人工物体に先立つ部分レベル運動の学習
• Authors: Ruining Li, Chuanxia Zheng, Christian Rupprecht, Andrea Vedaldi,
• Abstract要約: DragAPartは、ドラッグのアクションに応答する同じオブジェクトの新しいイメージを生成するメソッドである。 従来の動作制御ジェネレータと比較して、より優れた部分レベルの動作理解を示す。
• 参考スコア（独自算出の注目度）: 67.97235923372035
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We introduce DragAPart, a method that, given an image and a set of drags as input, generates a new image of the same object that responds to the action of the drags. Differently from prior works that focused on repositioning objects, DragAPart predicts part-level interactions, such as opening and closing a drawer. We study this problem as a proxy for learning a generalist motion model, not restricted to a specific kinematic structure or object category. We start from a pre-trained image generator and fine-tune it on a new synthetic dataset, Drag-a-Move, which we introduce. Combined with a new encoding for the drags and dataset randomization, the model generalizes well to real images and different categories. Compared to prior motion-controlled generators, we demonstrate much better part-level motion understanding.
• Abstract（参考訳）: DragAPartは、画像と一連のドラッグを入力として与え、ドラッグのアクションに応答する同じオブジェクトの新しいイメージを生成する。 DragAPartは、オブジェクトの再配置に焦点を当てた以前の作業とは異なり、引き出しの開閉のような部分レベルのインタラクションを予測します。 本研究では,この問題を,特定の運動構造や対象カテゴリーに限定されない一般運動モデル学習のプロキシとして研究する。 トレーニング済みの画像生成から始まり、新しい合成データセットであるDrag-a-Moveで微調整します。 ドラッグとデータセットのランダム化のための新しいエンコーディングと組み合わせることで、モデルは実際の画像と異なるカテゴリによく一般化される。 従来の動作制御ジェネレータと比較して、より優れた部分レベルの動作理解を示す。

関連論文リスト

• Puppet-Master: Scaling Interactive Video Generation as a Motion Prior for Part-Level Dynamics [67.97235923372035]
  本稿では,対話型ビデオ生成モデルであるPuppet-Masterについて紹介する。 テスト時には、ひとつのイメージと粗い動き軌跡が与えられた場合、Puppet-Masterは、与えられたドラッグ操作に忠実な現実的な部分レベルの動きを描写したビデオを合成することができる。
  論文  参考訳（メタデータ） (2024-08-08T17:59:38Z)
• Space-Time Diffusion Features for Zero-Shot Text-Driven Motion Transfer [27.278989809466392]
  本稿では,対象オブジェクトとシーンを記述する入力テキストプロンプトに準拠する動画を合成する,テキスト駆動型モーショントランスファーの新しい手法を提案する。 我々は、事前に訓練された、固定されたテキスト-ビデオ拡散モデルを活用し、生成および動きの先行情報を提供する。
  論文  参考訳（メタデータ） (2023-11-28T18:03:27Z)
• ROAM: Robust and Object-Aware Motion Generation Using Neural Pose Descriptors [73.26004792375556]
  本稿では,3次元オブジェクト認識キャラクタ合成における新しいシーンオブジェクトへのロバストさと一般化が,参照オブジェクトを1つも持たないモーションモデルをトレーニングすることで実現可能であることを示す。 我々は、オブジェクト専用のデータセットに基づいて訓練された暗黙的な特徴表現を活用し、オブジェクトの周りのSE(3)-同変記述体フィールドをエンコードする。 本研究では,3次元仮想キャラクタの動作と相互作用の質,および未知のオブジェクトを持つシナリオに対するロバスト性を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-08-24T17:59:51Z)
• Affordance Diffusion: Synthesizing Hand-Object Interactions [81.98499943996394]
  対象物のRGB画像が与えられた場合、我々はそれと相互作用する人間の手の可視像を幻覚することを目的としている。 そこで本研究では,触覚に依存しない手オブジェクトのインタラクションレイアウトをサンプリングするLayoutNetと,物体をつかむ手のイメージを合成するContentNetの2段階生成手法を提案する。
  論文  参考訳（メタデータ） (2023-03-21T17:59:10Z)
• Is an Object-Centric Video Representation Beneficial for Transfer? [86.40870804449737]
  トランスアーキテクチャ上にオブジェクト中心のビデオ認識モデルを導入する。 対象中心モデルが先行映像表現より優れていることを示す。
  論文  参考訳（メタデータ） (2022-07-20T17:59:44Z)
• Click to Move: Controlling Video Generation with Sparse Motion [30.437648200928603]
  Click to Move (C2M)は、ユーザーがマウスクリックで合成ビデオの動きを制御できるビデオ生成の新しいフレームワークである。 本モデルでは,初期フレーム,対応するセグメンテーションマップ,ユーザが提供する入力を符号化するスパース動作ベクトルを入力として受信する。 与えられたフレームから始まり、ユーザ入力と整合したモーションで、もっともらしいビデオシーケンスを出力する。
  論文  参考訳（メタデータ） (2021-08-19T17:33:13Z)
• Motion Representations for Articulated Animation [34.54825980226596]
  異なる部分からなる関節オブジェクトをアニメーション化するための新しいモーション表現を提案する。 完全に教師なしの方法で、本手法は対象部品を識別し、駆動ビデオで追跡し、主軸を考慮して動きを推定する。 我々のモデルは様々なオブジェクトをアニメートすることができ、既存のベンチマークでは従来のメソッドを大きく上回っています。
  論文  参考訳（メタデータ） (2021-04-22T18:53:56Z)
• First Order Motion Model for Image Animation [90.712718329677]
  画像アニメーションは、駆動ビデオの動きに応じて、ソース画像内のオブジェクトがアニメーションされるように、ビデオシーケンスを生成する。 我々のフレームワークは、アニメーションする特定のオブジェクトに関するアノテーションや事前情報を使わずに、この問題に対処します。
  論文  参考訳（メタデータ） (2020-02-29T07:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。