論文の概要: Neural Pose Representation Learning for Generating and Transferring Non-Rigid Object Poses

• arxiv url: http://arxiv.org/abs/2406.09728v2
• Date: Mon, 04 Nov 2024 02:34:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 21:26:28.985243
• Title: Neural Pose Representation Learning for Generating and Transferring Non-Rigid Object Poses
• Title（参考訳）: 非リジッドオブジェクトポスの生成と転送のためのニューラルポス表現学習
• Authors: Seungwoo Yoo, Juil Koo, Kyeongmin Yeo, Minhyuk Sung,
• Abstract要約: 本稿では,3次元変形可能なオブジェクトに対するポーズの表現を学習するための新しい手法を提案する。 1)オブジェクトの同一性からポーズ情報を遠ざけること、2)ポーズのバリエーションの学習を容易にすること、3)他のオブジェクトの同一性にポーズ情報を転送すること。 これらの特性に基づいて, 同一性およびポーズの多様性を有する3次元変形可能な物体の生成を可能にする。
• 参考スコア（独自算出の注目度）: 11.614034196935899
• License:
• Abstract: We propose a novel method for learning representations of poses for 3D deformable objects, which specializes in 1) disentangling pose information from the object's identity, 2) facilitating the learning of pose variations, and 3) transferring pose information to other object identities. Based on these properties, our method enables the generation of 3D deformable objects with diversity in both identities and poses, using variations of a single object. It does not require explicit shape parameterization such as skeletons or joints, point-level or shape-level correspondence supervision, or variations of the target object for pose transfer. To achieve pose disentanglement, compactness for generative models, and transferability, we first design the pose extractor to represent the pose as a keypoint-based hybrid representation and the pose applier to learn an implicit deformation field. To better distill pose information from the object's geometry, we propose the implicit pose applier to output an intrinsic mesh property, the face Jacobian. Once the extracted pose information is transferred to the target object, the pose applier is fine-tuned in a self-supervised manner to better describe the target object's shapes with pose variations. The extracted poses are also used to train a cascaded diffusion model to enable the generation of novel poses. Our experiments with the DeformThings4D and Human datasets demonstrate state-of-the-art performance in pose transfer and the ability to generate diverse deformed shapes with various objects and poses.
• Abstract（参考訳）: 本稿では,3次元変形可能なオブジェクトのポーズ表現を学習するための新しい手法を提案する。 1) 対象者の身元からポーズ情報を遠ざけること。 2)ポーズのバリエーションの学習を容易にすること、 3) 他のオブジェクトのIDにポーズ情報を転送すること。 これらの特性に基づいて,1つのオブジェクトのバリエーションを用いて,同一性およびポーズの多様性を持った3次元変形可能なオブジェクトを生成することができる。 骨格や関節のような明示的な形状パラメータ化、ポイントレベルまたは形状レベルの対応監督、ポーズ転送のためのターゲットオブジェクトのバリエーションは不要である。 まず、ポーズをキーポイントに基づくハイブリッド表現として表現するポーズ抽出器と、暗黙の変形場を学習するポーズ適応器を設計する。 物体の形状からポーズ情報をよりよく抽出するために,固有メッシュ特性である顔ヤコビアンを出力する暗黙のポーズアプライヤを提案する。 抽出されたポーズ情報を対象オブジェクトに転送すると、ポーズアプライヤを自己監督的に微調整して、ターゲットオブジェクトの形状をより正確に表現する。 抽出されたポーズは、新規なポーズの生成を可能にするためにカスケード拡散モデルを訓練するためにも使用される。 DeformThings4DとHumanデータセットを用いた実験では、ポーズ転送における最先端のパフォーマンスと、さまざまなオブジェクトやポーズで多様な変形した形状を生成する能力が実証されている。

関連論文リスト

• Extreme Two-View Geometry From Object Poses with Diffusion Models [21.16779160086591]
  オブジェクト先行のパワーを利用して、極端な視点変化に直面した2次元幾何学を正確に決定する。 実験では, 大局的な視点変化に対して, 突如として頑健さと弾力性を示した。
  論文  参考訳（メタデータ） (2024-02-05T08:18:47Z)
• Understanding Pose and Appearance Disentanglement in 3D Human Pose Estimation [72.50214227616728]
  ポーズ情報から外見情報を引き離すために,自己教師型で画像表現を学習する手法がいくつか提案されている。 我々は,多種多様な画像合成実験を通じて,自己教師ネットワークの観点から,ゆがみについて検討する。 我々は,対象の自然な外見変化を生起することに焦点を当てた敵対的戦略を設計し,その反対に,絡み合ったネットワークが堅牢であることを期待している。
  論文  参考訳（メタデータ） (2023-09-20T22:22:21Z)
• ShapeShift: Superquadric-based Object Pose Estimation for Robotic Grasping [85.38689479346276]
  現在の技術は参照3Dオブジェクトに大きく依存しており、その一般化性を制限し、新しいオブジェクトカテゴリに拡張するのにコストがかかる。 本稿では,オブジェクトに適合するプリミティブな形状に対してオブジェクトのポーズを予測する,オブジェクトのポーズ推定のためのスーパークワッドリックベースのフレームワークであるShapeShiftを提案する。
  論文  参考訳（メタデータ） (2023-04-10T20:55:41Z)
• Few-View Object Reconstruction with Unknown Categories and Camera Poses [80.0820650171476]
  この研究は、カメラのポーズやオブジェクトのカテゴリを知らない少数の画像から、一般的な現実世界のオブジェクトを再構築する。 私たちの研究の要点は、形状再構成とポーズ推定という、2つの基本的な3D視覚問題を解決することです。 提案手法は,各ビューから3次元特徴を予測し,それらを入力画像と組み合わせて活用し,クロスビュー対応を確立する。
  論文  参考訳（メタデータ） (2022-12-08T18:59:02Z)
• Single-view 3D Body and Cloth Reconstruction under Complex Poses [37.86174829271747]
  既存の暗黙の関数ベースモデルを拡張して、任意のポーズと自己排他的な手足を持つ人間の画像を扱う。 入力画像を低精細度で3次元のボディ形状にマッピングする暗黙の関数を学習する。 次に、スムーズな表面を条件とした変位マップを学習し、衣服や身体の高周波の詳細を符号化する。
  論文  参考訳（メタデータ） (2022-05-09T07:34:06Z)
• Neural Human Deformation Transfer [26.60034186410921]
  人間の変形伝達の問題は、異なるキャラクター間でのポーズの再ターゲティングが目的である。 我々は異なるアプローチをとり、キャラクターのポーズを変更することなく、キャラクターのアイデンティティを新しいアイデンティティに変換する。 本研究では,本手法が定量的かつ定性的に,最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-09-03T15:51:30Z)
• imGHUM: Implicit Generative Models of 3D Human Shape and Articulated Pose [42.4185273307021]
  人間の3次元形状とポーズの合成モデルImGHUMについて述べる。 人間の全身をゼロレベルの関数として暗黙的にモデル化し、明示的なテンプレートメッシュを使用しない。
  論文  参考訳（メタデータ） (2021-08-24T17:08:28Z)
• Sparse Pose Trajectory Completion [87.31270669154452]
  サンプルの少ないビューにのみオブジェクトが出現するデータセットを使用しても学習する方法を提案する。 これはクロスモーダルポーズ軌道伝達機構によって実現される。 この手法はPix3DおよびShapeNetデータセット上で評価される。
  論文  参考訳（メタデータ） (2021-05-01T00:07:21Z)
• Unsupervised 3D Human Pose Representation with Viewpoint and Pose Disentanglement [63.853412753242615]
  優れた3次元ポーズ表現を学習することは、人間のポーズ関連タスクにとって重要である。 本稿では,3次元ポーズ表現を学習するために,新しいシームズ・デノナイズドオートエンコーダを提案する。 提案手法は,2つの本質的に異なるタスクに対して,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-07-14T14:25:22Z)
• Self-supervised Single-view 3D Reconstruction via Semantic Consistency [142.71430568330172]
  対象物の形状, テクスチャ, カメラポーズを予測できる, 自己監督型, 単視点3D再構成モデルを学習する。 提案手法では,手動で注釈付けしたキーポイント,オブジェクトのマルチビューイメージ,あるいは事前の3Dテンプレートなど,3Dの監督を必要としない。
  論文  参考訳（メタデータ） (2020-03-13T20:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。