論文の概要: Primitive-based 3D Human-Object Interaction Modelling and Programming
- arxiv url: http://arxiv.org/abs/2312.10714v1
- Date: Sun, 17 Dec 2023 13:16:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-19 14:58:21.246284
- Title: Primitive-based 3D Human-Object Interaction Modelling and Programming
- Title（参考訳）: 原始型3次元物体相互作用モデリングとプログラミング
- Authors: Siqi Liu, Yong-Lu Li, Zhou Fang, Xinpeng Liu, Yang You, Cewu Lu
- Abstract要約: 本研究では,人間と物体の両方を符号化する新しい3次元幾何学的原始言語を提案する。
プリミティブと画像を組み合わせた3D HAOIのベンチマークを構築した。
このプリミティブベースの3DHAOI表現は、3DHAOI研究の道を開くと信じている。
- 参考スコア（独自算出の注目度）: 59.47308081630886
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Embedding Human and Articulated Object Interaction (HAOI) in 3D is an
important direction for a deeper human activity understanding. Different from
previous works that use parametric and CAD models to represent humans and
objects, in this work, we propose a novel 3D geometric primitive-based language
to encode both humans and objects. Given our new paradigm, humans and objects
are all compositions of primitives instead of heterogeneous entities. Thus,
mutual information learning may be achieved between the limited 3D data of
humans and different object categories. Moreover, considering the simplicity of
the expression and the richness of the information it contains, we choose the
superquadric as the primitive representation. To explore an effective embedding
of HAOI for the machine, we build a new benchmark on 3D HAOI consisting of
primitives together with their images and propose a task requiring machines to
recover 3D HAOI using primitives from images. Moreover, we propose a baseline
of single-view 3D reconstruction on HAOI. We believe this primitive-based 3D
HAOI representation would pave the way for 3D HAOI studies. Our code and data
are available at https://mvig-rhos.com/p3haoi.
- Abstract（参考訳）: ヒトと人工物相互作用(HAOI)を3次元に埋め込むことは、より深い人間の活動理解にとって重要な方向である。
パラメトリックモデルとCADモデルを用いて人や物体を表現する従来の手法とは異なり、本研究では人や物体の両方を符号化する新しい幾何学的原始言語を提案する。
新しいパラダイムを考えると、人間とオブジェクトはすべて、異種エンティティではなくプリミティブのコンポジションです。
このように、人間の限られた3次元データと異なる対象カテゴリの相互学習が達成される。
さらに,表現の単純さと情報量の豊かさを考慮し,超四重項を原始表現として選択する。
マシンにHAOIを効果的に埋め込むため,プリミティブと画像を組み合わせた3次元HAOIのベンチマークを構築し,画像からプリミティブを用いて3次元HAOIを復元するタスクを提案する。
また,HAOIを用いた一視点3次元再構成のベースラインを提案する。
この原始的な3次元HAOI表現は、3次元HAOI研究の道を開くだろう。
私たちのコードとデータはhttps://mvig-rhos.com/p3haoiで入手できます。
関連論文リスト
- SUGAR: Pre-training 3D Visual Representations for Robotics [85.55534363501131]
ロボット工学のための新しい3D事前学習フレームワークSUGARを紹介した。
SUGARは3次元の点雲を通してオブジェクトの意味的、幾何学的、および余分な特性をキャプチャする。
SuGARの3D表現は最先端の2Dおよび3D表現よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-04-01T21:23:03Z) - Perceiving Unseen 3D Objects by Poking the Objects [45.70559270947074]
本稿では,3Dオブジェクトの自動検出と再構成を行うポーキング方式を提案する。
ポーキングプロセスにより、ロボットは見えない3Dオブジェクトを発見できるだけでなく、多視点で観察することもできる。
実世界のデータを用いた実験により,本手法は高品質な未知の3Dオブジェクトを教師なしで発見・再構成できることが判明した。
論文 参考訳（メタデータ） (2023-02-26T18:22:13Z) - Get3DHuman: Lifting StyleGAN-Human into a 3D Generative Model using
Pixel-aligned Reconstruction Priors [56.192682114114724]
Get3DHumanは、生成された結果のリアリズムと多様性を大幅に向上させる、新しい3Dヒューマンフレームワークである。
我々のキーとなる観察は、この3Dジェネレータは、人間の2Dジェネレータと3Dコンストラクタを通して学んだ、人間関係の先行技術から利益を得ることができるということだ。
論文 参考訳（メタデータ） (2023-02-02T15:37:46Z) - Reconstructing Action-Conditioned Human-Object Interactions Using
Commonsense Knowledge Priors [42.17542596399014]
本稿では,画像から人-物間相互作用の多種多様な3次元モデルを推定する手法を提案する。
提案手法は,大規模言語モデルから高レベルのコモンセンス知識を抽出する。
本研究では,大規模な人-物間相互作用データセットを用いて,推定された3次元モデルを定量的に評価する。
論文 参考訳（メタデータ） (2022-09-06T13:32:55Z) - CHORE: Contact, Human and Object REconstruction from a single RGB image [40.817960406002506]
CHOREは、1枚のRGB画像から人間と物体を共同で再構築する方法である。
2つの符号のない距離場で暗黙的に表現された人間と物体の神経再構成を計算する。
提案手法で得られた共同再建がSOTAを著しく上回ることを示す実験を行った。
論文 参考訳（メタデータ） (2022-04-05T18:38:06Z) - 3D-Aware Semantic-Guided Generative Model for Human Synthesis [67.86621343494998]
本稿では,人間の画像合成のための3D-SGAN(Semantic-Guided Generative Model)を提案する。
DeepFashionデータセットに関する我々の実験は、3D-SGANが最新のベースラインを大きく上回っていることを示している。
論文 参考訳（メタデータ） (2021-12-02T17:10:53Z) - Interactive Annotation of 3D Object Geometry using 2D Scribbles [84.51514043814066]
本稿では,ポイントクラウドデータとRGB画像から3次元オブジェクト形状をアノテートする対話型フレームワークを提案する。
当社のフレームワークは,芸術的,グラフィック的専門知識のないナイーブユーザを対象としている。
論文 参考訳（メタデータ） (2020-08-24T21:51:29Z) - Parameter-Efficient Person Re-identification in the 3D Space [51.092669618679615]
我々は3次元空間に2D画像を投影し、新しいパラメータ効率のOmniスケールグラフネットワーク(OG-Net)を導入し、3次元点雲から直接歩行者表現を学習する。
OG-Netはスパース3Dポイントが提供するローカル情報を効果的に活用し、その構造と外観情報を一貫性のある方法で活用する。
私たちは3D空間における人物の再識別を行う最初の試みの1つです。
論文 参考訳（メタデータ） (2020-06-08T13:20:33Z) - Detailed 2D-3D Joint Representation for Human-Object Interaction [45.71407935014447]
HOI学習のための2次元3次元共同表現学習法を提案する。
まず, 単視点の人体捕捉法を用いて, 3次元体, 顔, 手の形状を詳細に把握する。
次に,3次元オブジェクトの位置と大きさを,2次元オブジェクト空間構成と対象カテゴリーの先行点から推定する。
論文 参考訳（メタデータ） (2020-04-17T10:22:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。