論文の概要: Generative Proxemics: A Prior for 3D Social Interaction from Images
- arxiv url: http://arxiv.org/abs/2306.09337v2
- Date: Tue, 12 Dec 2023 20:35:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-14 20:37:26.041908
- Title: Generative Proxemics: A Prior for 3D Social Interaction from Images
- Title(参考訳): 生成的プロキシ:画像からの3次元ソーシャルインタラクションの先行
- Authors: Lea M\"uller, Vickie Ye, Georgios Pavlakos, Michael Black, Angjoo
Kanazawa
- Abstract要約: 社会的相互作用は人間の行動とコミュニケーションの基本的な側面である。
近親密なソーシャルインタラクションにおける2人の3Dプロキセメクスの事前学習を行う新しいアプローチを提案する。
提案手法は,ノイズの多い初期推定値から正確な3次元ソーシャルインタラクションを復元し,最先端の手法より優れる。
- 参考スコア(独自算出の注目度): 32.547187575678464
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Social interaction is a fundamental aspect of human behavior and
communication. The way individuals position themselves in relation to others,
also known as proxemics, conveys social cues and affects the dynamics of social
interaction. Reconstructing such interaction from images presents challenges
because of mutual occlusion and the limited availability of large training
datasets. To address this, we present a novel approach that learns a prior over
the 3D proxemics two people in close social interaction and demonstrate its use
for single-view 3D reconstruction. We start by creating 3D training data of
interacting people using image datasets with contact annotations. We then model
the proxemics using a novel denoising diffusion model called BUDDI that learns
the joint distribution over the poses of two people in close social
interaction. Sampling from our generative proxemics model produces realistic 3D
human interactions, which we validate through a perceptual study. We use BUDDI
in reconstructing two people in close proximity from a single image without any
contact annotation via an optimization approach that uses the diffusion model
as a prior. Our approach recovers accurate and plausible 3D social interactions
from noisy initial estimates, outperforming state-of-the-art methods. Our code,
data, and model are availableat our project website at: muelea.github.io/buddi.
- Abstract(参考訳): 社会的相互作用は人間の行動とコミュニケーションの基本的な側面である。
個人が他者と結びつく方法(プロキシミクスとしても知られる)は、社会的手がかりを伝達し、社会的相互作用のダイナミクスに影響を与える。
このようなインタラクションを画像から再構築することは、相互閉塞と大規模なトレーニングデータセットの可用性の制限による課題である。
そこで本稿では,この3dプロキソミクスに先立って身近な社会的相互作用を持つ2人の人間を学習し,その1視点の3d再構成への応用を実証する。
まず、コンタクトアノテーション付き画像データセットを使用して対話する人々の3Dトレーニングデータを作成する。
次に,BUDDIと呼ばれる新しい拡散モデルを用いて,近親密な社会的相互作用における2人のポーズに関する共同分布を学習する。
生成的proxemicsモデルからのサンプリングは、現実的な3dヒューマンインタラクションを生成し、知覚研究を通じて検証します。
拡散モデルを用いた最適化アプローチにより,1つの画像から近接した2人の人物を1つの画像から再構成する。
提案手法は,うるさい初期推定値から正確な3dソーシャルインタラクションを回復し,最先端手法を上回っている。
私たちのコード、データ、モデルは、プロジェクトのWebサイトで利用可能です。
関連論文リスト
- HOI-Diff: Text-Driven Synthesis of 3D Human-Object Interactions using
Diffusion Models [45.16955053939174]
ひとつのモデルではなく,モジュール化された設計を採用して,複雑なタスクをシンプルなサブタスクに分解する,というのが私たちの重要な洞察です。
まず、入力テキストに条件付けされた人間と物体の両方の動きを生成するための二重分岐拡散モデル(HOI-DM)を開発する。
また,人間と物体の接触領域を予測するためのアベイランス予測拡散モデル(APDM)を開発した。
論文 参考訳(メタデータ) (2023-12-11T17:41:17Z) - InterDiff: Generating 3D Human-Object Interactions with Physics-Informed
Diffusion [29.25063155767897]
本稿では,3次元物体相互作用(HOI)の予測に向けた新しい課題について述べる。
我々のタスクは、様々な形状の動的物体をモデリングし、全身の動きを捉え、物理的に有効な相互作用を確実にする必要があるため、はるかに困難である。
複数の人-物間相互作用データセットを用いた実験は,本手法の有効性を実証し,現実的で,鮮明で,かつ,極めて長期にわたる3D HOI予測を生成できることを示した。
論文 参考訳(メタデータ) (2023-08-31T17:59:08Z) - CHORUS: Learning Canonicalized 3D Human-Object Spatial Relations from
Unbounded Synthesized Images [10.4286198282079]
本研究では,3次元における多種多様な物体間相互作用の空間的共通感覚を理解し,モデル化する手法を提案する。
我々は、人間が同じ種類の物体と対話するとき、異なる視点から撮影した複数の2D画像を示す。
実画像よりも画質が不完全であるにもかかわらず、合成画像は3次元的対象空間関係を学習するのに十分であることを示す。
論文 参考訳(メタデータ) (2023-08-23T17:59:11Z) - Probabilistic Human Mesh Recovery in 3D Scenes from Egocentric Views [32.940614931864154]
身体のポーズ分布をモデル化するシーン条件拡散法を提案する。
この方法は、可塑性ヒトとシーンの相互作用において体を生成する。
目に見える関節の精度と、目に見えない身体の部分の多様性に優れる。
論文 参考訳(メタデータ) (2023-04-12T17:58:57Z) - AROS: Affordance Recognition with One-Shot Human Stances [0.0]
我々は、人間のポーズと3Dシーン間の相互作用を明示的に表現する1ショット学習アプローチであるAROSを提案する。
これまでに見つからなかったシーンの3Dメッシュを考慮すれば、インタラクションをサポートする余裕のある場所を予測し、それに対応する3D人体を生成することができます。
その結果,1ショットのアプローチは,データ集約ベースラインを最大80%向上させることがわかった。
論文 参考訳(メタデータ) (2022-10-21T04:29:21Z) - Neural Novel Actor: Learning a Generalized Animatable Neural
Representation for Human Actors [98.24047528960406]
本稿では,複数の人物の多視点画像のスパース集合から,汎用的アニマタブルなニューラル表現を学習するための新しい手法を提案する。
学習された表現は、カメラのスパースセットから任意の人の新しいビューイメージを合成し、さらにユーザのポーズ制御でアニメーション化することができる。
論文 参考訳(メタデータ) (2022-08-25T07:36:46Z) - Estimating 3D Motion and Forces of Human-Object Interactions from
Internet Videos [49.52070710518688]
一つのRGBビデオからオブジェクトと対話する人の3D動作を再構築する手法を提案する。
本手法では,被験者の3次元ポーズを物体のポーズ,接触位置,人体の接触力とともに推定する。
論文 参考訳(メタデータ) (2021-11-02T13:40:18Z) - Scene Synthesis via Uncertainty-Driven Attribute Synchronization [52.31834816911887]
本稿では,3次元シーンの多様な特徴パターンを捉えるニューラルシーン合成手法を提案する。
提案手法は,ニューラルネットワークと従来のシーン合成手法の双方の長所を結合する。
論文 参考訳(メタデータ) (2021-08-30T19:45:07Z) - PHASE: PHysically-grounded Abstract Social Events for Machine Social
Perception [50.551003004553806]
私たちは、物理的に根拠のある抽象的なソーシャルイベント、フェーズのデータセットを作成します。
フェーズは人間の実験によって検証され、人間は社会出来事において豊かな相互作用を知覚する。
ベースラインモデルとして,最新のフィードフォワードニューラルネットワークよりも優れたベイズ逆計画手法SIMPLEを導入する。
論文 参考訳(メタデータ) (2021-03-02T18:44:57Z) - Perceiving Humans: from Monocular 3D Localization to Social Distancing [93.03056743850141]
本稿では,人間の3次元位置と身体の向きを1つの画像から知覚する,コスト効率の高い視覚ベースの新しい手法を提案する。
我々は,「社会的距離」という概念を,単純な位置に基づくルールとは対照的に,社会的相互作用の一形態として再考することが可能であることを示す。
論文 参考訳(メタデータ) (2020-09-01T10:12:30Z) - Human Trajectory Forecasting in Crowds: A Deep Learning Perspective [89.4600982169]
本稿では,既存の深層学習に基づくソーシャルインタラクションのモデル化手法について詳細に分析する。
本稿では、これらの社会的相互作用を効果的に捉えるための知識に基づく2つのデータ駆動手法を提案する。
我々は,人間の軌道予測分野において,重要かつ欠落したコンポーネントであるTrajNet++を大規模に開発する。
論文 参考訳(メタデータ) (2020-07-07T17:19:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。