論文の概要: Generative Proxemics: A Prior for 3D Social Interaction from Images

• arxiv url: http://arxiv.org/abs/2306.09337v1
• Date: Thu, 15 Jun 2023 17:59:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-16 13:06:59.169955
• Title: Generative Proxemics: A Prior for 3D Social Interaction from Images
• Title（参考訳）: 生成的プロキシ:画像からの3次元ソーシャルインタラクションの先行
• Authors: Lea M\"uller, Vickie Ye, Georgios Pavlakos, Michael Black, Angjoo Kanazawa
• Abstract要約: 近親密なソーシャルインタラクションにおいて,2人の前に3Dプロキセミクスを学習する新しいアプローチを提案する。 提案手法は,ノイズの多い初期推定値から,より正確で確実な3次元ソーシャルインタラクションを復元する。
• 参考スコア（独自算出の注目度）: 25.935789550611336
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Social interaction is a fundamental aspect of human behavior and communication. The way individuals position themselves in relation to others, also known as proxemics, conveys social cues and affects the dynamics of social interaction. We present a novel approach that learns a 3D proxemics prior of two people in close social interaction. Since collecting a large 3D dataset of interacting people is a challenge, we rely on 2D image collections where social interactions are abundant. We achieve this by reconstructing pseudo-ground truth 3D meshes of interacting people from images with an optimization approach using existing ground-truth contact maps. We then model the proxemics using a novel denoising diffusion model called BUDDI that learns the joint distribution of two people in close social interaction directly in the SMPL-X parameter space. Sampling from our generative proxemics model produces realistic 3D human interactions, which we validate through a user study. Additionally, we introduce a new optimization method that uses the diffusion prior to reconstruct two people in close proximity from a single image without any contact annotation. Our approach recovers more accurate and plausible 3D social interactions from noisy initial estimates and outperforms state-of-the-art methods. See our project site for code, data, and model: muelea.github.io/buddi.
• Abstract（参考訳）: 社会的相互作用は人間の行動とコミュニケーションの基本的な側面である。 個人が他者と結びつく方法(プロキシミクスとしても知られる)は、社会的手がかりを伝達し、社会的相互作用のダイナミクスに影響を与える。 親密な社会的相互作用において,2人の前に3Dプロキセミクスを学習する新しいアプローチを提案する。 対話する人々の大規模な3Dデータセットの収集は難しいため、社会的相互作用が豊富である2D画像収集に頼っている。 既存の接地地図を用いた最適化手法を用いて,画像から対話する人物の疑似接地真理3次元メッシュを再構成し,これを実現する。 次に, SMPL-Xパラメータ空間内での密接な社会的相互作用において, 2人の共同分布を学習するBUDDIという新しい拡散モデルを用いて, プロキシをモデル化する。 生成的proxemicsモデルからのサンプリングは、現実的な3dヒューマンインタラクションを生成し、ユーザスタディを通じて検証します。 さらに,接触アノテーションを使わずに単一の画像から近接して2人の人物を再構成する前に拡散を利用する新しい最適化手法を提案する。 提案手法は,ノイズの多い初期推定値からより正確で確実な3次元ソーシャルインタラクションを復元し,最先端の手法より優れる。 コード、データ、およびモデル: muelea.github.io/buddi.org のプロジェクトサイト を参照してください。

関連論文リスト

• G-HOP: Generative Hand-Object Prior for Interaction Reconstruction and Grasp Synthesis [57.07638884476174]
  G-HOPは手-対象相互作用の前駆体である。 人手は骨格距離場を介して表現し、物体の符号付き距離場と整合した表現を得る。 この手動物体は、対話クリップからの再構成や人間のつかみ合成など、他の作業を容易にするための汎用的なガイダンスとして機能することを示す。
  論文  参考訳（メタデータ） (2024-04-18T17:59:28Z)
• Closely Interactive Human Reconstruction with Proxemics and Physics-Guided Adaption [64.07607726562841]
  既存の人間再建アプローチは主に、正確なポーズの回復や侵入を避けることに焦点を当てている。 本研究では,モノクロ映像から密に対話的な人間を再構築する作業に取り組む。 本稿では,視覚情報の欠如を補うために,確率的行動や物理からの知識を活用することを提案する。
  論文  参考訳（メタデータ） (2024-04-17T11:55:45Z)
• Beyond the Contact: Discovering Comprehensive Affordance for 3D Objects from Pre-trained 2D Diffusion Models [8.933560282929726]
  我々はComprehensive Affordance(ComA)という新しい余裕表現を導入する。 3Dオブジェクトメッシュが与えられたとき、ComAは相互作用する人間のメッシュにおける相対配向と頂点の近接の分布をモデル化する。 ComAは、連絡先ベースの価格のモデリングにおいて、人間のアノテーションに依存している競争相手よりも優れていることを実証する。
  論文  参考訳（メタデータ） (2024-01-23T18:59:59Z)
• Social-Transmotion: Promptable Human Trajectory Prediction [65.80068316170613]
  Social-Transmotionは、多種多様な視覚的手がかりを利用して人間の行動を予測する、汎用トランスフォーマーベースのモデルである。 提案手法は,JTA,JRDB,歩行者,道路交通のサイクリスト,ETH-UCYなど,複数のデータセットで検証されている。
  論文  参考訳（メタデータ） (2023-12-26T18:56:49Z)
• InterDiff: Generating 3D Human-Object Interactions with Physics-Informed Diffusion [29.25063155767897]
  本稿では,3次元物体相互作用(HOI)の予測に向けた新しい課題について述べる。 我々のタスクは、様々な形状の動的物体をモデリングし、全身の動きを捉え、物理的に有効な相互作用を確実にする必要があるため、はるかに困難である。 複数の人-物間相互作用データセットを用いた実験は,本手法の有効性を実証し,現実的で,鮮明で,かつ,極めて長期にわたる3D HOI予測を生成できることを示した。
  論文  参考訳（メタデータ） (2023-08-31T17:59:08Z)
• CHORUS: Learning Canonicalized 3D Human-Object Spatial Relations from Unbounded Synthesized Images [10.4286198282079]
  本研究では,3次元における多種多様な物体間相互作用の空間的共通感覚を理解し,モデル化する手法を提案する。 我々は、人間が同じ種類の物体と対話するとき、異なる視点から撮影した複数の2D画像を示す。 実画像よりも画質が不完全であるにもかかわらず、合成画像は3次元的対象空間関係を学習するのに十分であることを示す。
  論文  参考訳（メタデータ） (2023-08-23T17:59:11Z)
• AROS: Affordance Recognition with One-Shot Human Stances [0.0]
  我々は、人間のポーズと3Dシーン間の相互作用を明示的に表現する1ショット学習アプローチであるAROSを提案する。 これまでに見つからなかったシーンの3Dメッシュを考慮すれば、インタラクションをサポートする余裕のある場所を予測し、それに対応する3D人体を生成することができます。 その結果,1ショットのアプローチは,データ集約ベースラインを最大80%向上させることがわかった。
  論文  参考訳（メタデータ） (2022-10-21T04:29:21Z)
• Estimating 3D Motion and Forces of Human-Object Interactions from Internet Videos [49.52070710518688]
  一つのRGBビデオからオブジェクトと対話する人の3D動作を再構築する手法を提案する。 本手法では,被験者の3次元ポーズを物体のポーズ,接触位置,人体の接触力とともに推定する。
  論文  参考訳（メタデータ） (2021-11-02T13:40:18Z)
• Perceiving Humans: from Monocular 3D Localization to Social Distancing [93.03056743850141]
  本稿では,人間の3次元位置と身体の向きを1つの画像から知覚する,コスト効率の高い視覚ベースの新しい手法を提案する。 我々は,「社会的距離」という概念を,単純な位置に基づくルールとは対照的に,社会的相互作用の一形態として再考することが可能であることを示す。
  論文  参考訳（メタデータ） (2020-09-01T10:12:30Z)
• Human Trajectory Forecasting in Crowds: A Deep Learning Perspective [89.4600982169]
  本稿では,既存の深層学習に基づくソーシャルインタラクションのモデル化手法について詳細に分析する。 本稿では、これらの社会的相互作用を効果的に捉えるための知識に基づく2つのデータ駆動手法を提案する。 我々は,人間の軌道予測分野において,重要かつ欠落したコンポーネントであるTrajNet++を大規模に開発する。
  論文  参考訳（メタデータ） (2020-07-07T17:19:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。