論文の概要: GraphiContact: Pose-aware Human-Scene Robust Contact Perception for Interactive Systems
- arxiv url: http://arxiv.org/abs/2603.20310v1
- Date: Thu, 19 Mar 2026 17:17:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-24 19:11:38.828067
- Title: GraphiContact: Pose-aware Human-Scene Robust Contact Perception for Interactive Systems
- Title(参考訳): GraphiContact:対話型システムのための擬似人間シーンロバスト接触認識
- Authors: Xiaojian Lin, Yaomin Shen, Junyuan Ma, Yujie Sun, Chengqing Bu, Wenxin Zhang, Zongzheng Zhang, Hao Fei, Lei Jin, Hao Zhao,
- Abstract要約: 本研究では,2つの事前訓練されたトランスフォーマーエンコーダから人間の先行情報を転送し,再構成メッシュ上での頂点ごとの人間とシーンの接触を予測する。
5つのベンチマークデータセットの実験により、GraphiContactは、接触予測と3D人間の再構築の両方で一貫した利得を達成している。
GraphiContact法をベースとしたコードでは,人間の3次元再構成とインタラクション解析を包括的に行う。
- 参考スコア(独自算出の注目度): 17.089112324421468
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Monocular vertex-level human-scene contact prediction is a fundamental capability for interactive systems such as assistive monitoring, embodied AI, and rehabilitation analysis. In this work, we study this task jointly with single-image 3D human mesh reconstruction, using reconstructed body geometry as a scaffold for contact reasoning. Existing approaches either focus on contact prediction without sufficiently exploiting explicit 3D human priors, or emphasize pose/mesh reconstruction without directly optimizing robust vertex-level contact inference under occlusion and perceptual noise. To address this gap, we propose GraphiContact, a pose-aware framework that transfers complementary human priors from two pretrained Transformer encoders and predicts per-vertex human-scene contact on the reconstructed mesh. To improve robustness in real-world scenarios, we further introduce a Single-Image Multi-Infer Uncertainty (SIMU) training strategy with token-level adaptive routing, which simulates occlusion and noisy observations during training while preserving efficient single-branch inference at test time. Experiments on five benchmark datasets show that GraphiContact achieves consistent gains on both contact prediction and 3D human reconstruction. Our code, based on the GraphiContact method, provides comprehensive 3D human reconstruction and interaction analysis, and will be publicly available at https://github.com/Aveiro-Lin/GraphiContact.
- Abstract(参考訳): 単眼の頂点レベルのヒューマン・シーン接触予測は、補助モニタリング、AI、リハビリテーション分析などのインタラクティブシステムの基本機能である。
本研究では, 接触推論のための足場として再構築された体形状を用いて, 単一像の3次元メッシュ再構成と協調してこの課題を考察する。
既存のアプローチでは、明示的な3D人間の前兆を十分に活用せずに接触予測にフォーカスするか、あるいは、密閉と知覚ノイズの下で頑健な頂点レベルの接触推論を直接最適化することなく、ポーズ/メシュ再構成を強調する。
このギャップに対処するために,2つの事前訓練されたトランスフォーマーエンコーダから補完的な人間の先行情報を転送し,再構成メッシュ上での頂点ごとのヒューマン・シーンの接触を予測する,ポーズ対応フレームワークであるGraphiContactを提案する。
実世界のシナリオにおけるロバスト性を改善するために,トークンレベルの適応ルーティングを用いたSingle-Image Multi-Infer Uncertainty (SIMU)トレーニング戦略を導入する。
5つのベンチマークデータセットの実験から、GraphiContactは、接触予測と3D人間の再構築の両方で一貫した利得を達成している。
GraphiContact法をベースとした我々のコードは、包括的な3次元再構築とインタラクション分析を提供し、https://github.com/Aveiro-Lin/GraphiContact.comで公開される。
関連論文リスト
- Reconstructing Close Human Interaction with Appearance and Proxemics Reasoning [50.76723760768117]
既存の人間のポーズ推定手法では、既存の映像からもっともらしい密接な相互作用を回復できない。
人間の外見は、これらの障害に対処するための簡単な手がかりとなる。
本研究では,人間の外見,社会的プロキシ,物理法則に制約された身体接触により,正確な対話動作を再構築するための2分岐最適化フレームワークを提案する。
論文 参考訳(メタデータ) (2025-07-03T12:19:26Z) - GRACE: Estimating Geometry-level 3D Human-Scene Contact from 2D Images [54.602947113980655]
人景接触の幾何レベルを推定することは、特定の接触面点を3次元の人間ジオメトリに接することを目的としている。
GRACE(Geometry-level Reasoning for 3D Human-scene Contact Estimation)は,3次元接触推定のための新しいパラダイムである。
ポイントクラウドエンコーダ/デコーダアーキテクチャと階層的特徴抽出と融合モジュールが組み込まれている。
論文 参考訳(メタデータ) (2025-05-10T09:25:46Z) - Closely Interactive Human Reconstruction with Proxemics and Physics-Guided Adaption [64.07607726562841]
既存の人間再建アプローチは主に、正確なポーズの回復や侵入を避けることに焦点を当てている。
本研究では,モノクロ映像から密に対話的な人間を再構築する作業に取り組む。
本稿では,視覚情報の欠如を補うために,確率的行動や物理からの知識を活用することを提案する。
論文 参考訳(メタデータ) (2024-04-17T11:55:45Z) - Beyond the Contact: Discovering Comprehensive Affordance for 3D Objects from Pre-trained 2D Diffusion Models [8.933560282929726]
我々はComprehensive Affordance(ComA)という新しい余裕表現を導入する。
3Dオブジェクトメッシュが与えられたとき、ComAは相互作用する人間のメッシュにおける相対配向と頂点の近接の分布をモデル化する。
ComAは、連絡先ベースの価格のモデリングにおいて、人間のアノテーションに依存している競争相手よりも優れていることを実証する。
論文 参考訳(メタデータ) (2024-01-23T18:59:59Z) - Graph-Based 3D Multi-Person Pose Estimation Using Multi-View Images [79.70127290464514]
我々は,タスクを2つの段階,すなわち人物のローカライゼーションとポーズ推定に分解する。
また,効率的なメッセージパッシングのための3つのタスク固有グラフニューラルネットワークを提案する。
提案手法は,CMU Panoptic と Shelf のデータセット上での最先端性能を実現する。
論文 参考訳(メタデータ) (2021-09-13T11:44:07Z) - Scene Synthesis via Uncertainty-Driven Attribute Synchronization [52.31834816911887]
本稿では,3次元シーンの多様な特徴パターンを捉えるニューラルシーン合成手法を提案する。
提案手法は,ニューラルネットワークと従来のシーン合成手法の双方の長所を結合する。
論文 参考訳(メタデータ) (2021-08-30T19:45:07Z) - DC-GNet: Deep Mesh Relation Capturing Graph Convolution Network for 3D
Human Shape Reconstruction [1.290382979353427]
本稿では,3次元形状復元のための形状補完タスクを備えたディープメッシュ・リレーション・キャプチャーグラフ・コンボリューション・ネットワーク(DC-GNet)を提案する。
我々のアプローチは、より遠い領域のノード間のより微妙な関係からメッシュ構造を符号化する。
形状完了モジュールは,屋外シーンの性能劣化問題を軽減する。
論文 参考訳(メタデータ) (2021-08-27T16:43:32Z) - Next-best-view Regression using a 3D Convolutional Neural Network [0.9449650062296823]
本論文では,次のベストビュー問題に対するデータ駆動アプローチを提案する。
提案手法は、次のベストビューのbtxtpositionを抑えるために、以前の再構成で3D畳み込みニューラルネットワークを訓練する。
提案手法を2つの実験グループを用いて検証した。
論文 参考訳(メタデータ) (2021-01-23T01:50:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。