論文の概要: InterMesh: Explicit Interaction-Aware End-to-End Multi-Person Human Mesh Recovery
- arxiv url: http://arxiv.org/abs/2605.04554v2
- Date: Thu, 14 May 2026 10:49:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-16 05:45:36.75249
- Title: InterMesh: Explicit Interaction-Aware End-to-End Multi-Person Human Mesh Recovery
- Title(参考訳): InterMesh: 対話を意識したエンドツーエンドのマルチパーソン・ヒューマンメッシュリカバリ
- Authors: Kaili Zheng, Kaiwen Wang, Xun Zhu, Chenyi Guo, Ji Wu,
- Abstract要約: 我々は、人間-環境相互作用情報を人間のメッシュ回復パイプラインに明示的に組み込むフレームワークであるInterMeshを提案する。
ヒューマンオブジェクトのインタラクション検出を活用することで、InterMeshはクエリ表現を構造化されたインタラクションセマンティクスで強化する。
我々はInterMeshがMPJPEをCMUパノプティクスで9.9%、Hi4Dで8.2%削減し、複雑な人・物・人間間相互作用のシナリオでの有効性を強調した。
- 参考スコア(独自算出の注目度): 10.775235551070084
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Humans constantly interact with their surroundings. Existing end-to-end multi-person human mesh recovery methods, typically based on the DETR framework, capture inter-human relationships through self-attention across all human queries. However, these approaches model interactions only implicitly and lack explicit reasoning about how humans interact with objects and with each other. In this paper, we propose InterMesh, a simple yet effective framework that explicitly incorporates human-environment interaction information into human mesh recovery pipeline. By leveraging a human-object interaction detector, InterMesh enriches query representations with structured interaction semantics, enabling more accurate pose and shape estimation. We design lightweight modules, Contextual Interaction Encoder and Interaction-Guided Refiner, to integrate these features into existing HMR architectures with minimal overhead. We validate our approach through extensive experiments on 3DPW, MuPoTS, CMU Panoptic, Hi4D, and CHI3D datasets, demonstrating remarkable improvements over state-of-the-art methods. Notably, InterMesh reduces MPJPE by 9.9% on CMU Panoptic and 8.2% on Hi4D, highlighting its effectiveness in scenarios with complex human-object and inter-human interactions. Code and models are released at https://github.com/Kelly510/InterMesh.
- Abstract(参考訳): 人間は周囲と常に交流する。
既存のエンドツーエンドのマルチパーソン・ヒューマンメッシュ・リカバリ手法(典型的にはDETRフレームワークをベースとした)は、すべての人間のクエリにまたがる自己アテンションを通じて、人間間の関係をキャプチャする。
しかしながら、これらのアプローチは相互作用を暗黙的にのみモデル化し、人間がオブジェクトと相互にどのように相互作用するかについての明確な推論を欠いている。
本稿では,人間と環境の相互作用情報を人間のメッシュ回復パイプラインに明示的に組み込む,シンプルで効果的なフレームワークであるInterMeshを提案する。
ヒューマンオブジェクトのインタラクション検出を活用することで、InterMeshはクエリ表現を構造化されたインタラクションセマンティクスで強化し、より正確なポーズと形状推定を可能にする。
我々は、これらの機能を最小限のオーバーヘッドで既存のHMRアーキテクチャに統合するために、軽量モジュールであるContextual Interaction EncoderとInteraction-Guided Refinerを設計します。
我々は,3DPW, MuPoTS, CMU Panoptic, Hi4D, CHI3Dデータセットに関する広範囲な実験を通じてアプローチを検証する。
注目すべきは、InterMeshはMPJPEをCMU Panopticで9.9%、Hi4Dで8.2%削減し、複雑な人・物・人間間相互作用のシナリオでの有効性を強調している。
コードとモデルはhttps://github.com/Kelly510/InterMesh.comで公開されている。
関連論文リスト
- HOIGS: Human-Object Interaction Gaussian Splatting [23.156838849980847]
複雑な人間とオブジェクトの相互作用で動的なシーンを再構築することは、コンピュータビジョンとグラフィックスの根本的な課題である。
本研究では,人間と物体間の相互作用による変形をモデル化したHuman-Object Interaction Gaussian Splatting (HOIGS)を提案する。
我々の手法は、最先端の人間中心と4Dガウスのアプローチを一貫して上回る。
論文 参考訳(メタデータ) (2026-04-05T08:27:28Z) - MMHOI: Modeling Complex 3D Multi-Human Multi-Object Interactions [20.96140289964853]
本稿では,12の日常シナリオの画像からなる大規模多目的インタラクションデータセットMMHOIを提案する。
MMHOIは、すべての人やオブジェクトに対して完全な3D形状とアノテーションを提供し、78のアクションカテゴリと14のインタラクション固有のボディパーツのラベルを提供する。
MMHOI-Netは、人間と物体の3次元空間、それらの相互作用、および関連する動作を共同で推定するエンド・ツー・エンドのトランスフォーマーベースのニューラルネットワークである。
論文 参考訳(メタデータ) (2025-10-09T06:18:12Z) - Enhancing HOI Detection with Contextual Cues from Large Vision-Language Models [56.257840490146]
ConCueは、HOI検出における視覚的特徴抽出を改善するための新しいアプローチである。
コンテクストキューをインスタンスと相互作用検出器の両方に統合するマルチトウワーアーキテクチャを用いたトランスフォーマーベースの特徴抽出モジュールを開発した。
論文 参考訳(メタデータ) (2023-11-26T09:11:32Z) - InterDiff: Generating 3D Human-Object Interactions with Physics-Informed
Diffusion [29.25063155767897]
本稿では,3次元物体相互作用(HOI)の予測に向けた新しい課題について述べる。
我々のタスクは、様々な形状の動的物体をモデリングし、全身の動きを捉え、物理的に有効な相互作用を確実にする必要があるため、はるかに困難である。
複数の人-物間相互作用データセットを用いた実験は,本手法の有効性を実証し,現実的で,鮮明で,かつ,極めて長期にわたる3D HOI予測を生成できることを示した。
論文 参考訳(メタデータ) (2023-08-31T17:59:08Z) - HODN: Disentangling Human-Object Feature for HOI Detection [51.48164941412871]
本稿では,Human and Object Disentangling Network (HODN) を提案し,Human-Object Interaction (HOI) の関係を明示的にモデル化する。
インタラクションに人間的特徴がより寄与していることを考慮し,インタラクションデコーダが人間中心の領域に焦点を当てていることを確認するためのヒューマンガイドリンク手法を提案する。
提案手法は,V-COCOとHICO-Det Linkingデータセットの競合性能を実現する。
論文 参考訳(メタデータ) (2023-08-20T04:12:50Z) - Full-Body Articulated Human-Object Interaction [61.01135739641217]
CHAIRSは16.2時間の多目的相互作用からなる大規模な動きキャプチャーされたf-AHOIデータセットである。
CHAIRSは、対話的なプロセス全体を通して、人間と明瞭なオブジェクトの両方の3Dメッシュを提供する。
HOIにおける幾何学的関係を学習することにより,人間のポーズ推定を利用した最初のモデルが考案された。
論文 参考訳(メタデータ) (2022-12-20T19:50:54Z) - RobustFusion: Robust Volumetric Performance Reconstruction under
Human-object Interactions from Monocular RGBD Stream [27.600873320989276]
現実のシナリオでは、さまざまなオブジェクトと複雑な相互作用を持つ人間のパフォーマンスの高品質の4D再構築が不可欠です。
近年の進歩は、信頼性の高い性能回復には至っていない。
人間と物体のインタラクションシナリオのための堅牢なボリュームパフォーマンス再構築システムであるRobustFusionを提案する。
論文 参考訳(メタデータ) (2021-04-30T08:41:45Z) - Learning Human-Object Interaction Detection using Interaction Points [140.0200950601552]
本研究では,人間と物体の相互作用を直接検出する新しい完全畳み込み手法を提案する。
我々のネットワークは相互作用点を予測し、その相互作用を直接ローカライズし、分類する。
V-COCOとHICO-DETの2つの人気のあるベンチマークで実験が行われる。
論文 参考訳(メタデータ) (2020-03-31T08:42:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。