論文の概要: Geometric Visual Fusion Graph Neural Networks for Multi-Person Human-Object Interaction Recognition in Videos

• arxiv url: http://arxiv.org/abs/2506.03440v2
• Date: Thu, 05 Jun 2025 11:08:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 14:14:43.181717
• Title: Geometric Visual Fusion Graph Neural Networks for Multi-Person Human-Object Interaction Recognition in Videos
• Title（参考訳）: ビデオにおける多対人物体相互作用認識のための幾何学的ビジュアルフュージョングラフニューラルネットワーク
• Authors: Tanqiu Qiao, Ruochen Li, Frederick W. B. Li, Yoshiki Kubotani, Shigeo Morishima, Hubert P. H. Shum,
• Abstract要約: ビデオにおけるHuman-Object Interaction(HOI)認識には、時間とともに進化していく視覚的パターンと幾何学的関係の両方を理解する必要がある。 本稿では,相互依存型実体グラフ学習と組み合わせた2重アテンション特徴フュージョンを用いたGeometric Visual Fusion Graph Neural Network (GeoVis-GNN)を提案する。 実世界のシナリオにHOI認識を前進させるために、コンカレント部分的相互作用データセットを導入する。
• 参考スコア（独自算出の注目度）: 14.198003271084799
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human-Object Interaction (HOI) recognition in videos requires understanding both visual patterns and geometric relationships as they evolve over time. Visual and geometric features offer complementary strengths. Visual features capture appearance context, while geometric features provide structural patterns. Effectively fusing these multimodal features without compromising their unique characteristics remains challenging. We observe that establishing robust, entity-specific representations before modeling interactions helps preserve the strengths of each modality. Therefore, we hypothesize that a bottom-up approach is crucial for effective multimodal fusion. Following this insight, we propose the Geometric Visual Fusion Graph Neural Network (GeoVis-GNN), which uses dual-attention feature fusion combined with interdependent entity graph learning. It progressively builds from entity-specific representations toward high-level interaction understanding. To advance HOI recognition to real-world scenarios, we introduce the Concurrent Partial Interaction Dataset (MPHOI-120). It captures dynamic multi-person interactions involving concurrent actions and partial engagement. This dataset helps address challenges like complex human-object dynamics and mutual occlusions. Extensive experiments demonstrate the effectiveness of our method across various HOI scenarios. These scenarios include two-person interactions, single-person activities, bimanual manipulations, and complex concurrent partial interactions. Our method achieves state-of-the-art performance.
• Abstract（参考訳）: ビデオにおけるHuman-Object Interaction(HOI)認識には、時間とともに進化していく視覚的パターンと幾何学的関係の両方を理解する必要がある。 視覚的特徴と幾何学的特徴は相補的な強みを提供する。 視覚的特徴は外観コンテキストをキャプチャし、幾何学的特徴は構造パターンを提供する。 これらのマルチモーダルな特徴を独特な特徴を損なうことなく効果的に融合することは依然として困難である。 我々は、相互作用をモデル化する前に、堅牢でエンティティ固有の表現を確立することが、各モダリティの強みを維持するのに役立つことを観察する。 したがって、ボトムアップアプローチは効果的なマルチモーダル融合に不可欠であると仮定する。 この知見に従えば,デュアルアテンション機能融合と相互依存型実体グラフ学習を組み合わせたGeometric Visual Fusion Graph Neural Network (GeoVis-GNN)を提案する。 高レベルの相互作用理解に向けて、エンティティ固有の表現から徐々に構築される。 実世界のシナリオにHOI認識を前進させるため,MPHOI-120(Concurrent partial Interaction Dataset)を導入する。 同時アクションと部分的エンゲージメントを含む動的多人数インタラクションをキャプチャする。 このデータセットは、複雑な人間オブジェクトのダイナミクスや相互閉塞といった課題に対処するのに役立つ。 広範囲にわたる実験により,本手法の有効性が実証された。 これらのシナリオには、双方向の相互作用、単一個人活動、双方向操作、複雑な同時部分的相互作用が含まれる。 本手法は最先端の性能を実現する。

関連論文リスト

• Visual-Geometric Collaborative Guidance for Affordance Learning [63.038406948791454]
  本稿では,視覚的・幾何学的手がかりを取り入れた視覚・幾何学的協調学習ネットワークを提案する。 本手法は,客観的指標と視覚的品質の代表的なモデルより優れている。
  論文  参考訳（メタデータ） (2024-10-15T07:35:51Z)
• From Category to Scenery: An End-to-End Framework for Multi-Person Human-Object Interaction Recognition in Videos [9.159660801125812]
  ビデオベースのヒューマンオブジェクトインタラクション(HOI)認識は、人間とオブジェクトの間の複雑なダイナミクスを探索する。 本研究では,シーンフレームワークCATSに新たなエンドツーエンドカテゴリを提案する。 我々は,これらの拡張幾何学的視覚的特徴をノードとして構成し,人間とオブジェクトのカテゴリ間の関係を学習する。
  論文  参考訳（メタデータ） (2024-07-01T02:42:55Z)
• Learning Mutual Excitation for Hand-to-Hand and Human-to-Human Interaction Recognition [21.007782102151282]
  相互励起グラフ畳み込み層を積み重ねた相互励起グラフ畳み込みネットワーク(me-GCN)を提案する。 Me-GCは各レイヤとグラフ畳み込み操作の各ステージで相互情報を学習する。 提案するme-GCは,最先端GCN法およびTransformer法より優れている。
  論文  参考訳（メタデータ） (2024-02-04T10:00:00Z)
• Enhancing HOI Detection with Contextual Cues from Large Vision-Language Models [56.257840490146]
  ConCueは、HOI検出における視覚的特徴抽出を改善するための新しいアプローチである。 コンテクストキューをインスタンスと相互作用検出器の両方に統合するマルチトウワーアーキテクチャを用いたトランスフォーマーベースの特徴抽出モジュールを開発した。
  論文  参考訳（メタデータ） (2023-11-26T09:11:32Z)
• Two-stream Multi-level Dynamic Point Transformer for Two-person Interaction Recognition [45.0131792009999]
  本稿では,2人インタラクション認識のための2ストリームマルチレベル動的ポイント変換器を提案する。 本モデルでは,局所空間情報,外観情報,動作情報を組み込むことで,対人インタラクションを認識するという課題に対処する。 我々のネットワークは、ほとんどの標準的な評価設定において最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2023-07-22T03:51:32Z)
• Geometric Features Informed Multi-person Human-object Interaction Recognition in Videos [19.64072251418535]
  我々は、HOI認識における視覚的特徴と幾何学的特徴の両方の利点を組み合わせることを主張する。 本稿では,2G-GCN (2-level Geometric feature-informed Graph Convolutional Network) を提案する。 挑戦シナリオにおける本手法の新規性と有効性を示すために,新しい多人数HOIデータセット(MPHOI-72)を提案する。
  論文  参考訳（メタデータ） (2022-07-19T17:36:55Z)
• Spatio-Temporal Interaction Graph Parsing Networks for Human-Object Interaction Recognition [55.7731053128204]
  ビデオに基づくヒューマンオブジェクトインタラクションシーンでは、人間とオブジェクトの時間的関係をモデル化することが、ビデオに提示されるコンテキスト情報を理解するための重要な手がかりである。 実効時間関係モデリングでは、各フレームの文脈情報を明らかにするだけでなく、時間間の依存関係を直接キャプチャすることもできる。 外観特徴、空間的位置、意味情報のフル活用は、ビデオベースのヒューマンオブジェクトインタラクション認識性能を改善する鍵でもある。
  論文  参考訳（メタデータ） (2021-08-19T11:57:27Z)
• DRG: Dual Relation Graph for Human-Object Interaction Detection [65.50707710054141]
  人-物間相互作用(HOI)検出の課題に対処する。 既存の方法は、人間と物体の対の相互作用を独立に認識するか、複雑な外観に基づく共同推論を行う。 本稿では,抽象的空間意味表現を活用して,各対象対を記述し,二重関係グラフを用いてシーンの文脈情報を集約する。
  論文  参考訳（メタデータ） (2020-08-26T17:59:40Z)
• Cascaded Human-Object Interaction Recognition [175.60439054047043]
  マルチステージで粗大なHOI理解のためのカスケードアーキテクチャを提案する。 各段階で、インスタンスローカライゼーションネットワークは、HOI提案を段階的に洗練し、インタラクション認識ネットワークにフィードする。 慎重に設計された人間中心の関係機能により、これらの2つのモジュールは効果的な相互作用理解に向けて協調的に機能する。
  論文  参考訳（メタデータ） (2020-03-09T17:05:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。