論文の概要: Beyond Pairwise Relations: Dynamic Manipulation Hypergraphs for Vision-Based Human Activity Recognition
- arxiv url: http://arxiv.org/abs/2607.14350v2
- Date: Mon, 20 Jul 2026 09:32:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 14:24:57.564009
- Title: Beyond Pairwise Relations: Dynamic Manipulation Hypergraphs for Vision-Based Human Activity Recognition
- Title（参考訳）: ペアワイズを超えて:視覚に基づく人間活動認識のための動的マニピュレーションハイパーグラフ
- Abstract要約: きめ細かい操作認識には、手、オブジェクト、ツール、および支持面の間の進化する関係をモデル化する必要がある。
マルチエンタリティ構成を高次リレーショナル単位として表現する動的操作ハイパーグラフフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fine-grained manipulation recognition requires modeling evolving relations among hands, objects, tools, and supporting surfaces. Conventional graph-based methods use pairwise edges that can fragment a coordinated event into disconnected binary relations. We propose a dynamic manipulation hypergraph framework that represents multi-entity configurations as higher-order relational units. At each temporal step, relevant entities are encoded using appearance, spatial, motion, and semantic-role features. Hyperedge candidates are instantiated and ranked using proximity, contact, and motion-coupling predicates. A hypergraph reasoning network performs node-to-hyperedge and hyperedge-to-node message passing, followed by temporal attention over the evolving interaction structure. The framework provides class-agnostic hyperedge-importance scores that identify entity configurations and temporal intervals emphasized by the model without treating them as causal explanations. Quantitative evaluation is conducted on EPIC-KITCHENS-100/VISOR and Assembly101 under an annotation-assisted entity-localization protocol. Video-only and entity-based methods provide contextual comparisons, while a matched pairwise graph and a static hypergraph serve as the principal controlled baselines because they use identical entity inputs and comparable relational settings. The proposed method improves HO-F1 over the matched pairwise graph by 6.9 percentage points on EPIC-KITCHENS-100/VISOR and 9.5 points on Assembly101, and exceeds the static hypergraph by 4.4 and 5.8 points, respectively. Qualitative analysis on ARCTIC further shows correspondence between highly ranked hyperedges and contact-rich manipulation intervals. These results demonstrate the value of time-varying higher-order relational modeling for fine-grained manipulation activity recognition.
- Abstract（参考訳）: きめ細かい操作認識には、手、オブジェクト、ツール、および支持面の間の進化する関係をモデル化する必要がある。
従来のグラフベースの手法では、協調したイベントを非連結なバイナリ関係に断片化することができるペアワイズエッジを使用する。
マルチエンタリティ構成を高次リレーショナル単位として表現する動的操作ハイパーグラフフレームワークを提案する。
各時間ステップにおいて、関連エンティティは、外観、空間、動き、意味的ロール特徴を使用して符号化される。
ハイパーエッジ候補は、近接、接触、動き結合の述語を用いてインスタンス化されランク付けされる。
ハイパーグラフ推論ネットワークは、ノード間およびハイパーエッジ間メッセージパッシングを行い、その後、進化する相互作用構造に対して時間的注意を払う。
このフレームワークは、モデルによって強調されるエンティティ構成と時間間隔を因果的説明として扱うことなく識別する、クラスに依存しないハイパーエッジ重要スコアを提供する。
アノテーション支援エンティティローカライゼーションプロトコルを用いてEPIC-KITCHENS-100/VISORおよびアセンブリ101上で定量的評価を行う。
ビデオのみの手法とエンティティベースの手法はコンテキスト比較を提供するが、一致したペアワイズグラフと静的ハイパーグラフは同一のエンティティ入力と同等のリレーショナル設定を使用するため、主制御ベースラインとして機能する。
提案手法は,EPIC-KITCHENS-100/VISORでは6.9ポイント,アセンブリ101では9.5ポイント,静的ハイパーグラフでは4.4ポイント,5.8ポイントでHO-F1を改善する。
ARCTICの質的解析は、高いランクのハイパーエッジとコンタクトリッチな操作間隔の対応を示す。
これらの結果は、微粒な操作動作認識のための時間変化高次関係モデリングの価値を示す。
関連論文リスト
- Inter-X++: A Comprehensive Benchmark for Multimodal Human-Human Interaction Analysis [55.78822230833247]
We present Inter-X++, a comprehensive and large-scale benchmark designed to empower useful HHI analysis。
インターX++は11,388個の高忠実な相互作用シーケンスと8.1Mフレームを提供する。
インタラクションの再構築と意味理解を協調的に最適化する,単一かつ統一されたHHI表現とモデリングフレームワークOpenHHIを提案する。
論文 参考訳（メタデータ） (2026-08-20T17:51:48Z) - Edge-Centric Relational Reasoning for 3D Scene Graph Prediction [74.19580969696898]
3Dシーングラフ予測は、複雑な3D環境をオブジェクトとそのペア関係からなる構造化グラフに抽象化することを目的としている。
既存のアプローチでは、接続されたオブジェクトノードからメッセージを集約することで、関係エッジ機能を反復的に更新するオブジェクト中心のグラフニューラルネットワークが一般的である。
本稿では,オブジェクト認識融合を用いたリンク誘導エッジ中心関係推論フレームワークを提案する。
論文 参考訳（メタデータ） (2025-11-19T09:53:56Z) - SEP-GCN: Leveraging Similar Edge Pairs with Temporal and Spatial Contexts for Location-Based Recommender Systems [0.0]
SEP-GCNは、文脈的に類似した相互作用エッジのペアから学習する新しいグラフベースのレコメンデーションフレームワークである。
SEP-GCNは、類似の時間的ウィンドウや地理的近接で発生するエッジペアを識別することにより、コンテキスト的類似性リンクでユーザ-itemグラフを拡張する。
ベンチマークデータセットの実験では、SEP-GCNは予測精度とロバスト性の両方において、強いベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2025-06-19T03:48:30Z) - SoftHGNN: Soft Hypergraph Neural Networks for General Visual Recognition [19.88933136559363]
ハイパーグラフは高次相互作用をモデル化することによって従来のグラフを拡張する。
既存のハイパーグラフニューラルネットワークは通常、静的およびハードなハイパーエッジ割り当てに依存している。
本稿では,ハイパーグラフ計算の方法論を拡張したソフトハイパーグラフニューラルネットワーク(SoftHGNN)を提案する。
論文 参考訳（メタデータ） (2025-05-21T10:01:30Z) - Deep Representation Learning for Forecasting Recursive and Multi-Relational Events in Temporal Networks [12.142292322071299]
この研究は、マルチリレーショナルで再帰的な高次相互作用イベントを予測する問題に対処する。
提案したモデルであるtextitRelational Recursive Hyperedge Temporal Point Process (RRHyperTPP) は,歴史的相互作用パターンに基づいて動的ノード表現を学習するエンコーダを使用する。
本研究では,モデルパラメータを学習するためのノイズコントラスト推定法を開発し,従来のインタラクション予測手法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2024-04-27T15:46:54Z) - Hypergraph Transformer for Semi-Supervised Classification [50.92027313775934]
我々は新しいハイパーグラフ学習フレームワークHyperGraph Transformer(HyperGT)を提案する。
HyperGTはTransformerベースのニューラルネットワークアーキテクチャを使用して、すべてのノードとハイパーエッジのグローバル相関を効果的に検討する。
局所接続パターンを保ちながら、グローバルな相互作用を効果的に組み込むことで、包括的なハイパーグラフ表現学習を実現する。
論文 参考訳（メタデータ） (2023-12-18T17:50:52Z) - From Hypergraph Energy Functions to Hypergraph Neural Networks [94.88564151540459]
パラメータ化されたハイパーグラフ正規化エネルギー関数の表現型族を示す。
次に、これらのエネルギーの最小化がノード埋め込みとして効果的に機能することを実証する。
提案した双レベルハイパーグラフ最適化と既存のGNNアーキテクチャを共通的に用いている。
論文 参考訳（メタデータ） (2023-06-16T04:40:59Z) - HIORE: Leveraging High-order Interactions for Unified Entity Relation
Extraction [85.80317530027212]
本稿では,統合エンティティ関係抽出のための新しい手法であるHIOREを提案する。
重要な洞察は、単語ペア間の複雑な関連を活用することである。
実験の結果,HIOREは従来最高の統一モデルよりも1.11.8 F1ポイント向上した。
論文 参考訳（メタデータ） (2023-05-07T14:57:42Z) - Multi-Task Edge Prediction in Temporally-Dynamic Video Graphs [16.121140184388786]
MTD-GNNは,複数種類の関係に対して時間動的エッジを予測するグラフネットワークである。
時間-動的グラフネットワークにおける複数の関係をモデル化することは相互に有益であることを示す。
論文 参考訳（メタデータ） (2022-12-06T10:41:00Z) - Modelling Neighbor Relation in Joint Space-Time Graph for Video
Correspondence Learning [53.74240452117145]
本稿では、ラベルなしビデオから信頼できる視覚対応を学習するための自己教師付き手法を提案する。
接続時空間グラフでは,ノードがフレームからサンプリングされたグリッドパッチであり,2種類のエッジによってリンクされる。
学習した表現は、様々な視覚的タスクにおいて最先端の自己監督手法よりも優れています。
論文 参考訳（メタデータ） (2021-09-28T05:40:01Z) - Learning over Families of Sets -- Hypergraph Representation Learning for
Higher Order Tasks [12.28143554382742]
可変サイズのハイパーエッジの表現を実証的に表現するためのハイパーグラフニューラルネットワークを開発した。
複数の実世界のハイパーグラフデータセットのパフォーマンスを評価し、最新モデルよりも一貫性のある大幅な精度向上を実証します。
論文 参考訳（メタデータ） (2021-01-19T18:37:50Z) - ConsNet: Learning Consistency Graph for Zero-Shot Human-Object
Interaction Detection [101.56529337489417]
画像中のHuman, Action, Object>の形のHOIインスタンスを検出・認識することを目的としたHuman-Object Interaction (HOI) Detectionの問題点を考察する。
我々は、オブジェクト、アクション、インタラクション間の多レベルコンパレンシーは、稀な、あるいは以前には見られなかったHOIのセマンティック表現を生成するための強力な手がかりであると主張している。
提案モデルでは,人-対象のペアの視覚的特徴とHOIラベルの単語埋め込みを入力とし,それらを視覚-意味的関節埋め込み空間にマッピングし,類似度を計測して検出結果を得る。
論文 参考訳（メタデータ） (2020-08-14T09:11:18Z) - A Graph-based Interactive Reasoning for Human-Object Interaction
Detection [71.50535113279551]
本稿では,HOIを推論するインタラクティブグラフ(Interactive Graph, in-Graph)という,グラフに基づくインタラクティブ推論モデルを提案する。
In-GraphNet と呼ばれる HOI を検出するための新しいフレームワークを構築した。
私たちのフレームワークはエンドツーエンドのトレーニングが可能で、人間のポーズのような高価なアノテーションはありません。
論文 参考訳（メタデータ） (2020-07-14T09:29:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。