論文の概要: TMHOI: Translational Model for Human-Object Interaction Detection
- arxiv url: http://arxiv.org/abs/2303.04253v3
- Date: Sat, 1 Jul 2023 15:44:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-04 14:10:37.635350
- Title: TMHOI: Translational Model for Human-Object Interaction Detection
- Title（参考訳）: TMHOI:人間と物体の相互作用検出のための翻訳モデル
- Authors: Lijing Zhu, Qizhen Lan, Alvaro Velasquez, Houbing Song, Acharya Kamal,
Qing Tian, Shuteng Niu
- Abstract要約: 人-物間相互作用(HOI)を検出するための革新的なグラフベースアプローチを提案する。
本手法は,空間的知識と意味的知識を統合することで,HOIの感情表現を効果的に捉える。
我々のアプローチは、既存の最先端のグラフベースの手法よりも大きなマージンで優れていた。
- 参考スコア（独自算出の注目度）: 18.804647133922195
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Detecting human-object interactions (HOIs) is an intricate challenge in the
field of computer vision. Existing methods for HOI detection heavily rely on
appearance-based features, but these may not fully capture all the essential
characteristics necessary for accurate detection. To overcome these challenges,
we propose an innovative graph-based approach called TMGHOI (Translational
Model for Human-Object Interaction Detection). Our method effectively captures
the sentiment representation of HOIs by integrating both spatial and semantic
knowledge. By representing HOIs as a graph, where the interaction components
serve as nodes and their spatial relationships as edges. To extract crucial
spatial and semantic information, TMGHOI employs separate spatial and semantic
encoders. Subsequently, these encodings are combined to construct a knowledge
graph that effectively captures the sentiment representation of HOIs.
Additionally, the ability to incorporate prior knowledge enhances the
understanding of interactions, further boosting detection accuracy. We
conducted extensive evaluations on the widely-used HICO-DET datasets to
demonstrate the effectiveness of TMGHOI. Our approach outperformed existing
state-of-the-art graph-based methods by a significant margin, showcasing its
potential as a superior solution for HOI detection. We are confident that
TMGHOI has the potential to significantly improve the accuracy and efficiency
of HOI detection. Its integration of spatial and semantic knowledge, along with
its computational efficiency and practicality, makes it a valuable tool for
researchers and practitioners in the computer vision community. As with any
research, we acknowledge the importance of further exploration and evaluation
on various datasets to establish the generalizability and robustness of our
proposed method.
- Abstract（参考訳）: 人間と物体の相互作用(HOI)を検出することは、コンピュータビジョンの分野における複雑な課題である。
既存のHOI検出法は外見に基づく特徴に大きく依存しているが、正確な検出に必要なすべての重要な特徴を十分に捉えているわけではない。
これらの課題を克服するために、TMGHOI (Translational Model for Human-Object Interaction Detection) と呼ばれる革新的なグラフベースのアプローチを提案する。
本手法は,空間的知識と意味的知識を統合することで,HOIの感情表現を効果的に捉える。
HOIをグラフとして表現することで、相互作用コンポーネントはノードとして機能し、空間関係はエッジとして機能する。
重要な空間的・意味的な情報を抽出するために、TMGHOIは別個の空間的・意味的エンコーダを用いる。
その後、これらのエンコーディングを組み合わせて知識グラフを構築し、HOIの感情表現を効果的にキャプチャする。
さらに、事前知識を組み込む能力は相互作用の理解を深め、検出精度をさらに向上させる。
広範に利用されているHICO-DETデータセットについて広範な評価を行い,TMGHOIの有効性を実証した。
提案手法は,既存のグラフベース手法を有意差で上回り,hoi検出の優れたソリューションとしての可能性を示した。
我々はTMGHOIがHOI検出の精度と効率を大幅に向上させる可能性があると確信している。
空間的・意味的知識と計算効率と実用性の統合は、コンピュータビジョンコミュニティの研究者や実践者にとって貴重なツールとなっている。
いずれの研究においても,提案手法の汎用性と堅牢性を確立するために,様々なデータセットのさらなる探索と評価の重要性を認めている。
関連論文リスト
- Enhancing HOI Detection with Contextual Cues from Large Vision-Language Models [56.257840490146]
ConCueは、HOI検出における視覚的特徴抽出を改善するための新しいアプローチである。
コンテクストキューをインスタンスと相互作用検出器の両方に統合するマルチトウワーアーキテクチャを用いたトランスフォーマーベースの特徴抽出モジュールを開発した。
論文 参考訳（メタデータ） (2023-11-26T09:11:32Z) - Know Thy Neighbors: A Graph Based Approach for Effective Sensor-Based
Human Activity Recognition in Smart Homes [0.0]
スマートホームにおけるヒューマンアクティビティ認識(HAR)のためのグラフ誘導ニューラルネットワーク手法を提案する。
スマートホームにおけるセンサネットワークを表す,より表現力のあるグラフ構造を学習することで,これを実現する。
本手法は,アテンション機構の適用により,個別の入力センサ計測を特徴空間にマッピングする。
論文 参考訳（メタデータ） (2023-11-16T02:43:13Z) - Graph Convolutional Network with Connectivity Uncertainty for EEG-based
Emotion Recognition [20.655367200006076]
本研究では,脳波信号の空間依存性と時間スペクトルの相対性を表す分布に基づく不確実性手法を提案する。
グラフ混合手法は、遅延接続エッジを強化し、ノイズラベル問題を緩和するために用いられる。
感情認識タスクにおいて、SEEDとSEEDIVという2つの広く使われているデータセットに対するアプローチを評価した。
論文 参考訳（メタデータ） (2023-10-22T03:47:11Z) - HOKEM: Human and Object Keypoint-based Extension Module for Human-Object
Interaction Detection [1.2183405753834557]
本稿では、従来の検出モデルの精度を向上させるために、人およびオブジェクトキーポイントベースの拡張モジュール(HOKEM)を使いやすい拡張モジュールとして提案する。
HOIデータセットであるV-COCOを用いた実験では、HOKEMが外観ベースモデルの精度を大きなマージンで向上させた。
論文 参考訳（メタデータ） (2023-06-25T14:40:26Z) - TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。
実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。
評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
論文 参考訳（メタデータ） (2021-04-08T20:01:00Z) - DRG: Dual Relation Graph for Human-Object Interaction Detection [65.50707710054141]
人-物間相互作用(HOI)検出の課題に対処する。
既存の方法は、人間と物体の対の相互作用を独立に認識するか、複雑な外観に基づく共同推論を行う。
本稿では,抽象的空間意味表現を活用して,各対象対を記述し,二重関係グラフを用いてシーンの文脈情報を集約する。
論文 参考訳（メタデータ） (2020-08-26T17:59:40Z) - ConsNet: Learning Consistency Graph for Zero-Shot Human-Object
Interaction Detection [101.56529337489417]
画像中のHuman, Action, Object>の形のHOIインスタンスを検出・認識することを目的としたHuman-Object Interaction (HOI) Detectionの問題点を考察する。
我々は、オブジェクト、アクション、インタラクション間の多レベルコンパレンシーは、稀な、あるいは以前には見られなかったHOIのセマンティック表現を生成するための強力な手がかりであると主張している。
提案モデルでは,人-対象のペアの視覚的特徴とHOIラベルの単語埋め込みを入力とし,それらを視覚-意味的関節埋め込み空間にマッピングし,類似度を計測して検出結果を得る。
論文 参考訳（メタデータ） (2020-08-14T09:11:18Z) - Mining Implicit Entity Preference from User-Item Interaction Data for
Knowledge Graph Completion via Adversarial Learning [82.46332224556257]
本稿では,知識グラフ補完タスクにおけるユーザインタラクションデータを活用することで,新たな逆学習手法を提案する。
我々のジェネレータはユーザインタラクションデータから分離されており、識別器の性能を向上させるのに役立ちます。
利用者の暗黙の実体的嗜好を発見するために,グラフニューラルネットワークに基づく精巧な協調学習アルゴリズムを設計する。
論文 参考訳（メタデータ） (2020-03-28T05:47:33Z) - Graph Representation Learning via Graphical Mutual Information
Maximization [86.32278001019854]
本稿では,入力グラフとハイレベルな隠蔽表現との相関を測る新しい概念であるGMIを提案する。
我々は,グラフニューラルエンコーダの入力と出力の間でGMIを最大化することで訓練された教師なし学習モデルを開発する。
論文 参考訳（メタデータ） (2020-02-04T08:33:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。