Fugu-MT 論文翻訳(概要): SKGHOI: Spatial-Semantic Knowledge Graph for Human-Object Interaction Detection

論文の概要: SKGHOI: Spatial-Semantic Knowledge Graph for Human-Object Interaction Detection

arxiv url: http://arxiv.org/abs/2303.04253v1
Date: Tue, 7 Mar 2023 21:52:10 GMT
ステータス: 処理完了
システム内更新日: 2023-03-09 15:56:39.248346
Title: SKGHOI: Spatial-Semantic Knowledge Graph for Human-Object Interaction Detection
Title（参考訳）: SKGHOI:人間と物体の相互作用検出のための空間意味知識グラフ
Authors: Lijing Zhu, Qizhen Lan, Alvaro Velasquez, Houbing Song, Acharya Kamal, Qing Tian, Shuteng Niu
Abstract要約: 人-物間相互作用(HOI)を検出するグラフベースの手法を提案する。グラフでは、SKGHOIは相互作用のコンポーネントをノードとして、それらの間の空間的関係をエッジとして取ります。提案手法では,空間エンコーダと意味エンコーダを用いて,空間情報と意味情報をそれぞれ抽出し,これらのエンコーダを組み合わせて,HOIの感情表現をキャプチャする知識グラフを作成する。
参考スコア（独自算出の注目度）: 18.804647133922195
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Detecting human-object interactions (HOIs) is a challenging problem in computer vision. Existing techniques for HOI detection heavily rely on appearance-based features, which may not capture other essential characteristics for accurate detection. Furthermore, the use of transformer-based models for sentiment representation of human-object pairs can be computationally expensive. To address these challenges, we propose a novel graph-based approach, SKGHOI (Spatial-Semantic Knowledge Graph for Human-Object Interaction Detection), that effectively captures the sentiment representation of HOIs by integrating both spatial and semantic knowledge. In a graph, SKGHOI takes the components of interaction as nodes, and the spatial relationships between them as edges. Our approach employs a spatial encoder and a semantic encoder to extract spatial and semantic information, respectively, and then combines these encodings to create a knowledge graph that captures the sentiment representation of HOIs. Compared to existing techniques, SKGHOI is computationally efficient and allows for the incorporation of prior knowledge, making it practical for use in real-world applications. We demonstrate the effectiveness of our proposed method on the widely-used HICO-DET datasets, where it outperforms existing state-of-the-art graph-based methods by a significant margin. Our results indicate that the SKGHOI approach has the potential to significantly improve the accuracy and efficiency of HOI detection, and we anticipate that it will be of great interest to researchers and practitioners working on this challenging task.
Abstract（参考訳）: 人間と物体の相互作用(HOI)を検出することは、コンピュータビジョンにおいて難しい問題である。既存のHOI検出技術は外観に基づく特徴に大きく依存しており、正確な検出には他の重要な特徴を捉えない可能性がある。さらに,トランスフォーマーモデルを用いた人-物対の感情表現は,計算コストがかかる。これらの課題に対処するために,空間的知識と意味的知識を統合することにより,HOIの感情表現を効果的に捉える新しいグラフベースアプローチであるSKGHOI(Spatial-Semantic Knowledge Graph for Human-Object Interaction Detection)を提案する。グラフでは、SKGHOIは相互作用のコンポーネントをノードとして、それらの間の空間的関係をエッジとして取ります。提案手法では,空間エンコーダと意味エンコーダを用いて,空間情報と意味情報をそれぞれ抽出し,これらのエンコーダを組み合わせて,HOIの感情表現をキャプチャする知識グラフを作成する。既存の技術と比較して、skghoiは計算効率が高く、事前知識の組み込みが可能であり、実世界のアプリケーションでの使用に実用的である。提案手法は,既存の最先端グラフベース手法をかなりのマージンで上回る,広く使用されているhco-detデータセット上での有効性を示す。以上の結果から,skghoiアプローチはhoi検出の精度と効率を大幅に向上させる可能性を示唆し,この課題に取り組む研究者や実践者にとって大きな関心事となることを期待した。

関連論文リスト

Enhancing HOI Detection with Contextual Cues from Large Vision-Language Models [56.257840490146]
ConCueは、HOI検出における視覚的特徴抽出を改善するための新しいアプローチである。コンテクストキューをインスタンスと相互作用検出器の両方に統合するマルチトウワーアーキテクチャを用いたトランスフォーマーベースの特徴抽出モジュールを開発した。
論文参考訳（メタデータ） (2023-11-26T09:11:32Z)
Know Thy Neighbors: A Graph Based Approach for Effective Sensor-Based Human Activity Recognition in Smart Homes [0.0]
スマートホームにおけるヒューマンアクティビティ認識(HAR)のためのグラフ誘導ニューラルネットワーク手法を提案する。スマートホームにおけるセンサネットワークを表す,より表現力のあるグラフ構造を学習することで,これを実現する。本手法は,アテンション機構の適用により,個別の入力センサ計測を特徴空間にマッピングする。
論文参考訳（メタデータ） (2023-11-16T02:43:13Z)
Graph Convolutional Network with Connectivity Uncertainty for EEG-based Emotion Recognition [20.655367200006076]
本研究では,脳波信号の空間依存性と時間スペクトルの相対性を表す分布に基づく不確実性手法を提案する。グラフ混合手法は、遅延接続エッジを強化し、ノイズラベル問題を緩和するために用いられる。感情認識タスクにおいて、SEEDとSEEDIVという2つの広く使われているデータセットに対するアプローチを評価した。
論文参考訳（メタデータ） (2023-10-22T03:47:11Z)
HOKEM: Human and Object Keypoint-based Extension Module for Human-Object Interaction Detection [1.2183405753834557]
本稿では、従来の検出モデルの精度を向上させるために、人およびオブジェクトキーポイントベースの拡張モジュール(HOKEM)を使いやすい拡張モジュールとして提案する。 HOIデータセットであるV-COCOを用いた実験では、HOKEMが外観ベースモデルの精度を大きなマージンで向上させた。
論文参考訳（メタデータ） (2023-06-25T14:40:26Z)
TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
論文参考訳（メタデータ） (2021-04-08T20:01:00Z)
DRG: Dual Relation Graph for Human-Object Interaction Detection [65.50707710054141]
人-物間相互作用(HOI)検出の課題に対処する。既存の方法は、人間と物体の対の相互作用を独立に認識するか、複雑な外観に基づく共同推論を行う。本稿では,抽象的空間意味表現を活用して,各対象対を記述し,二重関係グラフを用いてシーンの文脈情報を集約する。
論文参考訳（メタデータ） (2020-08-26T17:59:40Z)
ConsNet: Learning Consistency Graph for Zero-Shot Human-Object Interaction Detection [101.56529337489417]
画像中のHuman, Action, Object>の形のHOIインスタンスを検出・認識することを目的としたHuman-Object Interaction (HOI) Detectionの問題点を考察する。我々は、オブジェクト、アクション、インタラクション間の多レベルコンパレンシーは、稀な、あるいは以前には見られなかったHOIのセマンティック表現を生成するための強力な手がかりであると主張している。提案モデルでは,人-対象のペアの視覚的特徴とHOIラベルの単語埋め込みを入力とし,それらを視覚-意味的関節埋め込み空間にマッピングし,類似度を計測して検出結果を得る。
論文参考訳（メタデータ） (2020-08-14T09:11:18Z)
Mining Implicit Entity Preference from User-Item Interaction Data for Knowledge Graph Completion via Adversarial Learning [82.46332224556257]
本稿では,知識グラフ補完タスクにおけるユーザインタラクションデータを活用することで,新たな逆学習手法を提案する。我々のジェネレータはユーザインタラクションデータから分離されており、識別器の性能を向上させるのに役立ちます。利用者の暗黙の実体的嗜好を発見するために,グラフニューラルネットワークに基づく精巧な協調学習アルゴリズムを設計する。
論文参考訳（メタデータ） (2020-03-28T05:47:33Z)
Graph Representation Learning via Graphical Mutual Information Maximization [86.32278001019854]
本稿では,入力グラフとハイレベルな隠蔽表現との相関を測る新しい概念であるGMIを提案する。我々は,グラフニューラルエンコーダの入力と出力の間でGMIを最大化することで訓練された教師なし学習モデルを開発する。
論文参考訳（メタデータ） (2020-02-04T08:33:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。