論文の概要: ST-HOI: A Spatial-Temporal Baseline for Human-Object Interaction Detection in Videos

• arxiv url: http://arxiv.org/abs/2105.11731v1
• Date: Tue, 25 May 2021 07:54:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-26 14:07:14.676215
• Title: ST-HOI: A Spatial-Temporal Baseline for Human-Object Interaction Detection in Videos
• Title（参考訳）: ST-HOI:ビデオにおける人間と物体の相互作用検出のための時空間ベースライン
• Authors: Meng-Jiun Chiou, Chun-Yu Liao, Li-Wei Wang, Roger Zimmermann and Jiashi Feng
• Abstract要約: 時空間HoI検出(ST-HOI)という,シンプルで効果的なアーキテクチャを提案する。 我々は、人や物体の軌跡、正しく位置付けられた視覚的特徴、空間的マスキングのポーズ特徴などの時間的情報を利用する。 我々は、VidHOIと呼ばれる新しいビデオHOIベンチマークを構築し、提案手法は安定したベースラインとして機能する。
• 参考スコア（独自算出の注目度）: 91.29436920371003
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Detecting human-object interactions (HOI) is an important step toward a comprehensive visual understanding of machines. While detecting non-temporal HOIs (e.g., sitting on a chair) from static images is feasible, it is unlikely even for humans to guess temporal-related HOIs (e.g., opening/closing a door) from a single video frame, where the neighboring frames play an essential role. However, conventional HOI methods operating on only static images have been used to predict temporal-related interactions, which is essentially guessing without temporal contexts and may lead to sub-optimal performance. In this paper, we bridge this gap by detecting video-based HOIs with explicit temporal information. We first show that a naive temporal-aware variant of a common action detection baseline does not work on video-based HOIs due to a feature-inconsistency issue. We then propose a simple yet effective architecture named Spatial-Temporal HOI Detection (ST-HOI) utilizing temporal information such as human and object trajectories, correctly-localized visual features, and spatial-temporal masking pose features. We construct a new video HOI benchmark dubbed VidHOI where our proposed approach serves as a solid baseline.
• Abstract（参考訳）: ヒューマンオブジェクトインタラクション(HOI)の検出は、機械の包括的な視覚的理解に向けた重要なステップである。 静止画像から非時間的HOI(例えば椅子)を検出することは不可能であるが、隣接するフレームが重要な役割を果たす単一のビデオフレームから時間的関連HOI(例えばドアの開閉)を推測することは不可能である。 しかし、静的画像のみで動作する従来のHOI法は、時間的文脈を使わずに時間的関係を予測し、準最適性能をもたらす可能性がある。 本稿では,このギャップをビデオベースのHOIを明示的な時間情報で検出することで橋渡しする。 まず,共通動作検出ベースラインのナイーブな時間認識型は,機能的不整合の問題によりビデオベースのhoisでは動作しないことを示す。 次に、人や物体の軌跡、正確な局所化視覚特徴、空間的マスキングのポーズ特徴などの時間的情報を利用した、時空間HoI検出(ST-HOI)という、シンプルで効果的なアーキテクチャを提案する。 我々はVidHOIと呼ばれる新しいビデオHOIベンチマークを構築し、提案手法は安定したベースラインとして機能する。

関連論文リスト

• Human-Object Interaction Prediction in Videos through Gaze Following [9.61701724661823]
  我々は、現在のHOIを検出し、将来のHOIをビデオで予測するためのフレームワークを設計する。 我々は、人間がオブジェクトと対話する前にしばしば固定するので、人間の情報を活用することを提案する。 我々のモデルは、日々の生活を捉えたビデオを含むVidHOIデータセットで訓練され、検証されている。
  論文  参考訳（メタデータ） (2023-06-06T11:36:14Z)
• Spatial Parsing and Dynamic Temporal Pooling networks for Human-Object Interaction detection [30.896749712316222]
  本稿では,空間的パーシングと動的テンポリング(SPDTP)ネットワークについて紹介する。 我々はCAD-120およびSome-Elseデータセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-06-07T07:26:06Z)
• STAU: A SpatioTemporal-Aware Unit for Video Prediction and Beyond [78.129039340528]
  本稿では,映像予測などのための時間認識ユニット(STAU)を提案する。 我々のSTAUは、性能と効率の点で、全てのタスクにおける他のメソッドよりも優れています。
  論文  参考訳（メタデータ） (2022-04-20T13:42:51Z)
• Implicit Motion Handling for Video Camouflaged Object Detection [60.98467179649398]
  本稿では,新しいビデオカモフラージュオブジェクト検出(VCOD)フレームワークを提案する。 短期的および長期的整合性を利用して、ビデオフレームからカモフラージュされたオブジェクトを検出する。
  論文  参考訳（メタデータ） (2022-03-14T17:55:41Z)
• Video Salient Object Detection via Contrastive Features and Attention Modules [106.33219760012048]
  本稿では,注目モジュールを持つネットワークを用いて,映像の有意な物体検出のためのコントラスト特徴を学習する。 コアテンションの定式化は、低レベル特徴と高レベル特徴を組み合わせるために用いられる。 提案手法は計算量が少なく,最先端の手法に対して良好に動作することを示す。
  論文  参考訳（メタデータ） (2021-11-03T17:40:32Z)
• Spatio-Temporal Interaction Graph Parsing Networks for Human-Object Interaction Recognition [55.7731053128204]
  ビデオに基づくヒューマンオブジェクトインタラクションシーンでは、人間とオブジェクトの時間的関係をモデル化することが、ビデオに提示されるコンテキスト情報を理解するための重要な手がかりである。 実効時間関係モデリングでは、各フレームの文脈情報を明らかにするだけでなく、時間間の依存関係を直接キャプチャすることもできる。 外観特徴、空間的位置、意味情報のフル活用は、ビデオベースのヒューマンオブジェクトインタラクション認識性能を改善する鍵でもある。
  論文  参考訳（メタデータ） (2021-08-19T11:57:27Z)
• LIGHTEN: Learning Interactions with Graph and Hierarchical TEmporal Networks for HOI in videos [13.25502885135043]
  ビデオから人間と物体の相互作用を分析すると、人間とビデオに存在する物体の関係が特定される。 映像中の複数の粒度の真理を効果的に捉え,視覚的特徴を学習するための階層的アプローチ LIGHTEN を提案する。 V-COCOにおける人間と物体の相互作用検出(88.9%と92.6%)とCAD-120の予測タスクおよび画像ベースHOI検出の競争結果の最先端化を実現した。
  論文  参考訳（メタデータ） (2020-12-17T05:44:07Z)
• DS-Net: Dynamic Spatiotemporal Network for Video Salient Object Detection [78.04869214450963]
  時間情報と空間情報のより効果的な融合のための新しい動的時空間ネットワーク(DSNet)を提案する。 提案手法は最先端アルゴリズムよりも優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-12-09T06:42:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。