論文の概要: Simultaneous Detection and Interaction Reasoning for Object-Centric Action Recognition
- arxiv url: http://arxiv.org/abs/2404.11903v1
- Date: Thu, 18 Apr 2024 05:06:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-19 13:11:02.777711
- Title: Simultaneous Detection and Interaction Reasoning for Object-Centric Action Recognition
- Title（参考訳）: 物体中心行動認識のための同時検出と相互作用推論
- Authors: Xunsong Li, Pengzhan Sun, Yangcen Liu, Lixin Duan, Wen Li,
- Abstract要約: エンドツーエンドのオブジェクト中心のアクション認識フレームワークを提案する。
同時に1つのステージで検出と相互作用の推論を行う。
我々はSomes-ElseとIkea-Assemblyという2つのデータセットで実験を行う。
- 参考スコア（独自算出の注目度）: 21.655278000690686
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The interactions between human and objects are important for recognizing object-centric actions. Existing methods usually adopt a two-stage pipeline, where object proposals are first detected using a pretrained detector, and then are fed to an action recognition model for extracting video features and learning the object relations for action recognition. However, since the action prior is unknown in the object detection stage, important objects could be easily overlooked, leading to inferior action recognition performance. In this paper, we propose an end-to-end object-centric action recognition framework that simultaneously performs Detection And Interaction Reasoning in one stage. Particularly, after extracting video features with a base network, we create three modules for concurrent object detection and interaction reasoning. First, a Patch-based Object Decoder generates proposals from video patch tokens. Then, an Interactive Object Refining and Aggregation identifies important objects for action recognition, adjusts proposal scores based on position and appearance, and aggregates object-level info into a global video representation. Lastly, an Object Relation Modeling module encodes object relations. These three modules together with the video feature extractor can be trained jointly in an end-to-end fashion, thus avoiding the heavy reliance on an off-the-shelf object detector, and reducing the multi-stage training burden. We conduct experiments on two datasets, Something-Else and Ikea-Assembly, to evaluate the performance of our proposed approach on conventional, compositional, and few-shot action recognition tasks. Through in-depth experimental analysis, we show the crucial role of interactive objects in learning for action recognition, and we can outperform state-of-the-art methods on both datasets.
- Abstract（参考訳）: 人間と物体の相互作用は、物体中心の行動を認識するために重要である。
既存の手法は通常2段階のパイプラインを採用しており、まず事前に訓練された検出器を用いてオブジェクトの提案を検知し、次にアクション認識モデルに入力してビデオの特徴を抽出し、アクション認識のためのオブジェクト関係を学習する。
しかし、オブジェクト検出段階では、アクション先行が不明であるため、重要なオブジェクトが容易に見落とされ、アクション認識性能が劣る。
本稿では,一段階における検出とインタラクションの共振を同時に行う,エンドツーエンドのオブジェクト中心のアクション認識フレームワークを提案する。
特に,ビデオの特徴をベースネットワークで抽出した後,並列オブジェクト検出と対話推論のための3つのモジュールを作成する。
まず、パッチベースのObject Decoderがビデオパッチトークンから提案を生成する。
そして、対話的オブジェクト精錬と集約により、アクション認識のための重要なオブジェクトを特定し、位置と外観に基づいて提案スコアを調整し、オブジェクトレベルの情報をグローバルなビデオ表現に集約する。
最後に、オブジェクト関係モデリングモジュールはオブジェクト関係をエンコードする。
これら3つのモジュールとビデオ特徴抽出器は、エンドツーエンドで共同で訓練することができるため、市販の物体検出器への重度依存を回避でき、多段階の訓練負担を軽減できる。
本研究では,2つのデータセット,Some-Else と Ikea-Assembly を用いて,従来型,構成型,少数ショットのアクション認識タスクにおける提案手法の性能評価を行う。
詳細な実験分析を通じて,対話的物体が行動認識の学習において重要な役割を担っていることを示す。
関連論文リスト
- Object-centric Video Representation for Long-term Action Anticipation [33.115854386196126]
主な動機は、オブジェクトが人間とオブジェクトの相互作用を認識し予測するための重要な手がかりを提供することである。
我々は、視覚言語事前学習モデルを利用して、オブジェクト中心のビデオ表現を構築することを提案する。
人間と物体の相互作用を認識し予測するために、Transformerベースのニューラルアーキテクチャを用いる。
論文 参考訳（メタデータ） (2023-10-31T22:54:31Z) - InterTracker: Discovering and Tracking General Objects Interacting with
Hands in the Wild [40.489171608114574]
既存の方法は相互作用する物体を見つけるためにフレームベースの検出器に依存している。
本稿では,対話オブジェクトの追跡に手動オブジェクトのインタラクションを活用することを提案する。
提案手法は最先端の手法よりも優れている。
論文 参考訳（メタデータ） (2023-08-06T09:09:17Z) - DOAD: Decoupled One Stage Action Detection Network [77.14883592642782]
人々をローカライズし、ビデオからアクションを認識することは、ハイレベルなビデオ理解にとって難しい課題だ。
既存の手法は主に2段階ベースで、1段階は人物境界ボックス生成、もう1段階は行動認識を行う。
本稿では、時間的行動検出の効率を向上させるために、DOADと呼ばれる分離したワンステージネットワークを提案する。
論文 参考訳（メタデータ） (2023-04-01T08:06:43Z) - SOS! Self-supervised Learning Over Sets Of Handled Objects In Egocentric
Action Recognition [35.4163266882568]
本稿では,SOS(Self-Supervised Learning Over Sets)を導入し,OIC(ジェネリック・オブジェクト・イン・コンタクト)表現モデルを事前学習する。
OICは複数の最先端ビデオ分類モデルの性能を大幅に向上させる。
論文 参考訳（メタデータ） (2022-04-10T23:27:19Z) - Complex-Valued Autoencoders for Object Discovery [62.26260974933819]
本稿では,オブジェクト中心表現に対する分散アプローチとして,複合オートエンコーダを提案する。
このシンプルで効率的なアプローチは、単純なマルチオブジェクトデータセット上の等価な実数値オートエンコーダよりも、より良い再構成性能を実現することを示す。
また、2つのデータセット上のSlotAttentionモデルと競合しないオブジェクト発見性能を実現し、SlotAttentionが失敗する第3のデータセットでオブジェクトをアンタングルする。
論文 参考訳（メタデータ） (2022-04-05T09:25:28Z) - Contrastive Object Detection Using Knowledge Graph Embeddings [72.17159795485915]
一つのホットアプローチで学習したクラス埋め込みの誤差統計と、自然言語処理や知識グラフから意味的に構造化された埋め込みを比較した。
本稿では,キーポイントベースおよびトランスフォーマーベースオブジェクト検出アーキテクチャの知識埋め込み設計を提案する。
論文 参考訳（メタデータ） (2021-12-21T17:10:21Z) - Skeleton-Based Mutually Assisted Interacted Object Localization and
Human Action Recognition [111.87412719773889]
本研究では,骨格データに基づく「相互作用対象の局所化」と「人間の行動認識」のための共同学習フレームワークを提案する。
本手法は,人間の行動認識のための最先端の手法を用いて,最高の,あるいは競争的な性能を実現する。
論文 参考訳（メタデータ） (2021-10-28T10:09:34Z) - Object Priors for Classifying and Localizing Unseen Actions [45.91275361696107]
本稿では,局所人物と物体検出器をその空間的関係とともに符号化する3つの空間的対象先行法を提案する。
上述の3つのセマンティックオブジェクトプリエントを導入し、単語の埋め込みを通じてセマンティックマッチングを拡張する。
ビデオ埋め込みは、空間オブジェクトと意味オブジェクトをプリエントする。
論文 参考訳（メタデータ） (2021-04-10T08:56:58Z) - Slender Object Detection: Diagnoses and Improvements [74.40792217534]
本稿では,超高アスペクト比,すなわちtextbfslender オブジェクトの特定タイプの検出について検討する。
古典的物体検出法では、細い物体に対してのみ評価される場合、COCO上の18.9%のmAPの劇的な低下が観察される。
論文 参考訳（メタデータ） (2020-11-17T09:39:42Z) - A Deep Learning Approach to Object Affordance Segmentation [31.221897360610114]
我々は,ビデオと静的画像の両方において,画素単位の価格ラベルを推定するオートエンコーダを設計する。
本モデルは,ソフトアテンション機構を用いて,オブジェクトラベルやバウンディングボックスの必要性を克服する。
本モデルは,SOR3D-AFF上での強い教師付き手法と比較して,競争力のある結果が得られることを示す。
論文 参考訳（メタデータ） (2020-04-18T15:34:41Z) - Look-into-Object: Self-supervised Structure Modeling for Object
Recognition [71.68524003173219]
我々は,自己スーパービジョンを取り入れた「対象」(具体的かつ内在的に対象構造をモデル化する)を提案する。
認識バックボーンは、より堅牢な表現学習のために大幅に拡張可能であることを示す。
提案手法は汎用オブジェクト認識(ImageNet)や細粒度オブジェクト認識タスク(CUB, Cars, Aircraft)など,多数のベンチマークにおいて大きなパフォーマンス向上を実現している。
論文 参考訳（メタデータ） (2020-03-31T12:22:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。