論文の概要: Part-level Action Parsing via a Pose-guided Coarse-to-Fine Framework

• arxiv url: http://arxiv.org/abs/2203.04476v1
• Date: Wed, 9 Mar 2022 01:30:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-11 05:07:47.183095
• Title: Part-level Action Parsing via a Pose-guided Coarse-to-Fine Framework
• Title（参考訳）: ポーズ誘導粗視フレームワークによる部分レベルの動作解析
• Authors: Xiaodong Chen, Xinchen Liu, Wu Liu, Kun Liu, Dong Wu, Yongdong Zhang, Tao Mei
• Abstract要約: パートレベルのアクションパーシング(PAP)は、ビデオレベルのアクションを予測するだけでなく、ビデオ内の各人に対するフレームレベルのきめ細かいアクションやインタラクションを認識することを目的としている。 特に,本フレームワークは,まず入力ビデオの映像レベルのクラスを予測し,次に身体部位をローカライズし,部分レベルの動作を予測する。 我々のフレームワークは最先端のパフォーマンスを達成し、既存の手法を31.10%のROCスコアで上回ります。
• 参考スコア（独自算出の注目度）: 108.70949305791201
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Action recognition from videos, i.e., classifying a video into one of the pre-defined action types, has been a popular topic in the communities of artificial intelligence, multimedia, and signal processing. However, existing methods usually consider an input video as a whole and learn models, e.g., Convolutional Neural Networks (CNNs), with coarse video-level class labels. These methods can only output an action class for the video, but cannot provide fine-grained and explainable cues to answer why the video shows a specific action. Therefore, researchers start to focus on a new task, Part-level Action Parsing (PAP), which aims to not only predict the video-level action but also recognize the frame-level fine-grained actions or interactions of body parts for each person in the video. To this end, we propose a coarse-to-fine framework for this challenging task. In particular, our framework first predicts the video-level class of the input video, then localizes the body parts and predicts the part-level action. Moreover, to balance the accuracy and computation in part-level action parsing, we propose to recognize the part-level actions by segment-level features. Furthermore, to overcome the ambiguity of body parts, we propose a pose-guided positional embedding method to accurately localize body parts. Through comprehensive experiments on a large-scale dataset, i.e., Kinetics-TPS, our framework achieves state-of-the-art performance and outperforms existing methods over a 31.10% ROC score.
• Abstract（参考訳）: ビデオからのアクション認識、すなわち、動画を事前に定義されたアクションタイプに分類することは、人工知能、マルチメディア、および信号処理のコミュニティで人気のあるトピックである。 しかし、既存の手法は通常、入力ビデオ全体を考慮し、粗いビデオレベルのクラスラベルを持つ畳み込みニューラルネットワーク(CNN)のようなモデルを学ぶ。 これらのメソッドは、ビデオのアクションクラスだけを出力できるが、ビデオがなぜ特定のアクションを示すのかを、詳細に説明可能なヒントを提供することはできない。 したがって、研究者たちは新しいタスクであるpart-level action parsing(pap)に集中し始める。これはビデオレベルのアクションを予測するだけでなく、ビデオ内の各人のフレームレベルの細かなアクションや身体部位の相互作用を認識することを目的としている。 そこで本研究では,この課題に対する粗大なフレームワークを提案する。 特に,本フレームワークは,まず入力ビデオの映像レベルのクラスを予測し,次に身体部位をローカライズし,部分レベルの動作を予測する。 さらに,部分レベルの動作解析における精度と計算のバランスをとるために,セグメントレベルの特徴によって部分レベルの動作を認識することを提案する。 さらに,身体部位の曖昧さを克服するために,身体部位を正確に局在化するためのポーズ誘導位置埋め込み法を提案する。 大規模データセット、すなわちKinetics-TPSの包括的な実験を通じて、我々のフレームワークは最先端のパフォーマンスを達成し、既存の手法を31.10%のROCスコアで上回ります。

関連論文リスト

• Rethinking CLIP-based Video Learners in Cross-Domain Open-Vocabulary Action Recognition [84.31749632725929]
  本稿では,この課題の1つの重要な課題,すなわちシーンバイアスに着目し,新しいシーン対応ビデオテキストアライメント手法を提案する。 我々のキーとなる考え方は、映像表現とシーン符号化されたテキスト表現とを区別し、シーンに依存しないビデオ表現を学習し、ドメイン間のアクションを認識することである。
  論文  参考訳（メタデータ） (2024-03-03T16:48:16Z)
• Technical Report: Disentangled Action Parsing Networks for Accurate Part-level Action Parsing [65.87931036949458]
  Part-level Action Parsingは、ビデオにおけるアクション認識を促進するための部分状態解析を目的としている。 DAP(disentangled action parsing)というシンプルなアプローチを提案する。
  論文  参考訳（メタデータ） (2021-11-05T02:29:32Z)
• EAN: Event Adaptive Network for Enhanced Action Recognition [66.81780707955852]
  本稿では,映像コンテンツの動的性質を調査するための統合された行動認識フレームワークを提案する。 まず、局所的な手がかりを抽出する際に、動的スケールの時空間カーネルを生成し、多様な事象を適応的に適合させる。 第2に、これらのキューを正確にグローバルなビデオ表現に集約するために、トランスフォーマーによって選択されたいくつかの前景オブジェクト間のインタラクションのみをマイニングすることを提案する。
  論文  参考訳（メタデータ） (2021-07-22T15:57:18Z)
• A Survey on Deep Learning Technique for Video Segmentation [147.0767454918527]
  ビデオセグメンテーションは幅広い応用において重要な役割を果たしている。 ディープラーニングベースのアプローチは、ビデオセグメンテーションに特化しており、魅力的なパフォーマンスを提供している。
  論文  参考訳（メタデータ） (2021-07-02T15:51:07Z)
• Unsupervised Action Segmentation with Self-supervised Feature Learning and Co-occurrence Parsing [32.66011849112014]
  時間的アクションセグメンテーションは、ビデオの各フレームをアクションラベルで分類するタスクである。 本研究では,ラベル付けされていないビデオのコーパスで動作する自己教師型手法を探索し,ビデオ全体にわたる時間的セグメントのセットを予測する。 我々は,行動の構造に基づくサブアクション間の相関を捉えるだけでなく,そのサブアクションの時間的軌跡を正確かつ一般的な方法で推定する,新しい共起動作解析アルゴリズムであるCAPを開発した。
  論文  参考訳（メタデータ） (2021-05-29T00:29:40Z)
• Improved Actor Relation Graph based Group Activity Recognition [0.0]
  人間の行動やグループ活動の詳細な説明は必須情報であり、リアルタイムCCTVビデオ監視、医療、スポーツビデオ分析などに利用することができる。 本研究では,一対のアクターの外観的類似性とアクターの位置を学習することで,グループ活動認識を主眼とする映像理解手法を提案する。
  論文  参考訳（メタデータ） (2020-10-24T19:46:49Z)
• Hierarchical Attention Network for Action Segmentation [45.19890687786009]
  イベントの時間的セグメンテーションは、ビデオにおける人間の行動の自動認識のための重要なタスクであり、前駆体である。 我々は、時間とともに行動間の関係をよりよく学習できる、エンドツーエンドの教師あり学習手法を提案する。 我々は,MERLショッピング,50サラダ,ジョージア技術エゴセントリックデータセットなど,公開ベンチマークデータセットの課題を評価する。
  論文  参考訳（メタデータ） (2020-05-07T02:39:18Z)
• Motion-supervised Co-Part Segmentation [88.40393225577088]
  本稿では,コパートセグメンテーションのための自己教師型ディープラーニング手法を提案する。 提案手法は,映像から推定される動き情報を有効活用して意味のある物体の発見を可能にする。
  論文  参考訳（メタデータ） (2020-04-07T09:56:45Z)
• SCT: Set Constrained Temporal Transformer for Set Supervised Action Segmentation [22.887397951846353]
  弱教師付きアプローチは、弱ラベル付きビデオから時間的アクションセグメンテーションを学ぶことを目的としている。 このようなデータに基づいてエンドツーエンドにトレーニング可能なアプローチを提案する。 提案手法は,最先端の結果が得られる3つのデータセットに対して評価する。
  論文  参考訳（メタデータ） (2020-03-31T14:51:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。