論文の概要: FineParser: A Fine-grained Spatio-temporal Action Parser for Human-centric Action Quality Assessment
- arxiv url: http://arxiv.org/abs/2405.06887v1
- Date: Sat, 11 May 2024 02:57:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-14 19:32:15.752736
- Title: FineParser: A Fine-grained Spatio-temporal Action Parser for Human-centric Action Quality Assessment
- Title（参考訳）: FineParser:人間中心の行動品質評価のための微粒な時空間行動パーザ
- Authors: Jinglin Xu, Sibo Yin, Guohao Zhao, Zishuo Wang, Yuxin Peng,
- Abstract要約: 既存の行動品質評価(AQA)手法は、様々な行動を評価するために、主にビデオレベルで深い表現を学習する。
ビデオにおけるアクションのきめ細かい理解が欠如しているため、信頼性と解釈性が低く、オリンピックのダイビングイベントのような厳格な応用には不十分である。
我々は、アクションのきめ細かい理解には、時間と空間の両方でアクションを知覚し解析する必要があると論じ、これはAQA手法の信頼性と解釈可能性の鍵でもある。
- 参考スコア（独自算出の注目度）: 30.601466217201253
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing action quality assessment (AQA) methods mainly learn deep representations at the video level for scoring diverse actions. Due to the lack of a fine-grained understanding of actions in videos, they harshly suffer from low credibility and interpretability, thus insufficient for stringent applications, such as Olympic diving events. We argue that a fine-grained understanding of actions requires the model to perceive and parse actions in both time and space, which is also the key to the credibility and interpretability of the AQA technique. Based on this insight, we propose a new fine-grained spatial-temporal action parser named \textbf{FineParser}. It learns human-centric foreground action representations by focusing on target action regions within each frame and exploiting their fine-grained alignments in time and space to minimize the impact of invalid backgrounds during the assessment. In addition, we construct fine-grained annotations of human-centric foreground action masks for the FineDiving dataset, called \textbf{FineDiving-HM}. With refined annotations on diverse target action procedures, FineDiving-HM can promote the development of real-world AQA systems. Through extensive experiments, we demonstrate the effectiveness of FineParser, which outperforms state-of-the-art methods while supporting more tasks of fine-grained action understanding. Data and code are available at \url{https://github.com/PKU-ICST-MIPL/FineParser_CVPR2024}.
- Abstract（参考訳）: 既存の行動品質評価(AQA)手法は、様々な行動を評価するために、主にビデオレベルで深い表現を学習する。
ビデオにおけるアクションのきめ細かい理解が欠如しているため、信頼性と解釈性が低く、オリンピックのダイビングイベントのような厳格な応用には不十分である。
我々は、アクションのきめ細かい理解には、時間と空間の両方でアクションを知覚し解析する必要があると論じ、これはAQA手法の信頼性と解釈可能性の鍵でもある。
そこで本研究では, 空間的・時空間的アクションパーサであるtextbf{FineParser} を提案する。
フレーム内のターゲットアクション領域に着目し、その微粒なアライメントを時間と空間で活用することにより、アセスメント中の不正な背景の影響を最小限に抑えることで、人中心の行動表現を学習する。
また,FineDiving-HM と呼ばれるファインディビングデータセットに対して,人中心のアクションマスクの詳細なアノテーションを構築する。
FineDiving-HMは多様なアクションプロシージャに関するアノテーションを洗練することにより、現実世界のAQAシステムの開発を促進することができる。
より広範な実験を通じて、ファインParserの有効性を実証し、より詳細なアクション理解のタスクをサポートしながら、最先端の手法より優れていることを示す。
データとコードは \url{https://github.com/PKU-ICST-MIPL/FineParser_CVPR2024} で入手できる。
関連論文リスト
- FinePseudo: Improving Pseudo-Labelling through Temporal-Alignablity for Semi-Supervised Fine-Grained Action Recognition [57.17966905865054]
実生活における行動認識の応用は、しばしば微妙な動きのきめ細かい理解を必要とする。
既存の半教師ありアクション認識は主に粗いアクション認識に焦点を当てている。
そこで我々は,微粒なアクションペアの識別を効果的に行うための,アライナビリティ検証に基づくメトリック学習手法を提案する。
論文 参考訳（メタデータ） (2024-09-02T20:08:06Z) - Open-Vocabulary Spatio-Temporal Action Detection [59.91046192096296]
OV-STAD (Open-vocabulary-temporal action detection) は,ビデオ理解において重要な課題である。
OV-STADは、ボックスとラベルを監督する限定されたベースクラスでモデルをトレーニングする必要がある。
局所的なビデオ領域とテキストのペアに対して、細かなアクション検出タスクに対して、より精巧なVLMを適用するために、慎重に微調整を行う。
論文 参考訳（メタデータ） (2024-05-17T14:52:47Z) - Action Sensitivity Learning for Temporal Action Localization [35.65086250175736]
本稿では,時間的行動ローカライゼーションの課題に取り組むために,行動感性学習フレームワーク(ASL)を提案する。
まず、クラスレベルでのアクション感度とインスタンスレベルでのアクション感度を学習するための軽量なアクション感度評価器を導入する。
各フレームの動作感度に基づいて、アクション認識フレームを正のペアとしてサンプリングし、アクション非関連フレームを除去する機能を強化するために、アクション感性コントラスト損失を設計する。
論文 参考訳（メタデータ） (2023-05-25T04:19:14Z) - FineDiving: A Fine-grained Dataset for Procedure-aware Action Quality
Assessment [93.09267863425492]
競争力のあるスポーツビデオにおける行動の高レベル意味論と内部時間構造の両方を理解することが、予測を正確かつ解釈可能なものにする鍵である、と我々は主張する。
本研究では,多様なダイビングイベントに対して,アクションプロシージャに関する詳細なアノテーションを付加した,ファインディビングと呼ばれる詳細なデータセットを構築した。
論文 参考訳（メタデータ） (2022-04-07T17:59:32Z) - Towards High-Quality Temporal Action Detection with Sparse Proposals [14.923321325749196]
時間的アクション検出は、人間のアクションインスタンスを含む時間的セグメントをローカライズし、アクションカテゴリを予測することを目的としている。
階層的特徴と相互作用するためにスパース提案を導入する。
実験により,高いtIoU閾値下での本手法の有効性が示された。
論文 参考訳（メタデータ） (2021-09-18T06:15:19Z) - Weakly Supervised Temporal Action Localization Through Learning Explicit
Subspaces for Action and Context [151.23835595907596]
ビデオレベルの監視のみの下で、アクションインスタンスの時間的開始と終了をローカライズする方法を学ぶ。
アクションとコンテキストそれぞれについて,2つの機能サブスペースを学習するフレームワークを提案する。
提案手法は3つのベンチマークで最先端のWS-TAL法より優れている。
論文 参考訳（メタデータ） (2021-03-30T08:26:53Z) - Learning to Represent Action Values as a Hypergraph on the Action
Vertices [17.811355496708728]
行動値推定は強化学習法(RL)の重要な要素である。
多次元のアクション空間の構造を活用することが、アクションの優れた表現を学ぶための鍵となる要素であると推測する。
Atari 2600 ゲームや、離散化物理制御ベンチマークなど、無数の領域に対するアプローチの有効性を示す。
論文 参考訳（メタデータ） (2020-10-28T00:19:13Z) - Intra- and Inter-Action Understanding via Temporal Action Parsing [118.32912239230272]
本研究では,スポーツビデオにサブアクションの手動アノテーションを付加した新しいデータセットを構築し,その上に時間的行動解析を行う。
スポーツ活動は通常、複数のサブアクションから構成されており、このような時間構造に対する意識は、行動認識に有益であることを示す。
また,時間的解析手法を多数検討し,そのラベルを知らずにトレーニングデータからサブアクションをマイニングできる改良手法を考案した。
論文 参考訳（メタデータ） (2020-05-20T17:45:18Z) - FineGym: A Hierarchical Video Dataset for Fine-grained Action
Understanding [118.32912239230272]
FineGymは体操ビデオの上に構築された新しいアクション認識データセットだ。
アクションレベルとサブアクションレベルの両方で3レベルのセマンティック階層を持つテンポラリアノテーションを提供する。
この新たな粒度レベルは、行動認識に重大な課題をもたらす。
論文 参考訳（メタデータ） (2020-04-14T17:55:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。