論文の概要: Online Action Representation using Change Detection and Symbolic Programming
- arxiv url: http://arxiv.org/abs/2405.11511v1
- Date: Sun, 19 May 2024 10:31:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-21 17:18:28.072860
- Title: Online Action Representation using Change Detection and Symbolic Programming
- Title（参考訳）: 変化検出と記号プログラミングを用いたオンライン行動表現
- Authors: Vishnu S Nair, Sneha Sree, Jayaraj Joseph, Mohanasankar Sivaprakasam,
- Abstract要約: 提案手法では,動作シーケンスを自動的にセグメント化するために変更検出アルゴリズムを用いる。
クラス繰り返し検出の下流タスクにおいて,この表現の有効性を示す。
実験の結果,提案手法はオンラインで動作しているにもかかわらず,既存手法と同等あるいは同等に動作していることがわかった。
- 参考スコア（独自算出の注目度）: 0.3937354192623676
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper addresses the critical need for online action representation, which is essential for various applications like rehabilitation, surveillance, etc. The task can be defined as representation of actions as soon as they happen in a streaming video without access to video frames in the future. Most of the existing methods use predefined window sizes for video segments, which is a restrictive assumption on the dynamics. The proposed method employs a change detection algorithm to automatically segment action sequences, which form meaningful sub-actions and subsequently fit symbolic generative motion programs to the clipped segments. We determine the start time and end time of segments using change detection followed by a piece-wise linear fit algorithm on joint angle and bone length sequences. Domain-specific symbolic primitives are fit to pose keypoint trajectories of those extracted segments in order to obtain a higher level semantic representation. Since this representation is part-based, it is complementary to the compositional nature of human actions, i.e., a complex activity can be broken down into elementary sub-actions. We show the effectiveness of this representation in the downstream task of class agnostic repetition detection. We propose a repetition counting algorithm based on consecutive similarity matching of primitives, which can do online repetition counting. We also compare the results with a similar but offline repetition counting algorithm. The results of the experiments demonstrate that, despite operating online, the proposed method performs better or on par with the existing method.
- Abstract（参考訳）: 本稿では, リハビリテーション, 監視など, 様々な応用に不可欠なオンライン行動表現の必要性について論じる。
このタスクは、将来ビデオフレームにアクセスすることなく、ストリーミングビデオで発生したアクションの表現として定義することができる。
既存の手法のほとんどは、ビデオセグメントの事前定義されたウィンドウサイズを使用しており、ダイナミックスに対する制限的な仮定である。
提案手法は, 意味のあるサブアクションを形成し, そして, クリッピングされたセグメントにシンボル生成動作プログラムを適合させる, 動作シーケンスを自動的に分割する変更検出アルゴリズムを用いている。
関節角度と骨長列に対する一方向線形適合アルゴリズムを用いて, セグメントの開始時刻と終了時刻を変化検出により決定する。
ドメイン固有の記号プリミティブは、より高いレベルの意味表現を得るために、抽出されたセグメントのキーポイントトラジェクトリに適合する。
この表現は部分ベースであるため、人間の行動を構成する性質を補完するものであり、複雑な活動は基本的なサブアクションに分解することができる。
クラス非依存反復検出における下流タスクにおけるこの表現の有効性を示す。
本稿では,オンライン反復カウントを行うプリミティブの連続的類似性マッチングに基づく反復カウントアルゴリズムを提案する。
また、この結果と、類似しているがオフラインの繰り返しカウントアルゴリズムを比較した。
実験の結果,提案手法はオンラインで動作しているにもかかわらず,既存手法と同等あるいは同等に動作していることがわかった。
関連論文リスト
- Skim then Focus: Integrating Contextual and Fine-grained Views for Repetitive Action Counting [87.11995635760108]
アクションカウントの鍵は、各ビデオの反復的なアクションを正確に見つけ出すことである。
両ブランチネットワーク,すなわちSkimFocusNetを提案する。
論文 参考訳（メタデータ） (2024-06-13T05:15:52Z) - Efficient Action Counting with Dynamic Queries [31.833468477101604]
線形計算複雑性を伴う繰り返し動作サイクルをローカライズするために,アクションクエリ表現を用いた新しい手法を提案する。
静的なアクションクエリとは異なり、このアプローチは動的に動画機能をアクションクエリに埋め込み、より柔軟で一般化可能な表現を提供する。
提案手法は, 従来よりも特に, 長時間の映像シーケンス, 見えない動作, 様々な速度での動作において, 顕著に優れていた。
論文 参考訳（メタデータ） (2024-03-03T15:43:11Z) - Activity Grammars for Temporal Action Segmentation [71.03141719666972]
時間的アクションセグメンテーションは、トリミングされていないアクティビティビデオを一連のアクションセグメンテーションに変換することを目的としている。
本稿では,時間的行動セグメンテーションのための神経予測を導くための効果的な活動文法を提案する。
実験の結果,提案手法は時間的動作のセグメンテーションを性能と解釈性の両方の観点から著しく改善することが示された。
論文 参考訳（メタデータ） (2023-12-07T12:45:33Z) - Temporal Segment Transformer for Action Segmentation [54.25103250496069]
本稿では,テキスト・セグメント・トランスフォーマ (textittemporal segment transformer) と呼ぶアテンション・ベース・アプローチを提案する。
主な考え方は、セグメントとフレームの間の注意を用いてセグメント表現を識別することであり、またセグメント間の時間的相関を捉えるためにセグメント間注意を用いる。
このアーキテクチャは,50Salads,GTEA,Breakfastのベンチマークにおいて,最先端の精度を実現していることを示す。
論文 参考訳（メタデータ） (2023-02-25T13:05:57Z) - A Closer Look at Temporal Ordering in the Segmentation of Instructional
Videos [17.712793578388126]
本稿では,PSS(Process and Summarization)を概観し,現在の手法に対する3つの根本的な改善を提案する。
セグメントの順序を考慮に入れた動的プログラミングに基づく新しいセグメンテーション指標を提案する。
本稿では,セグメントマッピングの時間的順序を制約するマッチングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-09-30T14:44:19Z) - Action parsing using context features [0.0]
我々は、コンテキスト情報、特にビデオシーケンス内の他のアクションに関する時間的情報は、アクションセグメンテーションに価値があると論じる。
提案した解析アルゴリズムは,映像シーケンスを時間的に動作セグメントに分割する。
論文 参考訳（メタデータ） (2022-05-20T07:54:04Z) - SVIP: Sequence VerIfication for Procedures in Videos [68.07865790764237]
ステップレベルの変換を伴う負のアクションシーケンスと同一のアクションシーケンスを実行するポジティブなビデオペアを区別することを目的とした,新しいシーケンス検証タスクを提案する。
このような困難なタスクは、事前のアクション検出やセグメンテーションなしで、オープンセット設定に置かれる。
我々は、化学実験において、あらゆる段階的な変換を列挙したスクリプト付きビデオデータセットを収集する。
論文 参考訳（メタデータ） (2021-12-13T07:03:36Z) - Few-Shot Action Recognition with Compromised Metric via Optimal
Transport [31.834843714684343]
少数の画像分類の広い研究にもかかわらず、少数のアクション認識はまだ成熟していません。
これらのアルゴリズムをアクション認識に適用する主な障害の1つは、ビデオの複雑な構造です。
これら2つのソリューションの利点を組み合わせるために、CMOT(Compromised Metric via Optimal Transport)を提案します。
論文 参考訳（メタデータ） (2021-04-08T12:42:05Z) - Unsupervised Learning of Video Representations via Dense Trajectory
Clustering [86.45054867170795]
本稿では,ビデオにおける行動認識のための表現の教師なし学習の課題に対処する。
まず、このクラスの2つのトップパフォーマンス目標(インスタンス認識と局所集約)を適用することを提案する。
有望な性能を観察するが、定性的解析により、学習した表現が動きのパターンを捉えないことを示す。
論文 参考訳（メタデータ） (2020-06-28T22:23:03Z) - Gabriella: An Online System for Real-Time Activity Detection in
Untrimmed Security Videos [72.50607929306058]
本研究では,未トリミングされたセキュリティビデオ上でのアクティビティ検出をリアルタイムに行うオンラインシステムを提案する。
提案手法は, チューブレット抽出, 活性分類, オンラインチューブレットマージの3段階からなる。
提案手法の有効性を,100fps(100fps)と最新技術による性能評価で実証した。
論文 参考訳（メタデータ） (2020-04-23T22:20:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。