論文の概要: Meet JEANIE: a Similarity Measure for 3D Skeleton Sequences via Temporal-Viewpoint Alignment
- arxiv url: http://arxiv.org/abs/2402.04599v2
- Date: Mon, 25 Mar 2024 13:30:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-27 01:35:51.228190
- Title: Meet JEANIE: a Similarity Measure for 3D Skeleton Sequences via Temporal-Viewpoint Alignment
- Title（参考訳）: JEANIE: 時間視点アライメントによる3次元骨格配列の類似度測定
- Authors: Lei Wang, Jun Liu, Liang Zheng, Tom Gedeon, Piotr Koniusz,
- Abstract要約: ビデオシーケンスは、アクションの速度、時間的位置、主題のポーズの顕著な変化(望ましくない効果)を示す。
本稿では,シーケンス対に対する共用tEmporalとcAmera viewpoiNt alIgnmEnt(JEANIE)を提案する。
- 参考スコア（独自算出の注目度）: 44.22075586147116
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video sequences exhibit significant nuisance variations (undesired effects) of speed of actions, temporal locations, and subjects' poses, leading to temporal-viewpoint misalignment when comparing two sets of frames or evaluating the similarity of two sequences. Thus, we propose Joint tEmporal and cAmera viewpoiNt alIgnmEnt (JEANIE) for sequence pairs. In particular, we focus on 3D skeleton sequences whose camera and subjects' poses can be easily manipulated in 3D. We evaluate JEANIE on skeletal Few-shot Action Recognition (FSAR), where matching well temporal blocks (temporal chunks that make up a sequence) of support-query sequence pairs (by factoring out nuisance variations) is essential due to limited samples of novel classes. Given a query sequence, we create its several views by simulating several camera locations. For a support sequence, we match it with view-simulated query sequences, as in the popular Dynamic Time Warping (DTW). Specifically, each support temporal block can be matched to the query temporal block with the same or adjacent (next) temporal index, and adjacent camera views to achieve joint local temporal-viewpoint warping. JEANIE selects the smallest distance among matching paths with different temporal-viewpoint warping patterns, an advantage over DTW which only performs temporal alignment. We also propose an unsupervised FSAR akin to clustering of sequences with JEANIE as a distance measure. JEANIE achieves state-of-the-art results on NTU-60, NTU-120, Kinetics-skeleton and UWA3D Multiview Activity II on supervised and unsupervised FSAR, and their meta-learning inspired fusion.
- Abstract（参考訳）: ビデオシーケンスは、動作速度、時間的位置、ポーズの顕著なニュアンス変化(望ましくない効果)を示し、2つのフレームを比較したり、2つのシーケンスの類似性を評価する際に、時間的視点のずれを生じさせる。
そこで本研究では,シーケンス対に対する共用tEmporalとcAmera viewpoiNt alIgnmEnt(JEANIE)を提案する。
特に,カメラと被験者のポーズを3Dで容易に操作できる3Dスケルトン配列に着目した。
JEANIE on skeletal Few-shot Action Recognition (FSAR), which are matching well temporal block (temporal chunks that a sequence) of support-query sequence pairs ( factoring nuisance variations) due due due for limited sample of novel class。
クエリシーケンスが与えられた場合、複数のカメラ位置をシミュレートすることで、いくつかのビューを作成します。
サポートシーケンスについては、一般的な動的時間ワープ(DTW)のように、ビューシミュレートされたクエリシーケンスとマッチングする。
具体的には、各サポート時間ブロックは、クエリ時間ブロックと、同じまたは隣接する(次の)時間インデックスと、隣接するカメラビューとを一致させて、共同ローカル時間視点ワープを実現する。
JEANIEは、時間的視点のワープパターンが異なるマッチングパスの最小距離を選択し、時間的アライメントのみを実行するDTWよりも有利である。
JEANIEを距離測度とするシーケンスのクラスタリングに類似した教師なしFSARも提案する。
JEANIEは、NTU-60, NTU-120, Kinetics-skeleton and UWA3D Multiview Activity II on supervised and unsupervised FSAR, and their meta-learning inspired fusion。
関連論文リスト
- Self-supervised Action Representation Learning from Partial
Spatio-Temporal Skeleton Sequences [29.376328807860993]
本研究では,異なる骨格関節とビデオフレームの局所的関係を利用した部分的時空間学習(PSTL)フレームワークを提案する。
提案手法は, NTURGB+D 60, NTURGBMM+D 120, PKU-Dのダウンストリームタスクにおける最先端性能を実現する。
論文 参考訳（メタデータ） (2023-02-17T17:35:05Z) - Temporal-Viewpoint Transportation Plan for Skeletal Few-shot Action
Recognition [38.27785891922479]
Joint tEmporalとcAmera viewpoiNt alIgnmEntによる3Dスケルトンに基づく動作認識のためのFew-shot Learning Pipeline
論文 参考訳（メタデータ） (2022-10-30T11:46:38Z) - Alignment-guided Temporal Attention for Video Action Recognition [18.5171795689609]
フレームごとのアライメントは、フレーム表現間の相互情報を増大させる可能性があることを示す。
隣接フレーム間のパラメータフリーパッチレベルのアライメントで1次元の時間的注意を延長するためのアライメント誘導時間注意(ATA)を提案する。
論文 参考訳（メタデータ） (2022-09-30T23:10:47Z) - Fine-grained Temporal Contrastive Learning for Weakly-supervised
Temporal Action Localization [87.47977407022492]
本稿では,シーケンス・ツー・シーケンスの区別を文脈的に比較することで学習が,弱い教師付き行動の局所化に不可欠な帰納的バイアスをもたらすことを論じる。
微分可能な動的プログラミングの定式化の下では、FSD(Fen-fine Sequence Distance)とLCS(Longest Common Subsequence)の2つの相補的コントラストが設計されている。
提案手法は,2つのベンチマークにおいて最先端の性能を実現する。
論文 参考訳（メタデータ） (2022-03-31T05:13:50Z) - 3D Skeleton-based Few-shot Action Recognition with JEANIE is not so
Na\"ive [28.720272938306692]
We propose a Few-shot Learning pipeline for 3D skeleton-based action recognition by Joint tEmporal and cAmera viewpoiNt alIgnmEnt。
論文 参考訳（メタデータ） (2021-12-23T16:09:23Z) - Learning to Align Sequential Actions in the Wild [123.62879270881807]
本研究では,多様な時間的変動を伴う野生における逐次行動の整合性を示すアプローチを提案する。
我々のモデルは単調列と非単調列の両方を考慮に入れている。
自己教師型シーケンシャルな行動表現学習において,我々のアプローチは一貫して最先端の行動表現学習に勝っていることを示す。
論文 参考訳（メタデータ） (2021-11-17T18:55:36Z) - Representation Learning via Global Temporal Alignment and
Cycle-Consistency [20.715813546383178]
時間列の整合に基づく表現学習のための弱教師付き手法を提案する。
従来方式に比べて大幅な性能向上を報告しています。
さらに、時間アライメントフレームワークの2つのアプリケーション、すなわち3Dポーズ再構築ときめ細かいオーディオ/ビジュアル検索を報告します。
論文 参考訳（メタデータ） (2021-05-11T17:34:04Z) - Temporal-Relational CrossTransformers for Few-Shot Action Recognition [82.0033565755246]
提案手法は,サポートセット内のクエリとビデオの間に時間的対応性のあるフレームを見出すことである。
先行研究とは別として,全サポートビデオの関連サブシーケンスを観察するために,クロストランスフォーマアテンション機構を用いたクラスプロトタイプを構築した。
詳細なアブレーションは、複数のサポートセットビデオとマッチングし、高階クロストランスフォーマーを学ぶことの重要性を示しています。
論文 参考訳（メタデータ） (2021-01-15T15:47:35Z) - Tensor Representations for Action Recognition [54.710267354274194]
シーケンスにおける人間の行動は、空間的特徴とその時間的ダイナミクスの複雑な相互作用によって特徴づけられる。
アクション認識タスクの視覚的特徴間の高次関係を捉えるための新しいテンソル表現を提案する。
我々は,高次テンソルといわゆる固有値パワー正規化(NEP)を用いて,高次事象のスペクトル検出を行う。
論文 参考訳（メタデータ） (2020-12-28T17:27:18Z) - A Prospective Study on Sequence-Driven Temporal Sampling and Ego-Motion
Compensation for Action Recognition in the EPIC-Kitchens Dataset [68.8204255655161]
行動認識はコンピュータビジョンにおける最上位の研究分野の一つである。
エゴモーション記録シーケンスは重要な関連性を持つようになった。
提案手法は,このエゴモーションやカメラの動きを推定して対処することを目的としている。
論文 参考訳（メタデータ） (2020-08-26T14:44:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。