論文の概要: OTPose: Occlusion-Aware Transformer for Pose Estimation in Sparsely-Labeled Videos

• arxiv url: http://arxiv.org/abs/2207.09725v1
• Date: Wed, 20 Jul 2022 08:06:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-21 13:36:30.966084
• Title: OTPose: Occlusion-Aware Transformer for Pose Estimation in Sparsely-Labeled Videos
• Title（参考訳）: OTPose: 疎ラベルビデオにおけるポス推定のためのOcclusion-Aware Transformer
• Authors: Kyung-Min Jin, Gun-Hee Lee and Seong-Whan Lee
• Abstract要約: 本稿では, コンバータを用いたフレーム間の時間依存性を符号化する手法を提案する。 我々は、PoseTrack 2017とPoseTrack 2018データセットの最先端のポーズ推定結果を達成する。
• 参考スコア（独自算出の注目度）: 21.893572076171527
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although many approaches for multi-human pose estimation in videos have shown profound results, they require densely annotated data which entails excessive man labor. Furthermore, there exists occlusion and motion blur that inevitably lead to poor estimation performance. To address these problems, we propose a method that leverages an attention mask for occluded joints and encodes temporal dependency between frames using transformers. First, our framework composes different combinations of sparsely annotated frames that denote the track of the overall joint movement. We propose an occlusion attention mask from these combinations that enable encoding occlusion-aware heatmaps as a semi-supervised task. Second, the proposed temporal encoder employs transformer architecture to effectively aggregate the temporal relationship and keypoint-wise attention from each time step and accurately refines the target frame's final pose estimation. We achieve state-of-the-art pose estimation results for PoseTrack2017 and PoseTrack2018 datasets and demonstrate the robustness of our approach to occlusion and motion blur in sparsely annotated video data.
• Abstract（参考訳）: ビデオにおけるマルチヒューマンポーズ推定のための多くのアプローチは、深い結果を示しているが、過度な人的労働を伴う密接な注釈付きデータが必要である。 さらに、必然的に推定性能の低下につながる閉塞や動きのぼかしが存在する。 これらの問題に対処するため, コンバータを用いたフレーム間の時間依存性を符号化する手法を提案する。 まず,本フレームワークは,関節運動の軌跡を示す疎アノテートされたフレームの異なる組み合わせを構成する。 咬合対応ヒートマップを半教師付きタスクとしてエンコードできる咬合注意マスクを提案する。 第2に, 提案する時間エンコーダは, 時間ステップ毎に時間的関係とキーポイント的注意を効果的に集約し, 目標フレームの最終的なポーズ推定精度を高精度に向上させるトランスフォーマアーキテクチャを用いる。 posetrack 2017 と posetrack 2018 のデータセットにおける最先端のポーズ推定結果を達成し,sparsely annotated video data における咬合と動きのぼやきに対するアプローチの頑健性を示す。

関連論文リスト

• Motion-Aware Video Frame Interpolation [49.49668436390514]
  我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。 受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
  論文  参考訳（メタデータ） (2024-02-05T11:00:14Z)
• Event-Based Frame Interpolation with Ad-hoc Deblurring [68.97825675372354]
  本稿では,入力ビデオのアドホックを損なうイベントベースフレームの一般的な手法を提案する。 我々のネットワークは、フレーム上の最先端の手法、単一画像のデブロアリング、および共同作業のデブロアリングを一貫して上回ります。 コードとデータセットは公開されます。
  論文  参考訳（メタデータ） (2023-01-12T18:19:00Z)
• Kinematic-aware Hierarchical Attention Network for Human Pose Estimation in Videos [17.831839654593452]
  従来の人間のポーズ推定手法は, 連続するフレームの特徴を活用することで, 有望な結果を示した。 ほとんどのアプローチでは、ジッターに精度を妥協し、人間の動きの時間的側面を理解しない。 キネマティックなキーポイント機能を利用するアーキテクチャを設計する。
  論文  参考訳（メタデータ） (2022-11-29T01:46:11Z)
• Video Shadow Detection via Spatio-Temporal Interpolation Consistency Training [31.115226660100294]
  本稿では、ラベル付き画像とともにラベル付きビデオフレームを画像陰影検出ネットワークトレーニングに供給するフレームワークを提案する。 次に,画素ワイド分類における一般化の促進のために,空間的および時間的整合性の制約を導出する。 さらに,画像のマルチスケール影知識学習のためのスケール・アウェア・ネットワークを設計する。
  論文  参考訳（メタデータ） (2022-06-17T14:29:51Z)
• Temporal Feature Alignment and Mutual Information Maximization for Video-Based Human Pose Estimation [38.571715193347366]
  マルチフレーム人間のポーズ推定のための新しい階層的アライメントフレームワークを提案する。 ベンチマークデータセットのPoseTrack 2017では、マルチフレームPerson Pose Estimation Challengeの1位にランクインし、ベンチマークのSub-JHMDBとPose-Track 2018では最先端のパフォーマンスを得ています。
  論文  参考訳（メタデータ） (2022-03-29T04:29:16Z)
• MixSTE: Seq2seq Mixed Spatio-Temporal Encoder for 3D Human Pose Estimation in Video [75.23812405203778]
  近年, 学習時間相関のため, 全フレームのボディジョイントを世界規模で考慮し, 2次元キーポイントシーケンスから3次元人間のポーズを推定する手法が提案されている。 本研究では,各関節の時間的動きを別々にモデル化する時間的変圧器ブロックと,関節間空間相関を有する変圧器ブロックを有するミキシングミキシングを提案する。 さらに、ネットワーク出力は、中央フレームから入力ビデオの全フレームに拡張され、入力と出力のベンチマーク間のコヒーレンスが改善される。
  論文  参考訳（メタデータ） (2022-03-02T04:20:59Z)
• Video Frame Interpolation Transformer [86.20646863821908]
  本稿では,トランスフォーマーをベースとした動画フレームワークを提案し,コンテンツ認識集約の重み付けと,自己注意操作による長距離依存を考慮した。 グローバルな自己注意の計算コストが高くなるのを避けるため、ビデオに局所的注意の概念を導入する。 さらに,トランスフォーマーの可能性を完全に実現するためのマルチスケール・フレーム・スキームを開発した。
  論文  参考訳（メタデータ） (2021-11-27T05:35:10Z)
• Learning to Estimate Hidden Motions with Global Motion Aggregation [71.12650817490318]
  閉塞は、局所的な証拠に依存する光学フローアルゴリズムに重大な課題をもたらす。 最初の画像でピクセル間の長距離依存性を見つけるために,グローバルモーションアグリゲーションモジュールを導入する。 遮蔽領域における光流量推定が非遮蔽領域における性能を損なうことなく大幅に改善できることを実証した。
  論文  参考訳（メタデータ） (2021-04-06T10:32:03Z)
• Deep Dual Consecutive Network for Human Pose Estimation [44.41818683253614]
  キーポイント検出を容易にするために,ビデオフレーム間の時間的キューを豊富に活用した,新しいマルチフレーム人間ポーズ推定フレームワークを提案する。 本手法は、PoseTrack 2017およびPoseTrack 2018の大規模ベンチマークデータセットにおけるマルチフレームパーソンポースチャレンジチャレンジで1位にランクインします。
  論文  参考訳（メタデータ） (2021-03-12T13:11:27Z)
• Motion-blurred Video Interpolation and Extrapolation [72.3254384191509]
  本稿では,映像から鮮明なフレームをエンドツーエンドに切り離し,補間し,外挿する新しい枠組みを提案する。 予測フレーム間の時間的コヒーレンスを確保し,潜在的な時間的あいまいさに対処するために,単純で効果的なフローベースルールを提案する。
  論文  参考訳（メタデータ） (2021-03-04T12:18:25Z)
• A Deep Temporal Fusion Framework for Scene Flow Using a Learnable Motion Model and Occlusions [17.66624674542256]
  複数フレーム構成におけるシーンフロー推定の時間的融合のための新しいデータ駆動手法を提案する。 第2のステップでは、ニューラルネットワークが共通の参照フレームから双方向のシーンフロー推定値を合成し、洗練された推定値を生成する。 このようにして、本手法は、複数のシーンフロー推定器に対して高速なマルチフレーム拡張を提供し、基礎となるデュアルフレームアプローチよりも優れている。
  論文  参考訳（メタデータ） (2020-11-03T10:14:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。