論文の概要: PoseBridge: Bridging the Skeletonization Gap for Zero-Shot Skeleton-Based Action Recognition
- arxiv url: http://arxiv.org/abs/2605.11497v1
- Date: Tue, 12 May 2026 04:15:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-13 21:48:56.569797
- Title: PoseBridge: Bridging the Skeletonization Gap for Zero-Shot Skeleton-Based Action Recognition
- Title(参考訳): PoseBridge:ゼロショット骨格に基づく行動認識のための骨格化ギャップをブリッジする
- Authors: Sanghyeon Lee, Jinwoo Kim, Jong Taek Lee,
- Abstract要約: PoseBridgeは、中間的なZSSAR表現をスケルトンテキストアライメントにブリッジするフレームワークである。
評価プロトコルの下でZSSARの性能を向上させる。
私たちのコードは公開されます。
- 参考スコア(独自算出の注目度): 11.57539530904012
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Zero-shot skeleton-based action recognition (ZSSAR) is typically treated as a skeleton-text alignment problem: encode joint-coordinate sequences, align them with language, and classify unseen actions. We argue that this alignment is often too late. Skeletons are not complete action observations, but compressed outputs of human pose estimation (HPE); by the time alignment begins, human-object interactions and pose-relative visual cues may no longer be explicit. We call this upstream semantic loss. To address it, we propose PoseBridge, an HPE-aware ZSSAR framework that bridges intermediate HPE representations to skeleton-text alignment. Rather than adding an RGB action branch or object detector, PoseBridge extracts pose-anchored semantic cues from the same HPE process that produces skeletons, then transfers them through skeleton-conditioned bridging and semantic prototype adaptation. Across NTU-RGB+D 60/120, PKU-MMD, and Kinetics-200/400, PoseBridge improves ZSSAR performance under the evaluated protocols. On the Kinetics-200/400 PURLS benchmark, which contains in-the-wild videos with diverse scenes and action contexts, PoseBridge shows the clearest separation, improving the strongest compared baseline by 13.3-17.4 points across all eight splits. Our code will be publicly released.
- Abstract(参考訳): ゼロショットスケルトンに基づく行動認識(ZSSAR)は、典型的には骨格テキストアライメント問題として扱われる: 共同コーディネートシーケンスをエンコードし、それらを言語と整列させ、目に見えない動作を分類する。
この調整は遅すぎることが多い、と私たちは主張する。
骨格は完全な行動観察ではなく、人間のポーズ推定(HPE)の圧縮出力であり、時間的アライメントが始まるまでに、人間のオブジェクト間の相互作用とポーズ相対的な視覚的手がかりはもはや明示されないかもしれない。
これを上流セマンティックロスと呼ぶ。
そこで本研究では,HPE の中間表現をスケルトンテキストアライメントにブリッジする HPE 対応 ZSSAR フレームワーク PoseBridge を提案する。
RGBアクションブランチやオブジェクト検出器を追加する代わりに、PoseBridgeは、スケルトンを生成する同じHPEプロセスからポーズアンコールされたセマンティックキューを抽出し、スケルトン条件のブリッジとセマンティックプロトタイプによってそれらを転送する。
NTU-RGB+D 60/120、PKU-MMD、Kinetics-200/400の他、PoseBridgeは評価プロトコル下でのZSSAR性能を改善している。
Kinetics-200/400 PURLSベンチマークでは、様々なシーンとアクションコンテキストの動画が含まれており、PoseBridgeは最も明確な分離を示し、8つの分割で13.3-17.4ポイント向上した。
私たちのコードは公開されます。
関連論文リスト
- MoCapAnything V2: End-to-End Motion Capture for Arbitrary Skeletons [56.68975315643491]
本稿では,ビデオ・ツー・ローテーションとビデオ・ツー・ローテーションを共同で学習し,最適化する,最初のエンドツーエンドフレームワークを提案する。
本手法は, メッシュベースパイプラインの20倍の速度で, 回転誤差を17度から10度, 見えない骨格では6.54度に低減する。
論文 参考訳(メタデータ) (2026-04-30T17:16:38Z) - PoseGaussian: Pose-Driven Novel View Synthesis for Robust 3D Human Reconstruction [13.7448608384464]
PoseGaussianは、高忠実なヒューマン・ノベル・ビュー・シンセサイザーのためのポーズ誘導型ガウス・スプレイティング・フレームワークである。
具体的には、人間の動的なシーンに固有の課題に対処するために設計されており、例えば、関節運動や重度の自己閉塞などである。
ZJU-MoCap,THuman2.0,および社内データセットに対する我々のアプローチを検証する。
論文 参考訳(メタデータ) (2026-02-05T01:34:52Z) - Boosting Skeleton-based Zero-Shot Action Recognition with Training-Free Test-Time Adaptation [52.02799244361572]
スケルトンベースのゼロショットアクション認識(SZAR)のためのトレーニング不要適応フレームワークであるSkeleton-Cacheを紹介した。
Skeleton-Cacheは、非パラメトリックキャッシュ上の軽量な検索プロセスとして推論を再構成する。
NTU RGB+D 60/120とPKU-MMD IIの実験では、Skeleton-Cacheは様々なSZARバックボーンの性能を一貫して向上させることを示した。
論文 参考訳(メタデータ) (2025-12-12T10:53:51Z) - DynaPURLS: Dynamic Refinement of Part-aware Representations for Skeleton-based Zero-Shot Action Recognition [51.80782323686666]
textbfDynaPURLSは、堅牢でマルチスケールなビジュアル・セマンティック対応を確立する統一的なフレームワークである。
我々のフレームワークは、グローバルな動きと局所的な身体部分のダイナミクスの両方を含む階層的なテキスト記述を生成するために、大きな言語モデルを活用する。
NTU RGB+D 60/120とPKU-MMDを含む3つの大規模ベンチマークデータセットの実験は、DynaPURLSが先行技術よりも大幅に優れていることを示した。
論文 参考訳(メタデータ) (2025-12-12T10:39:10Z) - SkeletonAgent: An Agentic Interaction Framework for Skeleton-based Action Recognition [29.86723021801198]
SkeletonAgentは認識モデルとLarge Language Modelをブリッジする。
SkeletonAgentは、最先端のベンチマークメソッドを一貫して上回っている。
論文 参考訳(メタデータ) (2025-11-27T13:12:46Z) - Part-aware Unified Representation of Language and Skeleton for Zero-shot Action Recognition [57.97930719585095]
本稿では,PURLS(Part-aware Unified Representation between Language and Skeleton)を紹介する。
本手法はスケルトン/言語のバックボーンと3つの大規模データセットを用いて評価する。
その結果、PURLSの普遍性と優れた性能を示し、以前のスケルトンベースのソリューションと他のドメインからの標準ベースラインを上回った。
論文 参考訳(メタデータ) (2024-06-19T08:22:32Z) - A Generically Contrastive Spatiotemporal Representation Enhancement for 3D Skeleton Action Recognition [10.403751563214113]
本稿では, 比較時空間表現拡張(CSRE)フレームワークを提案する。
具体的には、その表現を空間的特徴と時間的特徴に分解し、微細な動きパターンを探索する。
潜伏したデータ分布を明示的に活用するために、コントラスト学習に注意的特徴を用いて、クロスシーケンスセマンティックリレーションをモデル化する。
論文 参考訳(メタデータ) (2023-12-23T02:54:41Z) - SkeleTR: Towrads Skeleton-based Action Recognition in the Wild [86.03082891242698]
SkeleTRは骨格に基づく行動認識のための新しいフレームワークである。
まず、グラフ畳み込みによる各骨格配列の人体内骨格力学をモデル化する。
次に、スタック化されたTransformerエンコーダを使用して、一般的なシナリオにおけるアクション認識に重要な人物のインタラクションをキャプチャする。
論文 参考訳(メタデータ) (2023-09-20T16:22:33Z) - Skeleton-Aware Networks for Deep Motion Retargeting [83.65593033474384]
骨格間のデータ駆動動作のための新しいディープラーニングフレームワークを提案する。
我々の手法は、トレーニングセットの運動間の明確なペアリングを必要とせずに、再ターゲティングの仕方を学ぶ。
論文 参考訳(メタデータ) (2020-05-12T12:51:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。