論文の概要: SkillSpotter: Pose-Aware Multi-View Skilled Action Detection and Grading in Ego-Exo Videos

• arxiv url: http://arxiv.org/abs/2606.31127v1
• Date: Tue, 30 Jun 2026 04:43:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.074771
• Title: SkillSpotter: Pose-Aware Multi-View Skilled Action Detection and Grading in Ego-Exo Videos
• Title（参考訳）: SkillSpotter:Ego-Exoビデオにおける多視点多視点アクション検出とグラディング
• Abstract要約: SkillSpotterは3つのタスク固有のモジュールを通じて、熟練したアクションを共同で検出し、評価する、ポーズ対応のマルチビューアーキテクチャである。 SkillSpotterはクラス固有のmAPを12.40から21.82(+76%)に改善し、最高のベースラインよりも55.99%から60.40%の精度で調整する。
• 参考スコア（独自算出の注目度）: 27.95264551649598
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: To enable personalized, real-time coaching using Augmented Reality glasses or fixed camera setups in domains such as sports, cooking, or music, a system must understand not just what a person does, but how well they execute an activity. In an ego-exo video setting, this requires simultaneously detecting individual skilled actions and classifying each as correct or needing improvement, which Ego-Exo4D's proficiency demonstration benchmark formalized. We first adapt seven state-of-the-art temporal action detection architectures to this task, extend the evaluation protocol to disentangle detection from grading, and show that existing methods grade near-randomly. We then introduce SkillSpotter, a pose-aware multi-view architecture that jointly detects and grades skilled actions through three task-specific modules: (1) adaptive temporal suppression to handle the varying density of skilled actions across diverse activities, (2) gated 3D body pose fusion to leverage body kinematics as a complementary signal to visual features, and (3) bidirectional cross-view attention to combine ego and exo views effectively. SkillSpotter improves class-specific mAP from 12.40 to 21.82 (+76%) and balanced accuracy from 55.99% to 60.40% over the best baseline. SkillSpotter's modules transfer to other temporal action detection models with consistent gains, and our method generalizes beyond Ego-Exo4D to HoloAssist. Code: https://github.com/eth-siplab/SkillSpotter
• Abstract（参考訳）: スポーツ、料理、音楽などの分野において、拡張現実メガネや固定カメラのセットアップを用いて、パーソナライズされたリアルタイムコーチングを可能にするためには、システムは、人が何をしているかだけでなく、どのように行動を実行するかを理解する必要がある。 Ego-Exoビデオ設定では、個々の熟練したアクションを同時に検出し、それぞれをEgo-Exo4Dの熟練度実証ベンチマークが公式化した正しいまたは必要な改善として分類する必要がある。 まず、7つの最先端の時間的行動検出アーキテクチャをこのタスクに適用し、評価プロトコルを拡張してグレーディングから検出をアンタングルにし、既存の手法がほぼランダムに評価されることを示す。 次に、SkillSpotterを紹介した。これは、3つのタスク固有のモジュールを通して熟練したアクションを共同で検出し、評価する多視点アーキテクチャである。(1)多様な活動にわたる熟練したアクションの密度の変動に対処するための適応的時間的抑制、(2)視覚的特徴を補完する信号として身体運動を利用するための3Dボディポーズ融合、(3)エゴとエクソビューを効果的に組み合わせた双方向のクロスビューアテンション。 SkillSpotterはクラス固有のmAPを12.40から21.82(+76%)に改善し、最高のベースラインよりも55.99%から60.40%の精度で調整する。 SkillSpotterのモジュールは、一貫した利得を持つ他の時間的行動検出モデルに転送し、Ego-Exo4Dを超えてHoloAssistに一般化する。 コード:https://github.com/eth-siplab/SkillSpotter

関連論文リスト

• SkillMoV: Mixture-of-View Routing with Prototype-Conditioned Gating for Unified Multi-View Proficiency Estimation [1.3893859937118993]
  SkillMoVは、同期ビデオからマルチシナリオの習熟度を推定するための統合フレームワークである。 コアとなるSkillMoVは、Mixture-of-View Projector (MoVP)を導入している。 EgoExo4D上のSkillMoVを、6つのスキルドメインと3つの個別に訓練されたビュー設定で評価した。
  論文  参考訳（メタデータ） (2026-06-16T07:19:20Z)
• Object Aware Egocentric Online Action Detection [23.504280692701272]
  我々は,egocentric-specific presを既存のオンライン行動検出フレームワークに統合するObject-Aware Moduleを紹介した。 私たちの作業は最小限のオーバーヘッドで既存のモデルにシームレスに統合することができ、一貫したパフォーマンス向上をもたらします。
  論文  参考訳（メタデータ） (2024-06-03T07:58:40Z)
• Early Action Recognition with Action Prototypes [62.826125870298306]
  本稿では,各クラスに対するフルアクションのプロトタイプ表現を学習する新しいモデルを提案する。 映像を短いクリップに分解し、視覚エンコーダがそれぞれのクリップから特徴を独立して抽出する。 その後、デコーダは、最終クラスの予測のために、すべてのクリップからオンラインのファッション機能として集約される。
  論文  参考訳（メタデータ） (2023-12-11T18:31:13Z)
• Learning Fine-grained View-Invariant Representations from Unpaired Ego-Exo Videos via Temporal Alignment [71.16699226211504]
  我々は,エゴセントリックな映像とエゴセントリックな映像を時間内に整列させることにより,視点に不変なきめ細かいアクション特徴を学習することを提案する。 そこで本研究では,2つの鍵設計を持つ自己教師型埋め込み手法であるAE2を提案する。 評価のために,エゴ・エクソ・コンテキストにおけるきめ細かい映像理解のためのベンチマークを構築した。
  論文  参考訳（メタデータ） (2023-06-08T19:54:08Z)
• DOAD: Decoupled One Stage Action Detection Network [77.14883592642782]
  人々をローカライズし、ビデオからアクションを認識することは、ハイレベルなビデオ理解にとって難しい課題だ。 既存の手法は主に2段階ベースで、1段階は人物境界ボックス生成、もう1段階は行動認識を行う。 本稿では、時間的行動検出の効率を向上させるために、DOADと呼ばれる分離したワンステージネットワークを提案する。
  論文  参考訳（メタデータ） (2023-04-01T08:06:43Z)
• Multi-Task Learning of Object State Changes from Uncurated Videos [55.60442251060871]
  我々は、長い未処理のウェブビデオにおいて、オブジェクトと対話する人々を観察することで、オブジェクトの状態変化を時間的にローカライズすることを学ぶ。 マルチタスクモデルでは,従来のシングルタスク手法に比べて40%の相対的な改善が達成されている。 また,EPIC-KITCHENSとEgo4Dデータセットを0ショット設定で長時間遠心分離したビデオでテストした。
  論文  参考訳（メタデータ） (2022-11-24T09:42:46Z)
• SSMTL++: Revisiting Self-Supervised Multi-Task Learning for Video Anomaly Detection [108.57862846523858]
  自己教師型マルチタスク学習フレームワークを再考し、元の手法にいくつかのアップデートを提案する。 マルチヘッド・セルフアテンション・モジュールを導入することで3次元畳み込みバックボーンを近代化する。 モデルをさらに改良するために,セグメントマップの予測などの自己指導型学習タスクについて検討した。
  論文  参考訳（メタデータ） (2022-07-16T19:25:41Z)
• ASCNet: Self-supervised Video Representation Learning with Appearance-Speed Consistency [62.38914747727636]
  本研究では,1)明示的な監督のためのラベルの欠如,2)構造化されていない,ノイズの多い視覚情報による自己指導型映像表現学習について検討する。 既存の方法は、主にビデオクリップをインスタンスとしてコントラスト損失を使用し、互いにインスタンスを識別することで視覚的表現を学ぶ。 本稿では,ロバストな映像表現を学ぶ上で,正のサンプル間の一貫性が鍵となることを観察する。
  論文  参考訳（メタデータ） (2021-06-04T08:44:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。