論文の概要: Perceiving and Predicting Dynamic Sports: Spatiotemporal Intelligence in Vision Models for Egocentric Tennis Video

• arxiv url: http://arxiv.org/abs/2610.37619v1
• Date: Tue, 27 Oct 2026 17:47:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.736417
• Title: Perceiving and Predicting Dynamic Sports: Spatiotemporal Intelligence in Vision Models for Egocentric Tennis Video
• Title（参考訳）: ダイナミックスポーツの知覚と予測:エゴセントリックテニスビデオの視覚モデルにおける時空間インテリジェンス
• Abstract要約: アジャイルロボットは、相互作用に関する理由を解釈し、将来の出来事を予測するために、キネマティックインテリジェンスを必要とします。 基礎的なビジョンモデルがこれらの機能をどのようにサポートしているかは、現時点では不明だ。 本データセットは,5つのアロテンポ的ビデオ,推定グローバル画像,ラベル付き動的接触時間,注釈付きストロークタイプと同期したエゴビデオを含む。
• 参考スコア（独自算出の注目度）: 37.75724882526998
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Agile robots require spatiotemporal intelligence to interpret scenes, reason about interactions, and anticipate future events. Yet it remains unclear how well foundation vision models support these capabilities, particularly from a moving egocentric camera, which is a natural view for robots. To investigate this, we collect an annotated tennis dataset and train a suite of vision models on spatiotemporal tasks. Our dataset contains egocentric video synchronized with five allocentric videos, estimated global positions, labeled contact times, and annotated stroke types. We then evaluate seven prediction tasks from egocentric images: 2D ego player and 3D ball localization, future player and ball trajectories, forehand or backhand stroke anticipation, time to the next ego player ball contact, and 3D ball position at that contact. We compare image encoders, video encoders, and vision-language models with jointly trained prediction heads. The best performing models achieve mean current-frame localization errors of 0.14 m for the ego player and 0.54 m for the ball, future forecasting errors of 0.34 m for the ego player and 0.91 m for the ball over 1.1 s, and a mean contact-time prediction error of 0.14 s. Auxiliary depth information substantially improves 3D ball localization, suggesting that inferring metric depth remains a challenge. Longer image histories do not improve ball forecasting, indicating that representations exploit scene context rather than rely solely on inter-frame motion. Finally, we propose a conditional diffusion model to generate whole-body kinematic tennis motion from vision encoder predictions on egocentric video at real-time rates, adapting movements as predictions are refined. These results move towards a deeper understanding of how foundation vision models can support real-time dynamic robots using egocentric video.
• Abstract（参考訳）: アジャイルロボットは、シーンを解釈し、相互作用を推論し、将来の出来事を予測するために、時空間知性を必要とします。 しかし、基礎となるビジョンモデルがこれらの機能をどのようにサポートしているかは、まだ不明だ。 これを調べるために,アノテーション付きテニスデータセットを収集し,時空間課題に対する視覚モデルスイートを訓練する。 本データセットは,5つの同心ビデオ,推定グローバル位置,ラベル付き接触時間,注釈付きストロークタイプと同期した自我中心ビデオを含む。 次に,2D ego playerと3D ball Localization, Future playerとball trajectories, forehand or backhand stroke expectation, time to the next ego player ball contact, and 3D ball position at that contact。 我々は、画像エンコーダ、ビデオエンコーダ、視覚言語モデルと共同で訓練された予測ヘッドを比較した。 最高性能モデルは、エゴプレーヤの平均カレントフレームローカライズ誤差が0.14m、ボールの0.54m、将来予測誤差が1.1秒以上で0.34m、平均接触時間予測誤差が0.14sとなる。 補助深度情報は、3Dボールの局所化を大幅に改善し、計量深度を推定することは依然として困難である。 長い画像履歴は、フレーム間の動きにのみ依存するのではなく、シーンコンテキストを活用することを示し、ボール予測を改善するものではない。 最後に,視覚エンコーダの予測から全身キネマティックテニスの動きをリアルタイムに生成する条件付き拡散モデルを提案する。 これらの結果は、ファンデーション・ビジョン・モデルがエゴセントリック・ビデオを用いてリアルタイム・ダイナミック・ロボットをどのようにサポートできるかをより深く理解することに向かっている。

関連論文リスト

• Ego-Human Motion Prediction with 3D-Aware LLM [51.5064259568401]
  Ego3DLMは、人間の動きを自我中心の視点から予測するツールである。 過去のポーズ、未来のポーズ、過去のナレーション、将来のナレーションを1つの自己回帰パスでデコードする。 Ego3DLMは、将来の動き予測、過去の動きの追跡、動作記述にまたがる最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-07-08T04:51:24Z)
• EgoCS-400K: An Egocentric Gameplay Dataset for World Models [53.9389499966106]
  EgoCS-400Kは,世界モデルのための大規模リプレイ・グラウンド型Egocentric Counter-Strikeデータセットである。 パブリックプロのCSとCS2のマッチデモから作られ、人間のゲームプレイの軌跡を保存している。 EgoCS-400Kには、1000以上の試合と4万回以上のラウンドから40万人以上の個人ビデオと1万時間のゲームプレイが含まれている。
  論文  参考訳（メタデータ） (2026-06-16T17:13:58Z)
• Egocentric World Model for Photorealistic Hand-Object Interaction Synthesis [25.153233500074194]
  EgoHOIは、このショートカットから分離したエゴセントリックなHOIワールドモデルであり、アクション信号のみからの光リアルで接触一貫性のある相互作用をシミュレートする。 エゴホイは幾何学的およびキネマティックな先駆体を3次元推定から物理インフォームド埋め込みに蒸留する。 HOT3Dデータセットの実験では、強いベースラインよりも一貫したゲインを示し、設計の有効性を検証する。
  論文  参考訳（メタデータ） (2026-03-13T21:46:17Z)
• FIction: 4D Future Interaction Prediction from Video [63.37136159797888]
  ビデオからの4次元未来のインタラクション予測のためのFIctionを紹介する。 人間の活動のインプットビデオが与えられたら、その人が次に対話する3D位置のオブジェクトを予測することが目的だ。
  論文  参考訳（メタデータ） (2024-12-01T18:44:17Z)
• EgoHumans: An Egocentric 3D Multi-Human Benchmark [37.375846688453514]
  EgoHumansは、エゴセントリックな人間の3Dポーズ推定と追跡の最先端化を図るために、新しいマルチビューマルチヒューマンビデオベンチマークである。 本研究では,エゴセントリックなマルチヒューマン・ベンチマークを構築するために,新しい3Dキャプチャ・セットアップを提案する。 コンシューマグレードのウェアラブルカメラ搭載メガネを、エゴセントリックな視点に活用することで、テニス、フェンシング、バレーボールなどのダイナミックな活動を捉えることができます。
  論文  参考訳（メタデータ） (2023-05-25T21:37:36Z)
• Ego-Body Pose Estimation via Ego-Head Pose Estimation [22.08240141115053]
  エゴセントリックなビデオシーケンスから3次元の人間の動きを推定することは、人間の行動理解において重要な役割を担い、VR/ARに様々な応用がある。 Ego-Head Pose Estimation (EgoEgo) と呼ばれる新しい手法を提案する。 この頭と体のポーズのゆがみは、ペア化されたエゴセントリックなビデオと3D人間の動きでデータセットをトレーニングする必要をなくす。
  論文  参考訳（メタデータ） (2022-12-09T02:25:20Z)
• Contact and Human Dynamics from Monocular Video [73.47466545178396]
  既存のディープモデルは、ほぼ正確に見えるエラーを含むビデオから2Dと3Dキネマティックのポーズを予測する。 本稿では,最初の2次元と3次元のポーズ推定を入力として,映像系列から3次元の人間の動きを推定する物理に基づく手法を提案する。
  論文  参考訳（メタデータ） (2020-07-22T21:09:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。