論文の概要: What Egocentric Video Embeddings Encode and How to Combine Them with Inertial Sensors for Human Activity Recognition
- arxiv url: http://arxiv.org/abs/2610.12926v1
- Date: Fri, 09 Oct 2026 03:15:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.37063
- Title: What Egocentric Video Embeddings Encode and How to Combine Them with Inertial Sensors for Human Activity Recognition
- Title（参考訳）: Egocentric Video Embeddings Encodeと人間行動認識のための慣性センサーの併用方法
- Abstract要約: エゴセントリックなビデオとボディーウーンの慣性センサーは、ますます一緒に記録される。
VideoMAEv2、CLIP、DINOv2、および自我中心のVC-1全体において、埋め込みの主要な方向は、カメラがどこに見えるかによって支配されている。
WEARでは、時間的順序を除去し、1秒間1本のランダムな手足で、参加者内ビデオグラフ上で慣性予測を伝搬する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Egocentric video and body-worn inertial sensors are increasingly recorded together, and the video is usually encoded by pretrained models. What these embeddings represent when the camera sits on the head, and how they should be combined with inertial sensing, has received little attention. Across VideoMAEv2, CLIP, DINOv2 and the egocentric VC-1, the leading principal directions of the embedding are dominated by where the camera looks. Measured head orientation explains them on Ego-Exo4D for egocentric (R^2 0.49-0.70) but not exocentric cameras, and the scene layout explains them on WEAR. The part that the limbs' inertial signals predict separates activities across people. In a set-level probe, the rest separates exercise sets within a participant but not activities across people. This is consistent with separate roles: the video finds the clips of the same set, and the inertial classifier labels them. On WEAR, with temporal order removed and one random limb per one-second clip, we propagate inertial predictions over a within-participant video graph whose leading components are removed. This raises subject-wise cross-validated macro-F1 from 0.648 to 0.852. In our comparisons, propagation helps only over the video graph, and fusing the modalities in one classifier, or adding inertial edges to the graph, performs worse.
- Abstract（参考訳）: エゴセントリックなビデオとボディーウーンの慣性センサーは、ますます一緒に記録され、ビデオは通常、事前訓練されたモデルによってエンコードされる。
これらの埋め込みは、カメラが頭の上に座ったときに何を表現し、慣性センシングと組み合わせるべきかということがほとんど注目を集めていない。
VideoMAEv2、CLIP、DINOv2、および自我中心のVC-1全体において、埋め込みの主要な方向は、カメラがどこに見えるかによって支配されている。
エゴセントリック(R^2 0.49-0.70)のEgo-Exo4Dでは、測定されたヘッドオリエンテーションが説明され、シーンレイアウトではWEARで説明されている。
手足の慣性信号が予測する部分は、人間での活動を分離する。
セットレベルの調査では、残りは参加者内でエクササイズセットを分離するが、人間での活動は行わない。
ビデオが同じセットのクリップを見つけ、慣性分類器がそれらをラベル付けする。
WEARでは、時間的順序を除去し、1秒間1本のランダムな手足で、主成分を除去した参加者内ビデオグラフ上で慣性予測を伝搬する。
これにより、主観的なクロスバリデーションマクロF1が0.648から0.852に上昇する。
比較では,伝搬はビデオグラフ上でのみ有効であり,一つの分類器にモダリティを融合させるか,あるいはグラフに慣性エッジを追加すると,さらに悪化する。
関連論文リスト
- Everybody Tracking Every Body [54.76361724681694]
本研究では,集中的な協調を伴う自我中心的な視点から対話する複数の人物の3次元身体ポーズ推定の問題に対処する。
この動画をVIO SLAMで処理することで、宇宙空間におけるそれぞれの自撮りカメラの高品質な追跡が可能になる。
本研究では,頭部の動きに基づくポーズ推定と遠心性ポーズ観測を融合した拡散型アプローチを提案する。
論文 参考訳（メタデータ） (2026-08-30T17:42:15Z) - E$^3$C: Video Generation with 3D Environmental Memory and Ego-Exo Human Pose Control [24.385592831884797]
E$3$Cは、自己中心型生成のための制御可能なビデオ拡散フレームワークである。
永続的なシーン構造を人間駆動のダイナミックスから切り離す構造的でコンパクトな条件を構築する。
E$3$Cは、視覚的忠実度、カメラモーションの精度、オブジェクトの一貫性、強力なベースラインに対するエゴとエクソの人間のコントロールを改善する。
論文 参考訳（メタデータ） (2026-05-25T20:13:16Z) - EgoExo-WM: Unlocking Exo Video for Ego World Models [59.337519140691775]
エゴセントリックな世界モデルはエージェントの予測と計画を可能にする有望な方向性を示す。
外心ビデオは豊富で、身体のポーズは良好だが、エージェントのアクション空間と直接的に一致していない。
本稿では,このギャップを埋めるために,アクションの表現として,外心ビデオから構造体ポーズを抽出する手法を提案する。
論文 参考訳（メタデータ） (2026-05-14T23:35:54Z) - Robust Egocentric Referring Video Object Segmentation via Dual-Modal Causal Intervention [58.05340906967343]
Egocentric Referring Video Object (Ego-RVOS)は、言語クエリで説明されているように、人間のアクションに積極的に関与する特定のオブジェクトを、一人称ビデオに分割することを目的としている。
既存の手法はしばしば苦労し、データセット内の歪んだオブジェクト-アクションのペアリングから急激な相関を学習する。
本稿では,強力なトレーニング済みRVOSをエゴセントリックドメインに適応させるプラグイン因果フレームワークであるCausal-Referring(CERES)を紹介する。
論文 参考訳（メタデータ） (2025-12-30T16:22:14Z) - EgoTwin: Dreaming Body and View in First Person [47.06226050137047]
EgoTwinは拡散トランスフォーマーアーキテクチャ上に構築された共同ビデオモーション生成フレームワークである。
EgoTwinは人間の動きを頭部に固定し、サイバネティックスにインスパイアされた相互作用機構を組み込む。
総合的な評価のために、同期されたテキスト-ビデオ-モーション三重項の大規模実世界のデータセットをキュレートする。
論文 参考訳（メタデータ） (2025-08-18T15:33:09Z) - PlayerOne: Egocentric World Simulator [73.88786358213694]
PlayerOneは、最初のエゴセントリックなリアルワールドシミュレータである。
それは、エゴセントリックなビデオを生成し、エゴセントリックなカメラで捉えたユーザーの実際のシーンの人間の動きと厳密に一致している。
論文 参考訳（メタデータ） (2025-06-11T17:59:53Z) - Retrieval-Augmented Egocentric Video Captioning [53.2951243928289]
EgoInstructor(エゴインストラクタ)は、意味的に関連する第三者の指導ビデオを自動的に検索する、検索拡張マルチモーダルキャプションモデルである。
我々は、エゴセントリックでエゴセントリックなビデオ機能を引き出す新しいEgoExoNCE損失でクロスビュー検索モジュールをトレーニングし、同様のアクションを記述した共有テキスト機能にアライメントすることで、より近づいた。
論文 参考訳（メタデータ） (2024-01-01T15:31:06Z) - Ego-Only: Egocentric Action Detection without Exocentric Transferring [37.89647493482049]
Ego-Onlyは,エゴセントリックな(ファーストパーソナリティー)ビデオに対して,最先端のアクション検出を可能にする最初のアプローチである。
論文 参考訳（メタデータ） (2023-01-03T22:22:34Z) - Ego-Body Pose Estimation via Ego-Head Pose Estimation [22.08240141115053]
エゴセントリックなビデオシーケンスから3次元の人間の動きを推定することは、人間の行動理解において重要な役割を担い、VR/ARに様々な応用がある。
Ego-Head Pose Estimation (EgoEgo) と呼ばれる新しい手法を提案する。
この頭と体のポーズのゆがみは、ペア化されたエゴセントリックなビデオと3D人間の動きでデータセットをトレーニングする必要をなくす。
論文 参考訳（メタデータ） (2022-12-09T02:25:20Z) - Ego-Exo: Transferring Visual Representations from Third-person to
First-person Videos [92.38049744463149]
大規模第3者映像データセットを用いた自己中心型映像モデルの事前訓練手法について紹介する。
私たちのアイデアは、重要なエゴセントリック特性を予測する第三者ビデオから潜在信号を見つけることです。
実験の結果,Ego-Exoフレームワークは標準ビデオモデルにシームレスに統合可能であることがわかった。
論文 参考訳（メタデータ） (2021-04-16T06:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。