論文の概要: From Where to How: Continuous 4D Interaction Forecasting from Egocentric Video

• arxiv url: http://arxiv.org/abs/2609.08636v1
• Date: Tue, 08 Sep 2026 12:06:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.643688
• Title: From Where to How: Continuous 4D Interaction Forecasting from Egocentric Video
• Title（参考訳）: 場所から場所へ:エゴセントリックビデオからの連続4Dインタラクション予測
• Abstract要約: エゴセントリックな4Dインタラクション予測は、将来のインタラクションが3Dで起こる場所と、その実現のために人体がどのように動くかを予測することを目的としている。 コヒーレント4D(Coherent4D)は、3つの領域にわたる約233Kサンプルからなる連続4Dインタラクション予測のための大規模エゴセントリックデータセットである。 HIGFlow(Hand Interaction Guided Residual Flow)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 62.898774619819676
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Egocentric 4D interaction forecasting aims to anticipate both where future interactions will occur in 3D and how the human body will move to realize them, providing an important capability for assistive robotics and human-computer interaction. Existing methods struggle to translate semantic understanding into precise continuous 3D localization and to balance motion diversity with structural consistency in pose forecasting. More fundamentally, these tasks are often modeled separately, leaving the continuous geometric and temporal correspondence between interaction locations and body motion insufficiently captured. To address these challenges, we introduce Coherent4D, a large-scale egocentric dataset for continuous 4D interaction forecasting, comprising approximately 233K samples across three domains. Each sample pairs a sequence of future 3D interaction locations with corresponding full-body poses, aligned in time and expressed in a shared coordinate system. We also provide evaluation metrics in continuous space. Building on this formulation, we propose HIGFlow, a Hand Interaction Guided Residual Flow framework that models forecasting as a cascaded where-to-how process. HIGFlow first forecasts continuous future interaction locations by combining semantic grounding with short-horizon visual dynamics, and then uses the predicted location sequence to condition a deterministic motion anchor and residual Flow Matching for diverse yet structurally consistent full-body motion forecasting. Extensive experiments across all three domains demonstrate consistent improvements over representative baselines on both location and pose forecasting, while ablations validate the contributions of the proposed components. The project page is available at https://corrineqiu.github.io/from-where-to-how/.
• Abstract（参考訳）: エゴセントリックな4Dインタラクション予測は、将来のインタラクションが3Dで起こる場所と、人体がそれを実現するためにどのように動くかの両方を予測することを目的としており、補助ロボット工学と人間とコンピュータのインタラクションにとって重要な能力を提供する。 既存の手法では、意味理解を正確な連続した3次元局所化に変換し、ポーズ予測における動きの多様性と構造的一貫性のバランスをとるのに苦労している。 より根本的には、これらのタスクはしばしば別々にモデル化され、相互作用位置と身体の動きの間の連続的な幾何学的および時間的対応が不十分なまま残される。 これらの課題に対処するために,3つの領域にわたる約233Kサンプルからなる,連続的な4Dインタラクション予測のための大規模エゴセントリックデータセットであるCoherent4Dを紹介した。 各サンプルは、将来の3Dインタラクションロケーションと対応するフルボディのポーズのシーケンスをペアリングし、時間的に整列し、共有座標系で表現する。 また、連続した空間における評価指標も提供します。 この定式化に基づいてHIGFlowを提案する。HIGFlowは手動インタラクションガイド型残留フローフレームワークで,予測をケースド・ツー・ハウ・プロセスとしてモデル化する。 HIGFlowは、まず、セマンティックグラウンドと短水平視覚力学を組み合わせることで、連続した未来の相互作用位置を予測し、次に予測された位置シーケンスを使用して決定論的動きアンカーと残留フローマッチングを、多様で構造的に一貫したフルボディ動作予測のために条件付けする。 3つの領域にまたがる広範囲な実験は、位置とポーズの予測における代表的ベースラインよりも一貫した改善を示し、一方、Ablationsは提案されたコンポーネントのコントリビューションを検証する。 プロジェクトのページはhttps://corrineqiu.github.io/from-where-to-how/で公開されている。

関連論文リスト

• Residual Flow Matching with Dynamic Cross-Interaction for 3D Multi-Person Motion Prediction [10.207329247559242]
  3次元多対人動作予測は、個々の運動学と対人相互作用の両方をモデル化する必要がある。 フローマッチングは、予測精度を向上させるために多仮説生成に有効である。 本稿では,事前ガイド型残留流れマッチングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-04T09:28:27Z)
• InterOCF: Spatio-Temporal 2D-3D Interaction for Camera-Only 4D Occupancy Forecasting [14.13719947869133]
  カメラのみの4D占有予測により、自動運転車は歴史的多視点画像のみから将来の3Dセマンティックシーンを予測できる。 我々は,3次元ボクセル表現と多視点セグメンテーションシーケンスの両方において,時間的ダイナミクスを共同でモデル化する4次元占有予測のための新しいフレームワークであるInterOCFを紹介した。 1) 歴史的ボクセル状態から体積力学を学習し,将来のボクセル状態を予測する3次元時空間(3DST)モジュール,2) 補助的多視点時間分割予測を用いた2次元時空間(2DST)モジュール。
  論文  参考訳（メタデータ） (2026-07-27T13:43:37Z)
• Ego-Human Motion Prediction with 3D-Aware LLM [51.5064259568401]
  Ego3DLMは、人間の動きを自我中心の視点から予測するツールである。 過去のポーズ、未来のポーズ、過去のナレーション、将来のナレーションを1つの自己回帰パスでデコードする。 Ego3DLMは、将来の動き予測、過去の動きの追跡、動作記述にまたがる最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-07-08T04:51:24Z)
• ForecastOcc: Vision-based Semantic Occupancy Forecasting [16.699381591572163]
  ForecastOccは視覚に基づくセマンティック占有予測のための最初のフレームワークであり、将来の占有状況とセマンティックカテゴリーを予測する。 本フレームワークは,過去のカメラ画像から直接,外部推定地図に頼らずに,複数の地平線に対するセマンティック占有率の予測を行う。
  論文  参考訳（メタデータ） (2026-02-08T15:16:06Z)
• ALOcc: Adaptive Lifting-Based 3D Semantic Occupancy and Cost Volume-Based Flow Predictions [91.55655961014027]
  シーン理解には3次元セマンティック占有とフロー予測が不可欠である。 本稿では,3つの改善点を目標とした視覚ベースのフレームワークを提案する。 我々の純粋な畳み込みアーキテクチャは、セマンティック占有率とジョイントセマンティックフロー予測の両方のために、複数のベンチマーク上で新しいSOTA性能を確立する。
  論文  参考訳（メタデータ） (2024-11-12T11:32:56Z)
• ZARRIO @ Ego4D Short Term Object Interaction Anticipation Challenge: Leveraging Affordances and Attention-based models for STA [10.144283429670807]
  STA(Short-Term Object-Interaction Precipation)は、次のアクティブなオブジェクトの位置、対話の名詞と動詞のカテゴリ、および自我中心のビデオの観察から接触する時間を検出することで構成される。 STAformerは、フレーム誘導時間プーリング、デュアルイメージビデオアテンション、マルチスケール機能融合を統合し、画像入力ビデオペアからのSTA予測をサポートする新しいアテンションベースアーキテクチャである。
  論文  参考訳（メタデータ） (2024-07-05T09:16:30Z)
• AMP: Autoregressive Motion Prediction Revisited with Next Token Prediction for Autonomous Driving [59.94343412438211]
  本稿では,GPT方式の次のトークン動作予測を動作予測に導入する。 同種単位-ワードからなる言語データとは異なり、運転シーンの要素は複雑な空間的・時間的・意味的な関係を持つ可能性がある。 そこで本稿では,情報集約と位置符号化スタイルの異なる3つの因子化アテンションモジュールを用いて,それらの関係を捉えることを提案する。
  論文  参考訳（メタデータ） (2024-03-20T06:22:37Z)
• TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
  TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。 実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。 評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
  論文  参考訳（メタデータ） (2021-04-08T20:01:00Z)
• A Spatial-Temporal Attentive Network with Spatial Continuity for Trajectory Prediction [74.00750936752418]
  空間連続性をもつ空間時間減衰ネットワーク(STAN-SC)という新しいモデルを提案する。 まず、最も有用かつ重要な情報を探るために、空間的時間的注意機構を提示する。 第2に、生成軌道の空間的連続性を維持するために、シーケンスと瞬間状態情報に基づく共同特徴系列を実行する。
  論文  参考訳（メタデータ） (2020-03-13T04:35:50Z)
• A Graph Attention Spatio-temporal Convolutional Network for 3D Human Pose Estimation in Video [7.647599484103065]
  我々は,アテンション機構を用いた局所的グローバル空間情報のモデリングにより,人間の骨格における制約の学習を改善する。 提案手法は, 奥行きのあいまいさと自己閉塞性を効果的に軽減し, 半上半身推定を一般化し, 2次元から3次元映像のポーズ推定における競合性能を実現する。
  論文  参考訳（メタデータ） (2020-03-11T14:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。