Fugu-MT 論文翻訳(概要): Ego-Human Motion Prediction with 3D-Aware LLM

論文の概要: Ego-Human Motion Prediction with 3D-Aware LLM

arxiv url: http://arxiv.org/abs/2607.07001v1
Date: Wed, 08 Jul 2026 04:51:24 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-09 22:50:30.283852
Title: Ego-Human Motion Prediction with 3D-Aware LLM
Title（参考訳）: 3次元LLMを用いたエゴ・ヒューマン運動予測
Abstract要約: Ego3DLMは、人間の動きを自我中心の視点から予測するツールである。過去のポーズ、未来のポーズ、過去のナレーション、将来のナレーションを1つの自己回帰パスでデコードする。 Ego3DLMは、将来の動き予測、過去の動きの追跡、動作記述にまたがる最先端のパフォーマンスを実現する。
参考スコア（独自算出の注目度）: 51.5064259568401
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Anticipating human motion from an egocentric perspective is fundamental for proactive assistance in AR/VR, human-robot collaboration, and embodied AI. While recent works incorporate language as a semantic prior to reduce the ill-posed nature of egocentric forecasting, they largely neglect the 3D spatial and semantic context that governs how motion unfolds, and treat pose and language prediction as separate inference streams. We introduce Ego3DLM, built on two core principles: accurate motion forecasting requires explicit spatial and semantic understanding of the 3D environment, and pose and language must be predicted holistically in a single pass, since motion is inherently tied to the semantic interpretation of actions being performed. Given three-point tracking, 3D scene features, and egocentric video, Ego3DLM simultaneously decodes past pose, future pose, past narration, and future narration in a single autoregressive pass, grounding predicted poses and descriptions in one another to enforce cross-modal and temporal consistency. We adopt a three-stage training scheme: (1) spatial-semantic scene awareness pretraining; (2) holistic instruction tuning over all four outputs in a single pass; and (3) GRPO-based reinforcement finetuning with intra- and inter-modal rewards that directly optimize pose-language fidelity. Experiments on the Nymeria benchmark demonstrate that Ego3DLM achieves state-of-the-art performance across future motion prediction, past motion tracking, and motion description, showing that 3D scene grounding and holistic cross-modal prediction yield physically plausible and semantically coherent motion forecasts. The project page is available at https://jaewoo97.github.io/Ego3DLM/.
Abstract（参考訳）: エゴセントリックな視点から人間の動きを予測することは、AR/VR、人間とロボットのコラボレーション、そしてAIの具体化における積極的な支援の基礎である。近年の研究では、エゴセントリックな予測の誤った性質を減少させる前に、言語を意味として含んでいるが、動きの展開を規定する3次元空間的・意味的文脈を無視し、ポーズと言語予測を別々の推論ストリームとして扱う。正確な動き予測には3次元環境の空間的・意味的理解が必要であり,動作のセマンティック解釈に本質的に結びついているため,ポーズと言語は1回のパスで均等に予測されなければならない。 3点追跡、3Dシーンの特徴、エゴセントリックなビデオが与えられた後、Ego3DLMは、過去のポーズ、将来のポーズ、過去のナレーション、将来のナレーションを1つの自己回帰パスで同時にデコードし、予測されたポーズと記述を互いに接地し、相互にモーダルと時間的一貫性を強制する。本研究では,(1)空間意味的なシーン認識事前学習,(2)4つのアウトプットを1回のパスで総合的にチューニングする,(3)ポーズ言語忠実度を直接最適化するモーダル内およびモーダル間報酬を用いたGRPOに基づく強化微調整という3段階のトレーニング手法を採用する。 Nymeriaベンチマークの実験により、Ego3DLMは将来の動き予測、過去の動き追跡、動作記述をまたいだ最先端のパフォーマンスを達成し、3Dシーンのグラウンドディングと全体像のクロスモーダル予測が物理的に妥当でセマンティックに一貫性のある動き予測をもたらすことを示した。プロジェクトページはhttps://jaewoo97.github.io/Ego3DLM/で公開されている。

関連論文リスト

GeomVLA: Unifying Scene, Motion, and Action in 3D [19.277341680583834]
ロボット中心の3D座標フレーム内での知覚,潜時シーンの予測,行動生成を統一するモデルであるGeomVLAを提案する。提案手法は, 深度とカメラキャリブレーションを用いた空間的に接地された3次元シーントークンに, 予め訓練したVLM特徴を持ち上げる。本稿では,3D におけるシーンポイントの移動の遅延表現を学習するタスク条件付きモジュールである 3D Scene Trajectory Denoiser を紹介する。
論文参考訳（メタデータ） (2026-09-12T08:51:52Z)
From Where to How: Continuous 4D Interaction Forecasting from Egocentric Video [62.898774619819676]
エゴセントリックな4Dインタラクション予測は、将来のインタラクションが3Dで起こる場所と、その実現のために人体がどのように動くかを予測することを目的としている。コヒーレント4D(Coherent4D)は、3つの領域にわたる約233Kサンプルからなる連続4Dインタラクション予測のための大規模エゴセントリックデータセットである。 HIGFlow(Hand Interaction Guided Residual Flow)フレームワークを提案する。
論文参考訳（メタデータ） (2026-09-08T12:06:23Z)
EgoMotion: Hierarchical Reasoning and Diffusion for Egocentric Vision-Language Motion Generation [74.07852250099559]
Egocentric Vision-Language (Ego-VL) モーション生成について検討する。本課題は,1対1の視覚的観察と自然言語の指示を併用した3次元人間の動作を合成することである。この課題に対処するために,階層型生成フレームワーク textbfEgoMotion を提案する。
論文参考訳（メタデータ） (2026-04-21T05:31:06Z)
Flowing from Reasoning to Motion: Learning 3D Hand Trajectory Prediction from Egocentric Human Interaction Videos [42.207282959798]
本研究では,219K 6DoFトラジェクトリと3M構造化QAペアを用いた対話段階認識3次元ハンドトラジェクトリ予測のための大規模エゴセントリックデータセットを提案する。次に、軌跡言語インタフェースを介して視覚的な推論と動き生成をリンクする推論・運動フレームワークであるEgoMANモデルを紹介する。
論文参考訳（メタデータ） (2025-12-18T18:59:01Z)
Gaze Beyond the Frame: Forecasting Egocentric 3D Visual Span [50.60002620855774]
EgoSpanLiftは、2次元画像平面から3次元シーンへ、エゴセントリックなビジュアルスパン予測を変換する手法である。また、生のエゴセントリックなデータからベンチマークをキュレートし、3Dビジュアルスパン予測のための364.6Kサンプルを用いたテストベッドを作成します。
論文参考訳（メタデータ） (2025-11-23T14:37:11Z)
DreamPose3D: Hallucinative Diffusion with Prompt Learning for 3D Human Pose Estimation [18.240580699213197]
本研究では,3次元ポーズ推定のための行動認識推論と時間的想像力を組み合わせた拡散型フレームワークDreamPose3Dを紹介する。 DreamPose3Dは2次元ポーズシーケンスから抽出したタスク関連アクションプロンプトを用いて動的にデノナイズ処理を条件付け、ハイレベルなインテントをキャプチャする。本研究では,関節間の構造的関係を効果的にモデル化するために,運動的関節親和性を注目機構に組み込んだ表現エンコーダを提案する。幻覚的ポーズデコーダは、トレーニング中の時間的コヒーレントな3Dポーズを予測する。
論文参考訳（メタデータ） (2025-11-12T17:31:41Z)
FIction: 4D Future Interaction Prediction from Video [63.37136159797888]
ビデオからの4次元未来のインタラクション予測のためのFIctionを紹介する。人間の活動のインプットビデオが与えられたら、その人が次に対話する3D位置のオブジェクトを予測することが目的だ。
論文参考訳（メタデータ） (2024-12-01T18:44:17Z)
Multimodal Sense-Informed Prediction of 3D Human Motions [16.71099574742631]
本研究は,2つのモーダル情報に対して高忠実度を生成するマルチモーダル・インフォームド・モーション・予測手法を提案する。視線情報は人間の意図と見なされ、動きとシーンの特徴が組み合わさって、世代を監督するために第3の意図に注意を向ける。実世界の2つのベンチマークにおいて,提案手法は3次元人間のポーズと軌道予測の両方において最先端の性能を達成する。
論文参考訳（メタデータ） (2024-05-05T12:38:10Z)
Social-Transmotion: Promptable Human Trajectory Prediction [65.80068316170613]
Social-Transmotionは、多種多様な視覚的手がかりを利用して人間の行動を予測する、汎用トランスフォーマーベースのモデルである。提案手法は,JTA,JRDB,歩行者,道路交通のサイクリスト,ETH-UCYなど,複数のデータセットで検証されている。
論文参考訳（メタデータ） (2023-12-26T18:56:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。