論文の概要: Gnomon4D: Learning Where and When to Focus for Geometric Motion-Grounded World-Action Modeling

• arxiv url: http://arxiv.org/abs/2611.02474v1
• Date: Mon, 02 Nov 2026 03:45:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.683813
• Title: Gnomon4D: Learning Where and When to Focus for Geometric Motion-Grounded World-Action Modeling
• Title（参考訳）: Gnomon4D:Geometric Motion-Grounded World-Action Modelingのための学習場所と時間
• Abstract要約: ワールドアクションモデル(WAM)は、将来の観測とロボットのアクションを共同で予測するために、ビデオジェネレーションプレジェネレーションを使用する。 Gnomon4Dは未来のビデオ、ロボットアクションを共同で生成するWAMであり、GeoDeltaはビデオアラインな4D幾何運動場である。
• 参考スコア（独自算出の注目度）: 54.397433718845654
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: World-action models (WAMs) use video-generation priors to jointly predict future observations and robot actions. Yet RGB futures entangle physical state changes with appearance, while frame-wise depth and point maps lack temporal correspondence. Existing 4D approaches either keep motion implicit in visual features or translate predicted traces into actions through a separate interface. We present Gnomon4D, a WAM that jointly generates future video, robot actions, and GeoDelta, a video-aligned 4D geometric motion field encoding the cross-frame image-plane displacement and depth change of embodiment and object points. By placing embodiment motion and object responses in a shared space, GeoDelta exposes their motion relations to the action expert at inference. Interaction-Salient Attention (InSAttn) uses these relations to focus spatial readout on task-relevant interaction regions, while Transition-Anchored Aggregation (TransAgg) aggregates evidence around changes in their relative motion, such as grasp and release. GeoDelta describes surface motion independently of embodiment-specific controls, providing a shared human--robot quasi-action for action-free pretraining on EgoManip-5000H followed by robot mid-training on Robot-30H. Gnomon4D leads on RoboTwin~2.0, VLABench, and RoboDojo, and outperforms the strongest real-robot baseline by 7.0 and 16.0 percentage points under in-distribution and out-of-distribution settings, respectively.
• Abstract（参考訳）: ワールドアクションモデル(WAM)は、将来の観測とロボットのアクションを共同で予測するために、ビデオジェネレーションプレジェネレーションを使用する。 しかし、RGBの先物は外観によって物理的状態が変化し、フレームワイドの深さと点マップは時間的対応に欠ける。 既存の4Dアプローチは、視覚的特徴において動きを暗黙的に保持するか、予測されたトレースを別のインターフェイスを通じてアクションに変換する。 Gnomon4Dは、将来の映像、ロボットアクション、GeoDeltaを共同で生成するWAMであり、クロスフレーム画像平面の変位とエンボディメントとオブジェクトポイントの深さ変化を符号化したビデオアラインな4D幾何運動場である。 共有空間に実施動作とオブジェクト応答を配置することにより、GeoDeltaは推論時にアクションエキスパートにその動作関係を公開する。 Interaction-Salient Attention (InSAttn) はこれらの関係を利用してタスク関連相互作用領域の空間的読み出しに焦点を合わせ、Transition-Anchored Aggregation (TransAgg) は相対的な動きの変化に関する証拠を収集する。 GeoDeltaは、EgoManip-5000Hでのアクションフリープレトレーニングと、ロボット30Hでのロボットミッドトレーニングとを共用する人間ロボット擬似アクションを提供する。 Gnomon4DはRoboTwin~2.0、VLABench、RoboDojoをリードし、ディストリビューションとアウト・オブ・ディストリビューション設定でそれぞれ7.0と16.0で最強のリアルロボットベースラインを上回っている。

関連論文リスト

• Robot Motion Transition with a Human Motion Prior [7.023695658549802]
  STAMPは、ロボットとヒューマンとロボットのプロセスを通して、独立して獲得したヒューマノイドの動きを接続するためのフレームワークである。 学習されたアライメントモデルにより、運動間の境界条件が決定される。 人間の動きは、選択されたアライメントの下で遷移を生成する。
  論文  参考訳（メタデータ） (2026-10-22T06:45:34Z)
• AffordanceWAM: Affordance-Aware Joint World-Action Modeling for Robot Manipulation [61.436480565887905]
  汎用的なロボット操作は、シーンがどのように進化するかを予測する必要がある。 アクションラベル付きロボットビデオは、直接制御を監督するが、コストが高く、多様性に制限がある。 本稿では,Scalr Affordance と Affordance Heatmap によるオブジェクトの空き時間を表す,空き時間を考慮した World Action Model を提案する。
  論文  参考訳（メタデータ） (2026-09-16T14:07:06Z)
• Robot-Factored World Models via Robot Rendering [25.12876640584098]
  アクション条件付きビデオワールドモデルは、初期観測と行動信号から将来の観測を予測する。 本研究では,ロボット特異的な2つの要素を世界モデル外へ移動させるロボット駆動世界モデルを提案する。 実験により, レンダリングインタフェースはベクトル条件付きベースラインより優れており, 未知のロボットエンボディメント推論に一般化されていることがわかった。
  論文  参考訳（メタデータ） (2026-07-24T17:59:57Z)
• WAM4D: Fast 4D World Action Model via Spatial Register Tokens [52.16661403052964]
  WAM4Dは,軽量空間レジスタトークンを用いた高速4次元世界アクションモデルである。 WAM4Dは空間的整合性を向上し,効率的な推論を維持しつつ,競争力のある動作予測を実現する。
  論文  参考訳（メタデータ） (2026-06-12T02:49:34Z)
• PointAction: 3D Points as Universal Action Representations for Robot Control [42.12570897523391]
  本稿では,映像予測をロボット行動にブリッジするフレームワークであるPointActionについて,明示的なポイントベース4Dモデリングにより紹介する。 PointActionは、ロボットシーンにおける最先端の4D生成品質を実現し、シミュレーションにおいて既存のベースラインを上回り、事前トレーニング中に見えない2つの本物のロボットアームに一般化する。
  論文  参考訳（メタデータ） (2026-06-02T17:30:50Z)
• Kinema4D: Kinematic 4D World Modeling for Spatiotemporal Embodied Simulation [46.24300848525144]
  Kinema4Dは、ロボットと世界の相互作用を、ロボットの正確な4D表現、すなわち環境反応の生成4Dモデリングに分解する、アクションコンディショナブルな新しい4D生成ロボットシミュレータである。 初めてゼロショット転送能力を示し、次世代のエンボディドシミュレーションを進めるための高忠実度基盤を提供する。
  論文  参考訳（メタデータ） (2026-03-17T15:36:38Z)
• FIction: 4D Future Interaction Prediction from Video [63.37136159797888]
  ビデオからの4次元未来のインタラクション予測のためのFIctionを紹介する。 人間の活動のインプットビデオが与えられたら、その人が次に対話する3D位置のオブジェクトを予測することが目的だ。
  論文  参考訳（メタデータ） (2024-12-01T18:44:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。