論文の概要: Gnomon4D: Learning Where and When to Focus for Geometric Motion-Grounded World-Action Modeling

• arxiv url: http://arxiv.org/abs/2611.02474v2
• Date: Wed, 04 Nov 2026 13:57:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.68444
• Title: Gnomon4D: Learning Where and When to Focus for Geometric Motion-Grounded World-Action Modeling
• Title（参考訳）: Gnomon4D:Geometric Motion-Grounded World-Action Modelingのための学習場所と時間
• Abstract要約: Gnomon4Dは未来のビデオ、ロボットアクションを共同で生成するWAMであり、GeoDeltaはビデオアラインな4D幾何運動場である。 1つのフィールドのエンボディメントとオブジェクトによって、相互作用を示す相対的な動きを読み取ることができる。 Gnomon4DはRoboTwin2.0、VLABench、RoboDojoをリードし、実際のロボットベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 54.397433718845654
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: World-action models (WAMs) predict scene changes to guide robot actions, yet their RGB futures entangle state changes with appearance and lack 3D geometry. Recent WAMs add geometry as a training signal or a control interface, or build native 3D models, but decide what geometry to model rather than how the action should read it. Intuitively, control-relevant cues lie at embodiment--object interactions and their transitions, yet probing existing WAMs reveals that their action attention underweights these interactions in favor of the rest of the embodiment. To focus the action on these interactions, we present Gnomon4D, a WAM that jointly generates future video, robot actions, and GeoDelta, a video-aligned 4D geometric motion field recording the image-plane displacement and depth change of embodiment and object points. With the embodiment and objects in one field, their relative motion, which marks an interaction, can be read off. Guided by this motion and the task, Interaction-Salient Attention (InSAttn) selects where the action reads, and Transition-Anchored Aggregation (TransAgg) selects when, around grasp and release. As GeoDelta encodes surface motion rather than embodiment-specific controls, it serves as a human--robot quasi-action that links action-free pretraining on EgoManip-5000H, which we curate, to robot mid-training on Robot-30H. Gnomon4D leads on RoboTwin~2.0, VLABench, and RoboDojo, and outperforms real-robot baselines, especially under visual shifts. Project page: https://droliven.github.io/Gnomon4D.
• Abstract（参考訳）: 世界行動モデル(WAM)は、ロボットの動きを導くためにシーンの変化を予測するが、RGBの未来は外観と3D幾何学の欠如によって状態の変化を絡み合わせる。 近年のWAMは、トレーニング信号や制御インターフェースとして幾何学を追加し、ネイティブな3Dモデルを構築するが、アクションがどのように読むべきかではなく、どの幾何学をモデルにするかを決定する。 直感的には、制御関連キューはエンボディメントにおける-オブジェクトの相互作用とその遷移に反するが、既存のWAMはそれらの作用がこれらの相互作用を過度に重くし、残りのエンボディメントに有利であることを示している。 これらの相互作用に焦点をあてるために、将来のビデオ、ロボットアクション、GeoDeltaを共同で生成するWAMであるGnomon4Dと、画像面の変位とエンボディメントと物体点の深さ変化を記録する4D幾何運動場であるGeoDeltaを提示する。 1つのフィールドのエンボディメントとオブジェクトによって、相互作用を示す相対的な動きを読み取ることができる。 この動作とタスクによってガイドされ、Interaction-Salient Attention (InSAttn) はアクションの読み取り先を選択し、Transition-Anchored Aggregation (TransAgg) は、把握と解放の前後のタイミングを選択する。 GeoDeltaは、エボディメント固有のコントロールではなく、表面の動きをエンコードするので、EgoManip-5000Hのアクションフリープレトレーニングとロボット30Hの中間トレーニングを結びつける人間のロボット準アクションとして機能する。 Gnomon4DはRoboTwin~2.0、VLABench、RoboDojoをリードし、特に視覚シフト下では、実際のロボットベースラインを上回っている。 プロジェクトページ: https://droliven.github.io/Gnomon4D。

関連論文リスト

• Robot Motion Transition with a Human Motion Prior [7.023695658549802]
  STAMPは、ロボットとヒューマンとロボットのプロセスを通して、独立して獲得したヒューマノイドの動きを接続するためのフレームワークである。 学習されたアライメントモデルにより、運動間の境界条件が決定される。 人間の動きは、選択されたアライメントの下で遷移を生成する。
  論文  参考訳（メタデータ） (2026-10-22T06:45:34Z)
• AffordanceWAM: Affordance-Aware Joint World-Action Modeling for Robot Manipulation [61.436480565887905]
  汎用的なロボット操作は、シーンがどのように進化するかを予測する必要がある。 アクションラベル付きロボットビデオは、直接制御を監督するが、コストが高く、多様性に制限がある。 本稿では,Scalr Affordance と Affordance Heatmap によるオブジェクトの空き時間を表す,空き時間を考慮した World Action Model を提案する。
  論文  参考訳（メタデータ） (2026-09-16T14:07:06Z)
• Robot-Factored World Models via Robot Rendering [25.12876640584098]
  アクション条件付きビデオワールドモデルは、初期観測と行動信号から将来の観測を予測する。 本研究では,ロボット特異的な2つの要素を世界モデル外へ移動させるロボット駆動世界モデルを提案する。 実験により, レンダリングインタフェースはベクトル条件付きベースラインより優れており, 未知のロボットエンボディメント推論に一般化されていることがわかった。
  論文  参考訳（メタデータ） (2026-07-24T17:59:57Z)
• WAM4D: Fast 4D World Action Model via Spatial Register Tokens [52.16661403052964]
  WAM4Dは,軽量空間レジスタトークンを用いた高速4次元世界アクションモデルである。 WAM4Dは空間的整合性を向上し,効率的な推論を維持しつつ,競争力のある動作予測を実現する。
  論文  参考訳（メタデータ） (2026-06-12T02:49:34Z)
• PointAction: 3D Points as Universal Action Representations for Robot Control [42.12570897523391]
  本稿では,映像予測をロボット行動にブリッジするフレームワークであるPointActionについて,明示的なポイントベース4Dモデリングにより紹介する。 PointActionは、ロボットシーンにおける最先端の4D生成品質を実現し、シミュレーションにおいて既存のベースラインを上回り、事前トレーニング中に見えない2つの本物のロボットアームに一般化する。
  論文  参考訳（メタデータ） (2026-06-02T17:30:50Z)
• Kinema4D: Kinematic 4D World Modeling for Spatiotemporal Embodied Simulation [46.24300848525144]
  Kinema4Dは、ロボットと世界の相互作用を、ロボットの正確な4D表現、すなわち環境反応の生成4Dモデリングに分解する、アクションコンディショナブルな新しい4D生成ロボットシミュレータである。 初めてゼロショット転送能力を示し、次世代のエンボディドシミュレーションを進めるための高忠実度基盤を提供する。
  論文  参考訳（メタデータ） (2026-03-17T15:36:38Z)
• FIction: 4D Future Interaction Prediction from Video [63.37136159797888]
  ビデオからの4次元未来のインタラクション予測のためのFIctionを紹介する。 人間の活動のインプットビデオが与えられたら、その人が次に対話する3D位置のオブジェクトを予測することが目的だ。
  論文  参考訳（メタデータ） (2024-12-01T18:44:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。