論文の概要: GeoSem-WAM: Geometry- and Semantic-Aware World Action Models

• arxiv url: http://arxiv.org/abs/2606.03188v1
• Date: Tue, 02 Jun 2026 05:48:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:04.786161
• Title: GeoSem-WAM: Geometry- and Semantic-Aware World Action Models
• Title（参考訳）: GeoSeem-WAM:幾何学的・意味的世界行動モデル
• Authors: Fulong Ma, Daojie Peng, Wenjun Yue, Jiahang Cao, Bintao Wang, Qiang Zhang, Jun Ma,
• Abstract要約: 本稿では,幾何学的・意味的監督を通じて潜在表現を強化する構造化世界モデリングフレームワークを提案する。 提案手法は,テスト時の映像生成や自動ロールアウトを回避し,効率的な推論を行う。
• 参考スコア（独自算出の注目度）: 13.18627268862803
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent World Action Models (WAMs) have demonstrated impressive capabilities in embodied decision-making. However, whether their effectiveness stems from explicit future imagination during inference or representation learning induced by predictive training remains an open question. Emerging evidence suggests the primary advantage lies in learning robust latent representations rather than generating future observations at test time. Nevertheless, existing WAMs mainly rely on RGB-based future prediction, which provides limited structural and spatial understanding of complex environments. To address this, we propose a structured world modeling framework that enhances latent representations through geometric and semantic supervision. Alongside future RGB prediction, our model introduces two auxiliary prediction branches for future geometry and semantic representations, enabling it to jointly capture scene dynamics, spatial geometry, and semantic context within a unified latent space. Crucially, our approach preserves efficient inference by avoiding explicit future rollout or video generation at test time. Extensive experiments show that incorporating structured world supervision consistently improves action prediction accuracy, scene understanding, and robustness under challenging embodied scenarios, highlighting its potential for advancing scalable and efficient WAMs.
• Abstract（参考訳）: 最近の世界行動モデル(WAM)は、具体的意思決定において印象的な能力を示した。 しかし、その効果が推論中の明らかな将来の想像力から生じるのか、あるいは予測学習によって引き起こされる表現学習が未解決の課題である。 新たな証拠は、テスト時に将来の観察結果を生成するのではなく、堅牢な潜在表現を学習することにあることを示唆している。 それでも、既存のWAMは主にRGBベースの将来の予測に依存しており、複雑な環境の構造的および空間的理解が限られている。 そこで本研究では,幾何学的・意味的監督を通じて潜在表現を強化する構造化世界モデリングフレームワークを提案する。 将来のRGB予測に加えて、将来の幾何学と意味表現のための2つの補助的予測分岐を導入し、シーンダイナミクス、空間幾何学、意味コンテキストを統一された潜在空間内で共同でキャプチャすることを可能にする。 重要な点として,テスト時にビデオ生成やロールアウトを明示的に回避することで,効率的な推論を保っている。 大規模な実験により、構造化された世界監督を取り入れることで、挑戦的な実施シナリオ下でのアクション予測精度、シーン理解、堅牢性が一貫して改善され、スケーラブルで効率的なWAMを進化させる可能性を強調している。

関連論文リスト

• HERMES++: Toward a Unified Driving World Model for 3D Scene Understanding and Generation [83.31948299340782]
  HERMES++は、単一のフレームワーク内で3Dシーン理解と将来の幾何学的予測を統合する統合駆動世界モデルである。 Hermes++は、将来のクラウド予測と3Dシーン理解タスクの両方において、優れたパフォーマンスと優れたスペシャリストのアプローチを実現している。
  論文  参考訳（メタデータ） (2026-04-30T17:59:58Z)
• World-Value-Action Model: Implicit Planning for Vision-Language-Action Systems [32.4918638412746]
  VLA(Vision-Language-Action)モデルは、知覚と言語を作用させるエンボディエージェントを構築するための有望なパラダイムとして登場した。 本稿では,VLAシステムにおける暗黙的な計画を可能にする統合フレームワークであるWorld-Value-Action(WAV)モデルを紹介する。
  論文  参考訳（メタデータ） (2026-04-16T07:46:05Z)
• LatentPilot: Scene-Aware Vision-and-Language Navigation by Dreaming Ahead with Latent Visual Reasoning [51.969318585152116]
  LatentPilotは、トレーニング中の将来の観察を貴重なデータソースとして利用して、アクション条件付きビジュアルダイナミクスを学習する。 そこで本稿では,フライホイール方式のトレーニング機構を提案する。これは,道路上の軌道を反復的に収集し,エージェントの行動分布に適合するようにモデルを再訓練する。 R2R-CE、RxR-CE、R2R-PEベンチマークの実験では新たなSOTA結果が得られた。
  論文  参考訳（メタデータ） (2026-03-31T02:21:59Z)
• World Guidance: World Modeling in Condition Space for Action Generation [39.098315503589895]
  アクション生成を容易にするために将来の観測モデルを活用することで、ビジョン・ランゲージ・アクション(VLA)モデルの能力を高めるための有望な道が提示される。 動作推論パイプラインに注入することで、将来の観測結果をコンパクトな条件にマッピングするフレームワークであるWoGを提案する。 この条件空間のモデル化と予測は, きめ細かな動作生成を促進するだけでなく, より優れた一般化能力を示すことを示す。
  論文  参考訳（メタデータ） (2026-02-25T15:27:09Z)
• EIDOS: Latent-Space Predictive Learning for Time Series Foundation Models [37.917978019436674]
  EIDOSは、将来の価値予測から潜在空間予測学習に移行する基礎モデルファミリーである。 我々は、潜伏表現の進化を予測するために因果変換器を訓練し、構造化および時間的に整合した潜伏状態の出現を促す。
  論文  参考訳（メタデータ） (2026-02-15T07:07:20Z)
• DreamVLA: A Vision-Language-Action Model Dreamed with Comprehensive World Knowledge [41.030494146004806]
  本稿では,逆動力学モデリングを実現するために,包括的世界知識予測を統合した新しいVLAフレームワークであるDreamVLAを提案する。 DreamVLAは、動的領域誘導の世界知識予測を導入し、空間的および意味的な手がかりと統合し、アクション計画のためのコンパクトで包括的な表現を提供する。 実世界とシミュレーション環境での実験では、ドリームVLAが実際のロボットタスクで76.7%の成功率を達成したことが示されている。
  論文  参考訳（メタデータ） (2025-07-06T16:14:29Z)
• DeepVerse: 4D Autoregressive Video Generation as a World Model [16.877309608945566]
  DeepVerseは、4Dインタラクティブな新しい世界モデルであり、過去の時系列から幾何学的予測を現在の行動予測に明示的に取り入れている。 実験では、明示的な幾何学的制約を組み込むことで、DeepVerseはより豊かな時間的関係と基礎となる物理力学を捉えている。 この機能はドリフトを大幅に低減し、時間的一貫性を高め、モデルが確実に将来的なシーケンスを生成することを可能にする。
  論文  参考訳（メタデータ） (2025-06-01T17:58:36Z)
• Inverse Dynamics Pretraining Learns Good Representations for Multitask Imitation [66.86987509942607]
  このようなパラダイムを模倣学習でどのように行うべきかを評価する。 本稿では,事前学習コーパスがマルチタスクのデモンストレーションから成り立つ環境について考察する。 逆動力学モデリングはこの設定に適していると主張する。
  論文  参考訳（メタデータ） (2023-05-26T14:40:46Z)
• Unified Recurrence Modeling for Video Action Anticipation [16.240254363118016]
  本稿では,メッセージパッシングフレームワークを用いたビデオアクション予測のための統合再帰モデルを提案する。 提案手法は,EPIC-Kitchenデータセットの大規模化において,従来よりも優れている。
  論文  参考訳（メタデータ） (2022-06-02T12:16:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。