論文の概要: STEP: Spatiotemporal Training with Explicit Prediction for Perceptive Humanoid Locomotion

• arxiv url: http://arxiv.org/abs/2611.08097v1
• Date: Thu, 05 Nov 2026 14:40:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 04:55:13.543964
• Title: STEP: Spatiotemporal Training with Explicit Prediction for Perceptive Humanoid Locomotion
• Title（参考訳）: STEP: Perceptive Humanoid Locomotion に対する明示的予測を用いた時空間トレーニング
• Abstract要約: 明示的予測(STEP)を用いた時空間訓練について STEPは、クロスモーダルな関係とアクション依存状態の進化を共同で監視するワンステージフレームワークである。 搭載センサー付き23-DoF Noetix E1のヒューマノイド上に展開されたSTEPは、100のハードウェア試験のうち98に成功している。
• 参考スコア（独自算出の注目度）: 2.3617961247348256
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For perceptive humanoid locomotion, the relevance of terrain geometry depends on the robot's body state and how both evolve under its actions. Existing work has advanced terrain-aware sensory fusion and cross-modal prediction, improving how visual and proprioceptive information is combined and related. However, feature aggregation alone does not specify which cross-modal relationships should be learned, while prediction between simultaneous observations does not explicitly constrain their action-dependent evolution. We present Spatiotemporal Training with Explicit Prediction (STEP), a one-stage framework that jointly supervises cross-modal relationships and action-dependent state evolution within a shared control representation. Multiple learned queries aggregate depth and proprioceptive tokens into a compact policy state. Bidirectional masked prediction uses each visible modality to predict latent features of the omitted modality, explicitly supervising terrain-body relationships. An action-conditioned predictor maps the current policy state and executed action to the next fused state, with an exponential-moving-average target defined directly in the policy representation space. Simulation comparisons show overall improvements in terrain traversal over evaluated fusion alternatives and ablations, while depth-dropout and delay experiments demonstrate the benefits of both predictive objectives under degraded visual input. Deployed on a 23-DoF Noetix E1 humanoid with onboard sensing, STEP succeeds in 98 of 100 hardware trials across stairs, a 40\,cm platform, a 70\,cm gap, stepping stones, and backward stair traversal without rearward terrain visibility.
• Abstract（参考訳）: 知覚的なヒューマノイドの移動について、地形幾何学の関連性は、ロボットの身体状態と、両方の動作がどのように進化するかに依存する。 既存の研究は、高度な地形認識型感覚融合とクロスモーダル予測を備えており、視覚情報と固有情報の組み合わせと関連性を改善している。 しかし、特徴集約だけでは、どのモーダル間の関係を学習すべきかは規定していないが、同時観測間の予測は、行動依存進化を明示的に制限していない。 本稿では,共有制御表現内での相互関係と行動依存状態の進化を協調的に監視する一段階のフレームワークであるExplicit Prediction (STEP) を用いた時空間トレーニングを提案する。 複数の学習されたクエリは、深さと受容トークンをコンパクトなポリシー状態に集約する。 双方向マスキング予測は、各可視モードを使用して、省略されたモードの潜在特性を予測し、ランドスケープとランドスケープの関係を明示的に監視する。 動作条件付き予測器は、現在のポリシー状態と実行された動作を次の融合状態にマッピングし、ポリシー表現空間内で直接定義された指数移動平均目標とする。 シミュレーション比較では, 地すべりの代替品や改良品よりも地形トラバーサルの総合的な改善が示され, 深度ドロップアウトおよび遅延実験では, 劣化した視覚入力下での予測目標の利点が示される。 搭載された23-DoF Noetix E1ヒューマノイド上に展開されたSTEPは、100基のハードウェア試験のうち98基を成功させた。

関連論文リスト

• Unifying Policy Learning and State Prediction through Spatial Language Modeling [52.172884936392535]
  本研究では,シーンの輪郭,目標,行動目標,将来の状態を個別座標と意味トークンの共通語彙で表現する空間言語モデリングを提案する。 タスク固有の文法はこれらの要素を空間配列に整理し、1つの自己回帰変換器が行動生成と行動条件付き状態予測を学習できるようにする。 ランダム・プレイ・トランジション・プレトレーニングを駆使してモデルをスクラッチからトレーニングし、その後、専門家によるデモンストレーションで共同動作と状態トレーニングを行う。
  論文  参考訳（メタデータ） (2026-10-08T15:43:08Z)
• ATI-VLA: Action-Centric Predictive Vision-Language-Action Models via Actionable Alignment Then Adaptive Injection [58.95432059887781]
  ATI-VLAはAction-Centric Predictive Vision-Language-Actionフレームワークである。 両方のモダリティを共有潜在空間にマッピングすることで、予測観測と行動表現を一致させる。 その後、予測された観測潜伏者を明示的な予測先行として行動復号に注入する。
  論文  参考訳（メタデータ） (2026-10-01T14:12:23Z)
• Learning to Plan from Random Exploration [52.35271095559327]
  ランダム探索を用いて,目標が特定される前に,環境をどう移動させるかを示す。 実験では、状態と画像を用いたランダムな探索から長距離迷路計画を示す。 さらに、ランダムな探索からエゴセントリックなナビゲーションや、最適下データからの操作計画についても紹介する。
  論文  参考訳（メタデータ） (2026-09-29T18:38:49Z)
• Collaborative Trajectory Prediction via Late Fusion [17.045815575131915]
  車両間の協調的なアプローチは、相補的な情報を共有することによって不確実性を低減するのに役立つ。 共有予測のためのレイトフュージョンフレームワークを導入する。 OPV2V、V2V4Real、DeepAccidentデータセットに対するアプローチを評価する。
  論文  参考訳（メタデータ） (2026-04-24T19:34:56Z)
• Don't double it: Efficient Agent Prediction in Occlusions [1.1338062042380708]
  密集した交通機関は、隠れた歩行者や車両が予期せず現れるため、自動運転車にとって重大な課題となる。 既存の学習ベースの手法は、1つのエージェントが複数回識別された場合、冗長な占有率予測を生成することが多い。 我々は、最先端のSceneInformerアーキテクチャをベースにした、新しいトランスフォーマーベースのアプローチであるMatchInformerを紹介する。
  論文  参考訳（メタデータ） (2026-01-29T10:22:38Z)
• Spatial and social situation-aware transformer-based trajectory prediction of autonomous systems [2.498836880652668]
  エージェントの振る舞いを所定の状況で予測するには、時間内に適切に反応する必要がある。 近年,深層学習に基づくモデルが動き予測の主流となっている。 より長い予測地平線の場合、予測軌道の地平線からの偏差は、空間的・社会的に非依存なモデルに比べて低い。
  論文  参考訳（メタデータ） (2024-06-04T20:36:16Z)
• AMP: Autoregressive Motion Prediction Revisited with Next Token Prediction for Autonomous Driving [59.94343412438211]
  本稿では,GPT方式の次のトークン動作予測を動作予測に導入する。 同種単位-ワードからなる言語データとは異なり、運転シーンの要素は複雑な空間的・時間的・意味的な関係を持つ可能性がある。 そこで本稿では,情報集約と位置符号化スタイルの異なる3つの因子化アテンションモジュールを用いて,それらの関係を捉えることを提案する。
  論文  参考訳（メタデータ） (2024-03-20T06:22:37Z)
• Scene Informer: Anchor-based Occlusion Inference and Trajectory Prediction in Partially Observable Environments [43.28710918095309]
  複雑な環境と動的な環境をナビゲートするには、自動運転車が目に見える地域と隠された地域の両方を推論する必要がある。 これには、観測されたエージェントの将来の動きを予測し、隠蔽されたエージェントを推測し、相互作用をモデル化することが含まれる。 我々は,観察対象の軌跡を予測し,観察可能な部分的設定で隠蔽物を推定するための統一的なアプローチであるScene Informerを紹介した。
  論文  参考訳（メタデータ） (2023-09-25T06:16:09Z)
• SGCN:Sparse Graph Convolution Network for Pedestrian Trajectory Prediction [64.16212996247943]
  歩行者軌道予測のためのスパースグラフ畳み込みネットワーク(SGCN)を提案する。 具体的には、SGCNはスパース指向の相互作用をスパース指向の空間グラフと明確にモデル化し、適応的な相互作用歩行者を捉える。 可視化は,歩行者の適応的相互作用とその運動特性を捉えることができることを示す。
  論文  参考訳（メタデータ） (2021-04-04T03:17:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。