論文の概要: STARRY: Spatial-Temporal Action-Centric World Modeling for Robotic Manipulation
- arxiv url: http://arxiv.org/abs/2604.26848v1
- Date: Wed, 29 Apr 2026 16:13:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-30 15:59:36.484474
- Title: STARRY: Spatial-Temporal Action-Centric World Modeling for Robotic Manipulation
- Title(参考訳): STARRY:ロボットマニピュレーションのための時空間行動中心世界モデリング
- Abstract要約: 本稿では,時空間予測と行動生成とを一致させる世界モデル強化アクション生成ポリシーSTARRYを提案する。
RoboTwin 2.0では、STARRY 93.82% / 93.30%がクリーンでランダムな設定で成功している。
実世界の実験は平均的な成功を42.5%から70.8%に改善した。
- 参考スコア(独自算出の注目度): 30.24537271257149
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Robotic manipulation critically requires reasoning about future spatial-temporal interactions, yet existing VLA policies and world-model-enhanced policies do not fully model action-relevant spatial-temporal interaction structure. We propose STARRY, a world-model-enhanced action-generation policy that aligns spatial-temporal prediction with action generation. STARRY jointly denoises future spatial-temporal latents and action sequences, and introduces Geometry-Aware Selective Attention Modulation to convert predicted depth and end-effector geometry into token-aligned weights for selective action-attention modulation. On RoboTwin 2.0, STARRY achieves 93.82% / 93.30% average success under Clean and Randomized settings. Real-world experiments further improve average success from 42.5% to 70.8% over $π_{0.5}$, demonstrating the effectiveness of action-centric spatial-temporal world modeling for spatial-temporally demanding robotic action generation.
- Abstract(参考訳): ロボット操作は、将来的な時空間相互作用の推論を必要とするが、既存のVLAポリシーと世界モデル強化ポリシーは、行動関連時空間相互作用構造を完全にモデル化していない。
本稿では,時空間予測と行動生成とを一致させる世界モデル強化アクション生成ポリシーSTARRYを提案する。
STARRYは、将来の時空間潜時と行動シーケンスを共同で識別し、予測深度と終端エフェクター幾何をトークン整列重みに変換するGeometry-Aware Selective Attention Modulationを導入する。
RoboTwin 2.0では、クリーンでランダムな設定で平均93.82% / 93.30%の成功を達成した。
実世界の実験は平均的な成功を42.5%から70.8%$π_{0.5}$に改善し、空間的時間的ロボット行動生成のためのアクション中心の時空間世界モデリングの有効性を実証した。
関連論文リスト
- GaussianDream++: Efficient 3D Gaussian World Modeling for Robotic Manipulation [55.47130289185285]
VLA(Vision-Language-Action)ポリシーは、高度な言語条件のロボット操作である。
我々は textbfWorld State Tokens と textbfWorld Prediction Tokens を VLA バックボーンに直接挿入する,コンパクトでポリシーネイティブな拡張である textbfMethodname を提示する。
論文 参考訳(メタデータ) (2026-08-26T11:41:55Z) - SG-WAM: Self-Guided World Modeling in Geometry-Aware Policy Space [12.198811616220835]
World Action Models (WAM)は、将来の状態を予測するアクション生成を結合する。
本稿では,SG-WAMを提案する。SG-WAMは,政策由来の表現空間において,幾何学的行動条件の動的性を直接学習する自己誘導型フレームワークである。
論文 参考訳(メタデータ) (2026-08-02T17:25:08Z) - DreamTrajectory: Trajectory-Guided Action Generation with World Model Alignment for Mobile Manipulation [33.046851310859495]
本稿では,DreamTrajectoryについて述べる。
MS-HABでは、軌道誘導は平均的な成功率を32.3%から47.5%に引き上げ、テストタイムの改善を54.8%に引き上げている。
3つの実世界のモバイル操作タスクにおいて、対応する平均成功率は63.3%、81.7%、90.0%である。
論文 参考訳(メタデータ) (2026-08-02T17:02:48Z) - Geometric Action Model for Robot Policy Learning [68.6657929619782]
汎用ロボットポリシーは、オブジェクト、カメラ、ロボットアクションが3D物理世界でどのように相互作用するかを推論しながら、ユーザーの指示に従う必要がある。
最近の視覚言語行動モデル(VLA)とビデオ世界行動モデル(WAM)は、大規模基盤モデルから強い意味や時間的先行を継承する。
本稿では,言語条件の操作ポリシーであるGeometric Action Model (GAM)を提案する。
論文 参考訳(メタデータ) (2026-06-15T17:58:03Z) - WAM4D: Fast 4D World Action Model via Spatial Register Tokens [52.16661403052964]
WAM4Dは,軽量空間レジスタトークンを用いた高速4次元世界アクションモデルである。
WAM4Dは空間的整合性を向上し,効率的な推論を維持しつつ,競争力のある動作予測を実現する。
論文 参考訳(メタデータ) (2026-06-12T02:49:34Z) - Sparse2Act: Learning Action-Aligned Sparse 3D Representations for Cross-Domain Robot Manipulation [52.00134393320209]
Sparse2Actは、スパースポイントクラウドエンコーダの事前学習のための観測・動作アライメントフレームワークである。
マスク付きスパース3Dトークンは、観察と組み合わせたワークスペース運動の周囲のシーン特徴を整理するために訓練される。
LIBERO-10ベンチマークでは,500ステップの微調整を行い,平均86.9%の成功を達成した。
論文 参考訳(メタデータ) (2026-06-10T23:56:01Z) - AIM: Intent-Aware Unified world action Modeling with Spatial Value Maps [7.710034405765985]
AIMは、明示的な空間的インターフェースを通じてこのギャップを橋渡しする意図認識の統一世界行動モデルである。
事前訓練されたビデオ生成モデルに基づいて構築されたAIMは、共有変換器アーキテクチャ内の将来の観測と値マップを共同でモデル化する。
RoboTwin 2.0ベンチマークの実験では、AIMは平均94.0%の成功率に達し、以前の統合された世界行動ベースラインを著しく上回っている。
論文 参考訳(メタデータ) (2026-04-13T07:48:58Z) - Learning Smooth and Robust Space Robotic Manipulation of Dynamic Target via Inter-frame Correlation [12.529803316934176]
微小重力環境では、物体は通常自由浮遊であり、地球上で見られる支持や摩擦の制約が欠如している。
本稿では、歴史的時間的情報とフレーム間相関機構を統合したデータ駆動型宇宙ロボット操作手法を提案する。
論文 参考訳(メタデータ) (2026-03-29T06:27:30Z) - Universal Pose Pretraining for Generalizable Vision-Language-Action Policies [83.39008378156647]
既存のVision-Language-Action(VLA)モデルは、しばしば機能崩壊と訓練効率の低下に悩まされる。
本稿では,VLAトレーニングを3次元空間前駆体抽出のための事前学習フェーズに分離する,分離されたパラダイムであるPose-VLAを提案する。
我々のフレームワークは2段階の事前学習パイプラインに従い、ポーズと動きのアライメントによる基本的な空間接地を確立する。
論文 参考訳(メタデータ) (2026-02-23T11:00:08Z) - HAIC: Humanoid Agile Object Interaction Control via Dynamics-Aware World Model [56.4392302336014]
本稿では,外部状態推定を伴わない多種多様なオブジェクトダイナミクス間のロバストな相互作用のためのフレームワークであるHAICを提案する。
我々の重要な貢献は、主観的歴史のみから高次対象状態(速度、加速度)を推定するダイナミクス予測器である。
ヒューマノイドロボットの実験では、HAICはアジャイルタスクで高い成功率を達成する。
論文 参考訳(メタデータ) (2026-02-12T09:34:35Z) - Kinematics-Aware Diffusion Policy with Consistent 3D Observation and Action Space for Whole-Arm Robotic Manipulation [9.547155394196158]
フルアームキネマティクスを意識したロボットマニピュレータの全身制御は多くの操作シナリオにおいて重要である。
全体腕操作の典型的なアプローチは、ロボットの関節空間での動作を学ぶことである。
本稿では,一貫したタスク,観察,行動空間を備えたキネマティクス対応の模倣学習フレームワークを提案する。
論文 参考訳(メタデータ) (2025-12-19T13:34:29Z) - Real-World Robot Control by Deep Active Inference With a Temporally Hierarchical World Model [0.7284556903703034]
ディープアクティブ推論(Deep Active Inference)は、人間のゴール指向および探索的行動を説明するフレームワークである。
本稿では,世界モデル,アクションモデル,抽象世界モデルから構成される新しい深層活動推論フレームワークを提案する。
実世界のロボットを用いてオブジェクト操作タスクの枠組みを評価する。
論文 参考訳(メタデータ) (2025-12-01T17:41:01Z) - VLA-4D: Embedding 4D Awareness into Vision-Language-Action Models for SpatioTemporally Coherent Robotic Manipulation [54.81449795163812]
時間的コヒーレントなロボット操作のための4次元認識型汎用VLAモデルを開発した。
視覚的特徴を抽出し, 4次元埋め込みのための3次元位置への1次元時間埋め込みを行い, クロスアテンション機構による統一視覚表現に融合する。
この枠組みの中で、デザインされた視覚アクションは、空間的に滑らかで時間的に一貫したロボット操作を共同で行う。
論文 参考訳(メタデータ) (2025-11-21T12:26:30Z) - Ctrl-World: A Controllable Generative World Model for Robot Manipulation [53.71061464925014]
汎用ロボットポリシーは、幅広い操作スキルを実行することができる。
未知の物体や命令で 彼らの能力を評価し 改善することは 重要な課題です
世界モデルは、イマジネーション空間内でポリシーの展開を可能にすることで、有望でスケーラブルな代替手段を提供する。
論文 参考訳(メタデータ) (2025-10-11T09:13:10Z) - GWM: Towards Scalable Gaussian World Models for Robotic Manipulation [53.51622803589185]
本稿では,ロボット操作のための世界モデルGawssian World Model (GWM)を提案する。
中心となるのは、潜伏拡散変換器(DiT)と3次元変分オートエンコーダを組み合わせることで、微粒なシーンレベルの将来の状態復元を可能にする。
シミュレーションと実世界の実験の両方で、GWMは多様なロボットのアクションに照らされた未来のシーンを正確に予測できる。
論文 参考訳(メタデータ) (2025-08-25T02:01:09Z) - Spatial Policy: Guiding Visuomotor Robotic Manipulation with Spatial-Aware Modeling and Reasoning [43.35947581429867]
視覚中心の階層型エンボディードモデルは、長距離ロボット制御に強い可能性を示している。
既存の方法は空間認識能力に欠けており、複雑な環境下での行動可能な制御に視覚計画をブリッジする際の有効性を制限している。
本研究では,空間モデルと推論を用いた空間認識型ロボット操作フレームワークである空間ポリシー(SP)を提案する。
論文 参考訳(メタデータ) (2025-08-21T10:24:18Z) - OSCAR: Data-Driven Operational Space Control for Adaptive and Robust
Robot Manipulation [50.59541802645156]
オペレーショナル・スペース・コントロール(OSC)は、操作のための効果的なタスクスペース・コントローラとして使われてきた。
本稿では,データ駆動型OSCのモデル誤差を補償するOSC for Adaptation and Robustness (OSCAR)を提案する。
本手法は,様々なシミュレーション操作問題に対して評価し,制御器のベースラインの配列よりも大幅に改善されていることを示す。
論文 参考訳(メタデータ) (2021-10-02T01:21:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。