論文の概要: Act4R: Action-conditioned 4D reconstruction for kinematics-free control

• arxiv url: http://arxiv.org/abs/2610.17462v1
• Date: Mon, 12 Oct 2026 22:21:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 18:48:28.876043
• Title: Act4R: Action-conditioned 4D reconstruction for kinematics-free control
• Title（参考訳）: Act4R: キネマティクスフリー制御のための動作条件付き4次元再構成
• Abstract要約: 本稿では,ロボットの3次元シーンフローを任意のアクションで予測するための3次元基礎モデルに基づくフレームワークであるAct4Rを提案する。 Act4Rは、現在の2Dロボットの状態とその動作信号を、将来の3Dロボットの状態を表す埋め込みにエンコードする。 Act4Rは、アクションと将来の状態のマッピングを効果的に学習するために、トランスフォーマーベースのエンコーダに空間的アクション融合を導入する。
• 参考スコア（独自算出の注目度）: 4.0429942842929005
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Precise control of movement across various robotic embodiments is a longstanding challenge. Modeling complex robotic structures requires significant time, dedicated sensors, and manual labeling. Recent advancements in 4D representation learning offer an interesting alternative: can we leverage 4D features lifted from 2D observations to densely map a robot's spatial movement based on the action signal? To this end, we propose Act4R, a framework that builds on 3D foundation model to predict a robot's 3D scene flow with any given action. Act4R introduces a Spatial-Action Encoder, which encodes the current 2D robot state and its action signals into embeddings that represent future robot state in 3D. Then, both the current and future spatial embeddings are decoded into point maps to estimate action-conditioned scene flow. To effectively learn the mapping between action and future state, Act4R introduces spatial-action fusion in its transformer-based encoder, and a spatial alignment loss that guides the encoder for future flow prediction. After training on some samples of a given embodiment, Act4R can perform inverse control by optimizing the signal to achieve the desired scene flow. We evaluate Act4R on a public real-world dataset and synthetic data collected in simulator. Experiments on various robotic platforms show that Act4R outperforms the previous SoTA in scene flow prediction. Our method also performs better in inverse control, both on the action accuracy metric and in closed-loop control in simulation.
• Abstract（参考訳）: 様々なロボティクスの運動を正確に制御することは、長年の課題である。 複雑なロボット構造をモデル化するには、かなりの時間、専用のセンサー、手動ラベリングが必要である。 最近の4D表現学習の進歩は、アクション信号に基づいてロボットの空間運動を密にマッピングするために、2D観測から持ち上げられた4D特徴を活用できるのか? そこで本研究では,ロボットの3Dシーンフローを任意のアクションで予測する3D基盤モデルに基づくフレームワークであるAct4Rを提案する。 Act4Rは、現在の2Dロボットの状態とその動作信号を、将来の3Dロボットの状態を表す埋め込みにエンコードするSpatial-Action Encoderを導入している。 そして、現在の空間埋め込みと将来の空間埋め込みをポイントマップにデコードして、アクション条件のシーンフローを推定する。 Act4Rは、動作と将来の状態のマッピングを効果的に学習するために、トランスフォーマーベースのエンコーダに空間的作用融合を導入し、将来のフロー予測のためにエンコーダを誘導する空間的アライメント損失を導入する。 所定の実施形態のサンプルをトレーニングした後、Act4Rは、信号を最適化して所望のシーンフローを達成することで逆制御を行うことができる。 我々は,Act4Rを実世界の公開データセットとシミュレータで収集した合成データに基づいて評価した。 様々なロボットプラットフォームの実験では、Act4Rはシーンフロー予測において以前のSoTAよりも優れていた。 また, シミュレーションにおける動作精度と閉ループ制御の両面で, 逆制御の精度も向上した。

関連論文リスト

• WAM4D: Fast 4D World Action Model via Spatial Register Tokens [52.16661403052964]
  WAM4Dは,軽量空間レジスタトークンを用いた高速4次元世界アクションモデルである。 WAM4Dは空間的整合性を向上し,効率的な推論を維持しつつ,競争力のある動作予測を実現する。
  論文  参考訳（メタデータ） (2026-06-12T02:49:34Z)
• Sparse2Act: Learning Action-Aligned Sparse 3D Representations for Cross-Domain Robot Manipulation [52.00134393320209]
  Sparse2Actは、スパースポイントクラウドエンコーダの事前学習のための観測・動作アライメントフレームワークである。 マスク付きスパース3Dトークンは、観察と組み合わせたワークスペース運動の周囲のシーン特徴を整理するために訓練される。 LIBERO-10ベンチマークでは,500ステップの微調整を行い,平均86.9%の成功を達成した。
  論文  参考訳（メタデータ） (2026-06-10T23:56:01Z)
• PointAction: 3D Points as Universal Action Representations for Robot Control [42.12570897523391]
  本稿では,映像予測をロボット行動にブリッジするフレームワークであるPointActionについて,明示的なポイントベース4Dモデリングにより紹介する。 PointActionは、ロボットシーンにおける最先端の4D生成品質を実現し、シミュレーションにおいて既存のベースラインを上回り、事前トレーニング中に見えない2つの本物のロボットアームに一般化する。
  論文  参考訳（メタデータ） (2026-06-02T17:30:50Z)
• Kinema4D: Kinematic 4D World Modeling for Spatiotemporal Embodied Simulation [46.24300848525144]
  Kinema4Dは、ロボットと世界の相互作用を、ロボットの正確な4D表現、すなわち環境反応の生成4Dモデリングに分解する、アクションコンディショナブルな新しい4D生成ロボットシミュレータである。 初めてゼロショット転送能力を示し、次世代のエンボディドシミュレーションを進めるための高忠実度基盤を提供する。
  論文  参考訳（メタデータ） (2026-03-17T15:36:38Z)
• Robo3R: Enhancing Robotic Manipulation with Accurate Feed-Forward 3D Reconstruction [70.06600045165905]
  3D空間認識は、一般的なロボット操作の基本であるが、信頼性が高く高品質な3D形状の取得は依然として困難である。 本稿では,RGB画像やロボットの状態から直接,正確な距離スケールのシーン形状をリアルタイムで予測する操作可能な3次元再構成モデルであるRobo3Rを紹介する。 我々は、ロボット操作のためのこの代替3Dセンシングモジュールの約束を示唆し、パフォーマンスの連続的な向上を観察する。
  論文  参考訳（メタデータ） (2026-02-10T18:58:15Z)
• VLA-4D: Embedding 4D Awareness into Vision-Language-Action Models for SpatioTemporally Coherent Robotic Manipulation [54.81449795163812]
  時間的コヒーレントなロボット操作のための4次元認識型汎用VLAモデルを開発した。 視覚的特徴を抽出し, 4次元埋め込みのための3次元位置への1次元時間埋め込みを行い, クロスアテンション機構による統一視覚表現に融合する。 この枠組みの中で、デザインされた視覚アクションは、空間的に滑らかで時間的に一貫したロボット操作を共同で行う。
  論文  参考訳（メタデータ） (2025-11-21T12:26:30Z)
• Pre-training Auto-regressive Robotic Models with 4D Representations [43.80798244473759]
  ARM4Rは、人間のビデオデータから学んだ低レベルの4D表現を利用して、より優れた事前訓練されたロボットモデルを生成する自動回帰ロボットモデルである。 実験の結果、ARM4Rは人間のビデオデータからロボットへ効率よく転送でき、さまざまなロボット環境や構成におけるタスクのパフォーマンスを継続的に改善できることがわかった。
  論文  参考訳（メタデータ） (2025-02-18T18:59:01Z)
• Robot See Robot Do: Imitating Articulated Object Manipulation with Monocular 4D Reconstruction [51.49400490437258]
  本研究は,1つの単分子RGB人間の実演から音声による物体操作を模倣する手法を開発した。 まず,モノクロ映像から3次元部分運動を復元する4次元微分可能部品モデル(4D-DPM)を提案する。 この4D再構成を前提として、ロボットは物体の軌道を再現し、両腕の動きを計画し、実証された物体部分の動きを誘導する。 両用するYuMiロボットを用いて,4D-DPMの3D追跡精度を実写3D部分軌跡に基づいて評価し,9つのオブジェクトに対してRSRDの物理的実行性能を評価した。
  論文  参考訳（メタデータ） (2024-09-26T17:57:16Z)
• Neural Scene Representation for Locomotion on Structured Terrain [56.48607865960868]
  本研究では,都市環境を横断する移動ロボットの局所的な地形を再構築する学習手法を提案する。 搭載されたカメラとロボットの軌道からの深度測定のストリームを用いて、ロボットの近傍の地形を推定する。 ノイズ測定とカメラ配置の盲点からの大量の欠落データにもかかわらず,シーンを忠実に再構築する3次元再構成モデルを提案する。
  論文  参考訳（メタデータ） (2022-06-16T10:45:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。