論文の概要: 3DWay: Generalizing Robot Manipulation via 3D Consistent Waypoints

• arxiv url: http://arxiv.org/abs/2609.08224v1
• Date: Tue, 08 Sep 2026 04:18:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.573675
• Title: 3DWay: Generalizing Robot Manipulation via 3D Consistent Waypoints
• Title（参考訳）: 3DWay:3D Consistent Waypointsによるロボット操作の一般化
• Abstract要約: 中間表現は、一般化可能な操作ポリシーと大規模事前訓練された視覚言語モデルの間のモダリティギャップを埋める鍵となる。 多視点画像から3次元一貫した経路点(3DWay)を予測することを提案する。 3次元の経路点予測を多視点一貫した2次元の経路点の生成として再構成し、幾何学的三角法により、明示的な3次元運動仕様を実現する。
• 参考スコア（独自算出の注目度）: 92.67359514804048
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Intermediate representations are key to bridging the modality gap between generalizable manipulation policies and large-scale pretrained vision-language models (VLMs). Among these, trajectory-based representations compactly represent motion-relevant cues, yet most existing approaches predict trajectories in 2D image space, resulting in intrinsic 3D ambiguity. Moreover, using 2D trajectories with depth still leaves the free-space waypoints ambiguous, limiting reliable 3D reasoning. To address this, we propose predicting 3D consistent waypoints (3DWay) from multi-view images. By reformulating 3D waypoints prediction as generating multi-view consistent 2D waypoints followed by geometric triangulation, we enable explicit 3D motion specification while preserving the strong priors of pretrained VLMs. The predicted waypoints can guide existing VLA models for better generalization or be directly executed on simple tasks. Extensive experiments show that 3DWay substantially improves 3D spatial grounding and vision-language reasoning, demonstrating strong potential for generalizable robot manipulation. Codes will be released at https://github.com/ziqin-h/3DWay.
• Abstract（参考訳）: 中間表現は、一般化可能な操作ポリシーと大規模事前訓練された視覚言語モデル(VLM)の間のモダリティギャップを埋める鍵となる。 これらのうち、軌跡に基づく表現は運動関連キューをコンパクトに表現するが、既存のほとんどのアプローチは2次元画像空間における軌跡を予測し、本質的な3次元曖昧さをもたらす。 さらに、深さの深い2次元軌跡を用いると、自由空間のウェイポイントがあいまいになり、信頼できる3次元推論が制限される。 そこで我々は,多視点画像から3次元一貫した経路点(3DWay)を予測することを提案する。 3次元経路予測を多視点一貫した2次元経路点の生成と幾何学的三角法により再構成することにより、事前訓練されたVLMの強い先行を保ちながら、明示的な3次元運動仕様を実現する。 予測されたウェイポイントは、既存のVLAモデルをより良い一般化のためにガイドしたり、単純なタスクで直接実行される。 広汎な実験により、3DWayは空間的接地と視覚言語推論を大幅に改善し、一般化可能なロボット操作の可能性を示している。 コードはhttps://github.com/ziqin-h/3DWay.comでリリースされる。

関連論文リスト

• Map-Det3D: Metric Feed-Forward 3D Reconstruction Prior for Multi-view 3D Object Detection from Streaming Inputs [62.865932175477035]
  計量3Dオブジェクト検出は、エンボディエージェントのコア機能であるが、最も信頼性の高いシステムは深度センサーに頼っている。 提案するMap-Det3Dは,RGBから再構成した3次元空間に直接検出を行うオンラインマルチビュー3Dオブジェクト検出モデルである。
  論文  参考訳（メタデータ） (2026-08-12T15:33:42Z)
• 3D HAMSTER: Bridging Planning and Control in Hierarchical Vision Language Action Models through 3D Trajectory Guidance [46.721682793921815]
  3D HAMSTERは、最先端の低レベルポリシーと計量的に信頼性の高い3D軌道とのギャップを埋める階層的なフレームワークである。 3D軌道予測、シミュレーション、実世界の操作において、3D HAMSTERはプロプライエタリなVLMと2D誘導ベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-06-30T08:31:35Z)
• Action-Geometry Prediction with 3D Geometric Prior for Bimanual Manipulation [53.09168514034483]
  バイマン操作は3次元幾何学を推論し、動作中にどのように進化するかを予測し、滑らかで協調された動きを生成するポリシーを必要とする。 本稿では,事前学習した3次元幾何学的基礎モデルに基づいて,バイマン操作を直接構築するフレームワークを提案する。 我々の政策は、幾何学的認識の潜伏子、2次元意味的特徴、およびプロプレセプションを統一状態表現に融合させ、拡散モデルを用いて将来のアクションチャンクと、密度の高いポイントマップにデコードする未来の3次元潜伏子を共同で予測する。
  論文  参考訳（メタデータ） (2026-02-27T08:54:20Z)
• Any2Point: Empowering Any-modality Large Models for Efficient 3D Understanding [83.63231467746598]
  我々は,Any2Pointというパラメータ効率のよい大規模モデル(ビジョン,言語,音声)を3次元理解に活用する手法を紹介した。 入力された3Dポイントと元の1Dまたは2D位置との相関関係を示す3D-to-any (1Dまたは2D)仮想プロジェクション戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-11T17:59:45Z)
• 3D Implicit Transporter for Temporally Consistent Keypoint Discovery [45.152790256675964]
  キーポイントに基づく表現は、様々な視覚的およびロボット的タスクにおいて有利であることが証明されている。 トランスポーター法は、2次元データに対して導入され、ソースフレームからターゲットフレームを再構成し、空間情報と時間情報の両方を組み込む。 本稿では,ハイブリッド3次元表現,クロスアテンション,暗黙の再構築を活用したトランスポーターの最初の3次元バージョンを提案する。
  論文  参考訳（メタデータ） (2023-09-10T17:59:48Z)
• Act3D: 3D Feature Field Transformers for Multi-Task Robotic Manipulation [18.964403296437027]
  Act3Dは、手作業に依存する適応的な解像度を持つ3D特徴体を用いて、ロボットのワークスペースを表現する。 粗い方法で3Dポイントグリッドをサンプリングし、相対的な位置の注意を使ってそれらを巧みに加工し、次の点サンプリングのラウンドにフォーカスする場所を選択する。
  論文  参考訳（メタデータ） (2023-06-30T17:34:06Z)
• Unsupervised Learning of Visual 3D Keypoints for Control [104.92063943162896]
  高次元画像からの感覚運動制御ポリシーの学習は、基礎となる視覚表現の品質に大きく依存する。 本稿では,画像から3次元幾何学的構造を直接教師なしで学習するフレームワークを提案する。 これらの発見された3Dキーポイントは、時間と3D空間の両方で一貫した方法で、ロボットの関節と物体の動きを有意義にキャプチャする傾向がある。
  論文  参考訳（メタデータ） (2021-06-14T17:59:59Z)
• Cylinder3D: An Effective 3D Framework for Driving-scene LiDAR Semantic Segmentation [87.54570024320354]
  大規模運転シーンのLiDARセマンティックセマンティックセグメンテーションのための最先端の手法は、しばしば2D空間の点雲を投影して処理する。 3D-to-2Dプロジェクションの問題に取り組むための簡単な解決策は、3D表現を保ち、3D空間の点を処理することである。 我々は3次元シリンダー分割と3次元シリンダー畳み込みに基づくフレームワークをCylinder3Dとして開発し,3次元トポロジの関係と運転シーンの点雲の構造を利用する。
  論文  参考訳（メタデータ） (2020-08-04T13:56:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。