論文の概要: Splat2Act: From Captured Scenes to Personalized VLA Manipulation

• arxiv url: http://arxiv.org/abs/2610.13945v1
• Date: Fri, 09 Oct 2026 17:59:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.72335
• Title: Splat2Act: From Captured Scenes to Personalized VLA Manipulation
• Title（参考訳）: Splat2Act: キャプチャされたシーンからパーソナライズされたVLA操作へ
• Abstract要約: Splat2Actは、事前訓練された視覚言語アクション(VLA)ポリシーを特定のシーンとオブジェクトセットにパーソナライズする、リアルタイム・シミュレート・トゥ・リアルなパイプラインである。 平均航法面積104.87m$2および7レセプタクルでスキャンされた101のキャンパス環境に適用し,852レセプタクルと68,000以上のピックアップ実験を行った。
• 参考スコア（独自算出の注目度）: 29.22839593205266
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A user who brings a generalist manipulation policy into their home or office wants it to pick up their objects from their shelves, counters, and tables. Yet even a strong generalist like $π_{0.5}$ achieves 0% pickup success in our captured deployment scenes without adaptation, and collecting real demonstrations in every user's environment is prohibitively expensive. We present Splat2Act, an automated real-to-sim-to-real pipeline that personalizes a pretrained vision-language-action (VLA) policy to a specific scene and object set using only a handheld phone scan and images of the user's objects. Unlike prior real-to-sim work that reconstructs individual tabletops, Splat2Act operates on building-scale indoor environments: it builds a photorealistic digital twin with 3D Gaussian Splatting and collision geometry, automatically discovers tabletop and non-tabletop receptacles, constructs feasible pickup tasks, and generates successful demonstrations with a privileged simulation oracle, with only scene and object capture required from a human. Applied to 101 scanned campus environments with a median navigable area of 104.87 m$^2$ and 7 receptacles, the pipeline yields 852 receptacles and over 68,000 pickup demonstrations. We fine-tune $π_{0.5}$ in two stages: Stage 1 adapts to hundreds of public object assets, drawn either from the deployment scene alone or from all 101 scenes; Stage 2 personalizes to the user's own objects on the deployment scene's receptacles. Our strongest personalized policy reaches 62.5% aggregate pickup success in the target scene. Deployed on a real Stretch 3, the same policy achieves 63.9% success on a 12-task subset, closely tracking its 66.7% simulated success on those tasks. These results suggest that automated real-to-sim-to-real training can personalize VLA manipulation policies using only simulation-oracle data.
• Abstract（参考訳）: 一般論的な操作ポリシーを自宅やオフィスに持ち込んだユーザは、棚やカウンター、テーブルからオブジェクトを拾うことを望んでいる。 しかし、$π_{0.5}$のような強力なジェネラリストでさえ、キャプチャされたデプロイメントシーンにおいて、適応なしに0%のピックアップ成功を実現し、すべてのユーザの環境における実デモの収集は、違法に高価です。 Splat2Actは、手持ちの携帯スキャンとユーザのオブジェクトの画像のみを使用して、特定のシーンとオブジェクトに事前訓練された視覚言語アクション(VLA)ポリシーをパーソナライズする、リアルタイム・シミュレート・トゥ・リアルパイプラインである。 Splat2Actは、個々のタブレットを再構築する以前のリアル・トゥ・シムワークとは違って、3Dガウシアン・スプラッティングと衝突幾何学を備えたフォトリアリスティック・デジタルツインを構築し、テーブルトップと非テーブルトップのレセプタクルを自動的に発見し、実現可能なピックアップタスクを構築し、特権的なシミュレーション・オラクルでデモを成功させる。 104.87 m$^2$と7レセプタクルの中央的な航法可能面積を持つ101のキャンパス環境に適用すると、パイプラインは852レセプタクルと68,000以上のピックアップデモを生成する。 ステージ1は、デプロイシーン単独または101シーンすべてから引き出された、数百のパブリックオブジェクトアセットに適応します。 我々の最強のパーソナライズされたポリシーは、ターゲットシーンで62.5%の総ピックアップ成功に達した。 実際のStretch 3上にデプロイされた同じポリシーは、12タスクサブセットで63.9%の成功を達成し、それらのタスクでシミュレーションされた66.7%の成功を密に追跡している。 これらの結果から,シミュレーションオラクルデータのみを用いてVLA操作ポリシーをパーソナライズできることが示唆された。

関連論文リスト

• EyeRobot 2.0: Active Gaze for Precise Manipulation without Wrist Cameras [74.35470013990918]
  EyeRobot 2.0は、現場の3D固定点に物理的に近づき、2つの視点で視線を照らす。 我々はEyeRobot 2.0と受動ステレオとego+手首カメラのポリシーを比較した。
  論文  参考訳（メタデータ） (2026-10-02T17:57:51Z)
• Demonstration Synthesis from a Single Scan via Gaussian Splatting for Visuomotor Policy Learning [9.802667292457985]
  本稿では,人間の入力として1本のビデオスキャンで実演を大量生成する高忠実度データエンジンを提案する。 それぞれのタスクに対して、ターゲット環境と視覚的にマッチするデモをレンダリングし、幾何学的再構成に基づいて純粋にキネマティックに把握および軌道を計画する。
  論文  参考訳（メタデータ） (2026-09-17T21:52:01Z)
• Lucida: Parse, Generate, and Place for Composable Real-to-Sim Scene Modeling [11.305288161442995]
  構成可能なシーンモデリングは、実際の屋内シーンを、観察されたように配置された完全な編集可能なオブジェクトアセットとして復元することを目的としている。 Luciaはビデオをシーングラフに解析し、ノードはインスタンスごとのマルチビューのエビデンスを持っている。 Luciaは、マルチターンGUIインタラクションとして配置するVLMポリシーであるGizmoActで資産を配置する。
  論文  参考訳（メタデータ） (2026-08-31T14:03:20Z)
• Sparse2Act: Learning Action-Aligned Sparse 3D Representations for Cross-Domain Robot Manipulation [52.00134393320209]
  Sparse2Actは、スパースポイントクラウドエンコーダの事前学習のための観測・動作アライメントフレームワークである。 マスク付きスパース3Dトークンは、観察と組み合わせたワークスペース運動の周囲のシーン特徴を整理するために訓練される。 LIBERO-10ベンチマークでは,500ステップの微調整を行い,平均86.9%の成功を達成した。
  論文  参考訳（メタデータ） (2026-06-10T23:56:01Z)
• Universal Pose Pretraining for Generalizable Vision-Language-Action Policies [83.39008378156647]
  既存のVision-Language-Action(VLA)モデルは、しばしば機能崩壊と訓練効率の低下に悩まされる。 本稿では,VLAトレーニングを3次元空間前駆体抽出のための事前学習フェーズに分離する,分離されたパラダイムであるPose-VLAを提案する。 我々のフレームワークは2段階の事前学習パイプラインに従い、ポーズと動きのアライメントによる基本的な空間接地を確立する。
  論文  参考訳（メタデータ） (2026-02-23T11:00:08Z)
• SAGE: Scalable Agentic 3D Scene Generation for Embodied AI [67.43935343696982]
  既存のシーン生成システムは、しばしばルールベースまたはタスク固有のパイプラインに依存し、アーティファクトと物理的に無効なシーンを生成する。 本稿では,ユーザが特定した具体的タスクを与えられたエージェントフレームワークであるSAGEについて,その意図を理解し,大規模にシミュレーション可能な環境を自動的に生成する。 得られた環境は現実的で多様性があり、政策訓練のための現代的なシミュレーターに直接デプロイできる。
  論文  参考訳（メタデータ） (2026-02-10T18:59:55Z)
• SceneSmith: Agentic Generation of Simulation-Ready Indoor Scenes [19.995619927680476]
  SceneSmithは、建築レイアウトから天然家具の人口まで、環境を構築する。 SceneSmithは従来の方法よりも多くのオブジェクトを生成し、2%のオブジェクト間衝突と96%のオブジェクトは物理シミュレーションの下で安定している。 SceneSmith環境は、エンドツーエンドのパイプラインで、自動ポリシ評価に使用することができる。
  論文  参考訳（メタデータ） (2026-02-09T19:56:04Z)
• Local Policies Enable Zero-shot Long-horizon Manipulation [80.1161776000682]
  ManipGenを紹介します。これはsim2real転送のための新しいポリシーのクラスであるローカルポリシーを活用します。 ManipGenは、SayCan、OpenVLA、LLMTrajGen、VoxPoserといったSOTAアプローチを、50の現実世界操作タスクで36%、76%、62%、60%で上回っている。
  論文  参考訳（メタデータ） (2024-10-29T17:59:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。