論文の概要: PerceptTwin: Semantic Scene Reconstruction for Iterative LLM Planning and Verification

• arxiv url: http://arxiv.org/abs/2606.04226v1
• Date: Tue, 02 Jun 2026 21:25:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.387943
• Title: PerceptTwin: Semantic Scene Reconstruction for Iterative LLM Planning and Verification
• Title（参考訳）: PerceptTwin: 反復LDM計画と検証のための意味的シーン再構築
• Authors: Charlie Gauthier, Sacha Morin, Liam Paull,
• Abstract要約: PerceptTwinは、セマンティックシーン表現から直接インタラクティブなシミュレーションを構築する完全な自動パイプラインである。 PerceptTwinは、ロボットハードウェア上で実行される前に、計画の検証と洗練に使用することができる。 本研究は,より安全で信頼性の高いロボット計画の基礎として,ロボット認識によるオープンボキャブラリシーンシミュレーションの可能性を示すものである。
• 参考スコア（独自算出の注目度）: 10.346887149785195
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Simulation environments are useful for both robot policy learning and planning verification and validation. Traditionally, the process of creating a simulation was onerous. Creating a bespoke simulation environment for each individual environment that a robot would operate in was simply infeasible. In this work, we introduce PerceptTwin, a fully automatic pipeline that constructs interactive simulations directly from semantic scene representations produced by a robot's perception stack. PerceptTwin combines open-vocabulary object maps with 3D asset generation, affordance prediction, and commonsense condition checking. These interactive simulations can be used to validate and refine plans before they are executed on the robot hardware. Borrowing from the AI alignment literature, we also introduce an LLM judge that verifies plan correctness and alignment with human preferences. Experiments show that PerceptTwin feedback allows LLM planners to refine plans, enhance safety, and resist harmful black-box prompting attacks. In our suite of tasks, PerceptTwin improves plan success by an average of approximately 39% for GPT5, GPT5Mini, and GPT5Nano planners. Additionally, PerceptTwin also improves human plan verification by up to 18% on average for plans that fail due to unfilled skill preconditions. Our results demonstrate the potential of open-vocabulary scene simulation from robot perception as a foundation for safer, more reliable robot planning.
• Abstract（参考訳）: シミュレーション環境は、ロボットポリシー学習と計画検証と検証の両方に有用である。 伝統的に、シミュレーションを作成するプロセスは面倒でした。 ロボットが操作する個々の環境に対して、ベスポークシミュレーション環境を作成することは、単に不可能だった。 本研究では,ロボットの知覚スタックが生成するセマンティックシーン表現から直接インタラクティブなシミュレーションを構築する,完全自動パイプラインPerceptTwinを紹介する。 PerceptTwinはオープン語彙オブジェクトマップと3Dアセット生成、アベイランス予測、コモンセンス条件チェックを組み合わせたものだ。 これらのインタラクティブなシミュレーションは、ロボットハードウェア上で実行される前に計画の検証と洗練に使用することができる。 また,AIアライメントの文献から,計画の正しさと人間の嗜好との整合性を検証したLCM判定手法を導入する。 実験によると、PerceptTwinのフィードバックにより、LSMのプランナーは計画の洗練、安全性の向上、有害なブラックボックス攻撃に対する抵抗が可能になる。 私たちの一連のタスクにおいて、PerceptTwinは、GPT5、GPT5Mini、GPT5Nanoプランナーに対して、平均して39%の計画成功率を向上します。 さらに、PerceptTwinは、未完成のスキル前提条件によって失敗する計画について、平均して18%の人的計画検証を改善している。 本研究は,より安全で信頼性の高いロボット計画の基礎として,ロボット認識によるオープンボキャブラリシーンシミュレーションの可能性を示すものである。

関連論文リスト

• Plan in Sandbox, Navigate in Open Worlds: Learning Physics-Grounded Abstracted Experience for Embodied Navigation [63.11032720821731]
  textitSAGEは、エージェントがフォトリアリスティックなシミュレーションではなく、物理基底のセマンティック抽象化内で学習することを可能にするフレームワークである。 textitSAGEは、A-EQA上で53.21% LLM-Match Success Rateを達成することで、プランナー支援の実施ナビゲーションを大幅に改善することを示した。
  論文  参考訳（メタデータ） (2026-05-11T07:34:30Z)
• SIMPACT: Simulation-Enabled Action Planning using Vision-Language Models [60.80050275581661]
  VLM(Vision-Language Models)は、目覚しい常識と意味論的推論能力を示す。 物理力学に関する基礎的な理解は欠如している。 テストタイムでシミュレーション可能な ACTion Planning フレームワークである S を提案する。 本手法は,5つの難易度,実世界の剛体および変形可能な操作課題に対して,最先端の性能を示す。
  論文  参考訳（メタデータ） (2025-12-05T18:51:03Z)
• REMAC: Self-Reflective and Self-Evolving Multi-Agent Collaboration for Long-Horizon Robot Manipulation [57.628771707989166]
  本稿では,ReMACと呼ばれる適応型マルチエージェント計画フレームワークを提案する。 ReMACには2つの重要なモジュールが組み込まれており、ループ内で事前条件と後条件チェックを実行し、進捗と計画の洗練を評価する。
  論文  参考訳（メタデータ） (2025-03-28T03:51:40Z)
• GRS: Generating Robotic Simulation Tasks from Real-World Images [21.599606995763036]
  GRSは単一のRGB-D観測からデジタルツインシミュレーションを作成し、仮想エージェントトレーニングのための解決可能なタスクを行う。 生成したテストスイートを通じてシミュレーションタスクのアライメントを確保し、シミュレーションとテストコードの両方を反復的に洗練するルータを導入する。
  論文  参考訳（メタデータ） (2024-10-20T23:33:06Z)
• Introspective Planning: Aligning Robots' Uncertainty with Inherent Task Ambiguity [0.659529078336196]
  大規模言語モデル(LLM)は高度な推論能力を示し、ロボットが自然言語の指示を理解し、高レベルの行動を戦略的に計画することを可能にする。 LLMの幻覚は、ロボットがユーザー目標と不一致の計画を実行したり、クリティカルなシナリオでは安全でないりする可能性がある。 本稿では,LLMの不確かさとタスク固有のあいまいさを一致させる系統的手法であるイントロスペクティブプランニングを提案する。
  論文  参考訳（メタデータ） (2024-02-09T16:40:59Z)
• Interactive Planning Using Large Language Models for Partially Observable Robotics Tasks [54.60571399091711]
  大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。 LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T22:54:44Z)
• SayPlan: Grounding Large Language Models using 3D Scene Graphs for Scalable Robot Task Planning [15.346150968195015]
  本研究では,3次元シーングラフ(DSG)表現を用いた大規模タスクプランニングのスケーラブルなアプローチであるSayPlanを紹介する。 我々は,最大3フロア,36部屋,140部屋までの大規模な2つの環境に対するアプローチを評価した。
  論文  参考訳（メタデータ） (2023-07-12T12:37:55Z)
• Nonprehensile Riemannian Motion Predictive Control [57.295751294224765]
  本稿では,リアル・ツー・シムの報酬分析手法を導入し,リアルなロボット・プラットフォームに対する行動の可能性を確実に予測する。 連続的なアクション空間でオブジェクトを反応的にプッシュするクローズドループコントローラを作成します。 我々は,RMPCが乱雑な環境だけでなく,乱雑な環境においても頑健であり,ベースラインよりも優れていることを観察した。
  論文  参考訳（メタデータ） (2021-11-15T18:50:04Z)
• Active Learning of Abstract Plan Feasibility [17.689758291966502]
  本稿では,タスクに依存しない,好奇心を抱くロボットの探索を通じて,APF予測器を効率的に取得するための能動的学習手法を提案する。 アクティブラーニング戦略において,本システムでは,本システムでより少ないデータから学習できるように,実用不可能なサブシーケンス特性を活用して,候補計画の立案を行う。 物体が一様でない質量分布を持つ積層領域において,本システムは,400個の自己教師による相互作用において,APFモデルの実際のロボット学習を可能にすることを示す。
  論文  参考訳（メタデータ） (2021-07-01T18:17:01Z)
• Reactive Long Horizon Task Execution via Visual Skill and Precondition Models [59.76233967614774]
  シミュレーションで学習したモデルを用いて、単純なタスクプランナの構成要素をグラウンド化することで、見知らぬロボットタスクを達成できるシミュレート・トゥ・リアル・トレーニングのアプローチについて述べる。 シミュレーションでは91.6%から98%,実世界の成功率は10%から80%に増加した。
  論文  参考訳（メタデータ） (2020-11-17T15:24:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。