論文の概要: GraspTwin: Zero-Shot Task-Oriented Grasp Optimization via a Digital Twin
- arxiv url: http://arxiv.org/abs/2609.30543v1
- Date: Thu, 24 Sep 2026 20:50:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 18:27:51.137877
- Title: GraspTwin: Zero-Shot Task-Oriented Grasp Optimization via a Digital Twin
- Title（参考訳）: GraspTwin: ディジタルツインによるゼロショットタスク指向のGrasp最適化
- Abstract要約: 多くのタスクは把握を必要とするが、ターゲットオブジェクトを拾うだけでは不十分であることが多い。
既存の学習に基づく把握アプローチでは、タスクに大きく依存しない、堅牢で衝突のない把握が見つかる。
本研究では、これらのアプローチを現実からシミュレート・トゥ・リアルなフレームワークで橋渡しする。
- 参考スコア（独自算出の注目度）: 10.148790838510847
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As robots transition from structured factory settings into homes, they are required to interact with an ever-increasing variety of objects. Many tasks require grasping, and often it is not sufficient to just pick up the target object. Consider a task like "pouring coffee" --- to facilitate the subsequent pouring, the robot should grasp the mug by its handle. Existing learning-based approaches for grasping either find robust and collision-free grasps that are largely agnostic to the task (e.g., picking up the mug by its rim), or leverage foundation models to propose task-appropriate grasp locations that lack fine-grained physical grounding (e.g., reaching for and missing the handle). In this work, we bridge these approaches with a real-to-sim-to-real framework. Based on a single RGB-D observation, we construct a digital twin of the environment, query a large foundation model to propose grasps that align with the object's affordances and task description, and then optimize the proposals to ensure robustness and plausibility before executing the result on the real robot. Our key insight is that the grasp proposals of the foundation model should be regarded as semantic priors that serve as seeds for local, gradient-free optimization. We leverage Bayesian optimization with Thompson sampling to draw batches of nearby poses, which are subsequently evaluated in parallel under domain-randomized physics rollouts. The resulting grasp is both task-oriented and physically feasible for execution by the robot arm. Our full zero-shot real-world transfer only takes a few minutes and improves task-oriented grasping success by up to 33% as compared to other state-of-the-art pipelines. Our code is available here: https://github.com/VT-Collab/GraspTwin/
- Abstract（参考訳）: ロボットは、構造化された工場の環境から家へと移行するにつれて、ますます増加するさまざまな物体と対話する必要がある。
多くのタスクは把握を必要とするが、ターゲットオブジェクトを拾うだけでは不十分であることが多い。
コーヒーを注ぐ」といったタスクを考えてみましょう -- その後の注ぐのを容易にするために、ロボットはハンドルでマグカップをつかむ必要があります。
既存の学習ベースのアプローチでは、タスクに大きく依存しない頑丈で無衝突な把握(例えば、その縁でマグカップを拾う)を見つけるか、あるいは基礎モデルを活用して、きめ細かい物理的接地(例えば、ハンドルに手を伸ばし、行方不明)を欠くタスクに適した把握場所を提案する。
本研究では、これらのアプローチを現実からシミュレート・トゥ・リアルなフレームワークで橋渡しする。
1つのRGB-D観測に基づいて、環境のディジタル双対を構築し、オブジェクトの空き時間やタスク記述と整合した把握を提案するため、大きな基礎モデルをクエリし、その提案を最適化し、実際のロボットで結果を実行する前に、堅牢性と妥当性を確保する。
我々のキーとなる洞察は、基礎モデルの把握された提案は、局所的、勾配のない最適化のための種として機能する意味論的優先事項と見なされるべきであるということである。
我々は、トンプソンサンプリングを用いたベイズ最適化を利用して、近傍のポーズのバッチを描画し、その後、ドメインランダム化された物理ロールアウトの下で並列に評価する。
結果として得られる把握力はタスク指向であり、ロボットアームによる実行に物理的に実現可能である。
われわれのゼロショットの現実世界の転送には数分しかかからず、タスク指向の把握の成功を、他の最先端のパイプラインと比べて最大33%改善する。
私たちのコードは、https://github.com/VT-Collab/GraspTwin/で利用可能です。
関連論文リスト
- FOUND-IT: Foundation-model-first Task-driven 3D Scene Graphs with Granularity on Demand [13.770305070674299]
本研究では,階層型タスク駆動型3次元シーングラフをモノクロカメラを用いてリアルタイムに構築する手法を提案する。
シーングラフの幾何学的属性を推定するために,幾何学的基礎モデルを利用する。
我々のアプローチは、タスクに応じて地図内のオブジェクトや領域の粒度を調整するという意味でタスク駆動である。
論文 参考訳（メタデータ） (2026-05-25T02:52:34Z) - Cross-Entropy Optimization of Physically Grounded Task and Motion Plans [15.999074191893657]
従来のTAMPアルゴリズムは主に計算性能、完全性、最適性に重点を置いてきた。
我々は、GPU並列化物理シミュレータを用いて、モーションコントローラによる計画の実現を計算している。
我々は,ロボットが環境の幾何学を利用して物体を移動できる一連のタスクに対して,我々のアプローチを実証する。
論文 参考訳（メタデータ） (2025-12-12T13:59:23Z) - URDF-Anything: Constructing Articulated Objects with 3D Multimodal Language Model [76.08429266631823]
3次元マルチモーダル大言語モデル(MLLM)に基づくエンドツーエンドの自動再構築フレームワークを提案する。
URDF-Anythingは、ポイントクラウドとテキストマルチモーダル入力に基づく自己回帰予測フレームワークを使用して、幾何学的セグメンテーションと運動論的パラメータ予測を協調的に最適化する。
シミュレーションと実世界の両方のデータセットの実験は、我々の手法が既存の手法よりも大幅に優れていることを示した。
論文 参考訳（メタデータ） (2025-11-02T13:45:51Z) - Development of a PPO-Reinforcement Learned Walking Tripedal Soft-Legged Robot using SOFA [0.0]
本稿では,PPO-RLに基づく歩行・三脚・軟脚ロボットを提案する。
1つのゴールを達成するのに成功率82%は、画期的なアウトプットです。
プラットフォームステップを追尾しながら、累積2乗誤差偏差19mmで、より優れた発見が観察されている。
論文 参考訳（メタデータ） (2025-04-12T14:46:51Z) - Show and Grasp: Few-shot Semantic Segmentation for Robot Grasping through Zero-shot Foundation Models [5.792788640304759]
ロボットが物体をつかむ能力は、いくつかの応用に欠かせない。
このようなタスクでは、選択する適切なターゲットを選択することは、グリップの正しい構成を推測するのと同じくらい重要である。
この問題に対する一般的な解決策はセマンティックセグメンテーションモデルに依存しており、しばしば目に見えない対象への一般化が不十分である。
論文 参考訳（メタデータ） (2024-04-19T08:58:52Z) - ICGNet: A Unified Approach for Instance-Centric Grasping [42.92991092305974]
オブジェクト中心の把握のためのエンドツーエンドアーキテクチャを導入する。
提案手法の有効性を,合成データセット上での最先端手法に対して広範囲に評価することにより示す。
論文 参考訳（メタデータ） (2024-01-18T12:41:41Z) - Transferring Foundation Models for Generalizable Robotic Manipulation [82.12754319808197]
インターネット規模の基盤モデルによって生成された言語推論セグメンテーションマスクを効果的に活用する新しいパラダイムを提案する。
提案手法は,オブジェクトのポーズを効果的かつ堅牢に知覚し,サンプル効率のよい一般化学習を可能にする。
デモは提出されたビデオで見ることができ、より包括的なデモはlink1またはlink2で見ることができます。
論文 参考訳（メタデータ） (2023-06-09T07:22:12Z) - Can Foundation Models Perform Zero-Shot Task Specification For Robot
Manipulation? [54.442692221567796]
タスク仕様は、熟練していないエンドユーザの関与とパーソナライズされたロボットの採用に不可欠である。
タスク仕様に対する広く研究されているアプローチは、目標を通じて、コンパクトな状態ベクトルまたは同じロボットシーンのゴールイメージを使用することである。
そこで本研究では,人間の指定や使用が容易な目標仕様の代替的,より汎用的な形式について検討する。
論文 参考訳（メタデータ） (2022-04-23T19:39:49Z) - MetaGraspNet: A Large-Scale Benchmark Dataset for Vision-driven Robotic
Grasping via Physics-based Metaverse Synthesis [78.26022688167133]
本稿では,物理に基づくメタバース合成による視覚駆動型ロボットグルーピングのための大規模ベンチマークデータセットを提案する。
提案するデータセットには,10万の画像と25種類のオブジェクトが含まれている。
また,オブジェクト検出とセグメンテーション性能を評価するためのデータセットとともに,新しいレイアウト重み付け性能指標を提案する。
論文 参考訳（メタデータ） (2021-12-29T17:23:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。