論文の概要: SketchMate: Agentic Geometric Reasoning for Zero-Shot Precision Insertion

• arxiv url: http://arxiv.org/abs/2610.41844v1
• Date: Fri, 30 Oct 2026 14:59:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.781027
• Title: SketchMate: Agentic Geometric Reasoning for Zero-Shot Precision Insertion
• Title（参考訳）: SketchMate:ゼロショット精密挿入のためのエージェント幾何学的推論
• Abstract要約: 現在のゼロショットエージェント操作法では、空間出力があまりに粗い。 本稿では,VLMエージェントが幾何ツールを用いて多視点深度で計測するタスクのスケッチモデルを構築することを提案する。 スケッチは配置から独立して部品を記述するので、ロボットはタスクごとに1回だけ部品を組み立てる必要がある。 69例の挿入エピソードでは,組み立てられたポーズの88%が厳密な体操テストで挿入され,ReKepとMokaは同じVLMでは挿入されなかった。
• 参考スコア（独自算出の注目度）: 3.298519306406288
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inserting an unseen part requires sub-millimetre precision and the correct orientation of keyed features. Current zero-shot agentic manipulation methods built on vision-language models (VLMs) produce spatial outputs that are far too coarse for this. We propose to let a VLM build a sketch model of the task, i.e., a few geometric primitives and two mate frames, which a VLM agent measures with geometric tools in multi-view depth and which a standard planner and compliant controller execute. Because a sketch describes the parts independently of their placement, the robot needs to build it only once per task. A sketch memory stores each agent run and transfers the stored sketch to later placements by point-cloud registration, so that the VLM is called only for unfamiliar parts. After grasping the part, the robot inspects both mating faces at close range and corrects the sketch by shape matching. On 69 simulated insertion episodes, our method inserts 88% of the parts at the assembled pose in a strict kinematic test, while ReKep and MOKA with the same VLM insert none. On new placements of eight tasks, reusing one stored run inserts as many parts as calling the agent in each episode, and it produces the sketch in 3.4 s instead of about 90 s.
• Abstract（参考訳）: 目に見えない部分を挿入するには、サブミリメートルの精度とキー付き特徴の正しい方向が必要である。 現在、視覚言語モデル(VLM)上に構築されているゼロショットのエージェント操作手法では、空間出力があまりにも粗い。 本稿では,VLMエージェントが多視点深度で幾何ツールを用いて計測し,標準プランナとコンプライアンスコントローラが実行する,数個の幾何学的プリミティブと2つのメイトフレームという,タスクのスケッチモデルを構築することを提案する。 スケッチは配置から独立して部品を記述するので、ロボットはタスクごとに1回だけ部品を組み立てる必要がある。 スケッチメモリは、各エージェントが実行し、ポイントクラウド登録により、格納されたスケッチを後続の配置に転送するので、VLMは不慣れな部分に対してのみ呼び出される。 部分をつかんだ後、ロボットは近距離で両方の交尾面を検査し、形状マッチングによりスケッチを補正する。 69例の挿入エピソードでは,組み立てられたポーズの88%が厳密な体操テストで挿入され,ReKepとMokaは同じVLMでは挿入されなかった。 8つのタスクの新しい配置では、1つの格納されたランの再利用は各エピソードでエージェントを呼び出すのと同じくらい多くの部分を挿入し、約90秒ではなく3.4秒でスケッチを生成する。

関連論文リスト

• Geometric Encoding for Spatial Reasoning in Vision-Language Models [2.399370258616979]
  VLM(Vision-Language Models)は、その空間的および時間的特性を推論するよりも、ビデオに現れるものを認識する方がはるかに信頼性が高い。 ビデオから空間構造を明示的に計算する,知覚と幾何学のパイプラインであるGeometric Codeを提案する。
  論文  参考訳（メタデータ） (2026-09-28T02:29:01Z)
• V2-STRep: VLM-Grounded Structured Task Representations for Reusable Robot Skills Acquired from Generated Videos [7.475708314963595]
  V2-STRepは、VLMで構築されたタスク表現を通じて、生成された動画の動きを再利用可能なロボットスキルに変換するフレームワークである。 VLMを用いた2次元画像空間キューをRGB-D観測により3次元にリフトし,課題形状と候補把握ポーズを再構成する。 6つの実世界の操作タスクの実験では、ベースラインを越えた実行の成功、得られたスキルの信頼性の高いクロスシーン転送、変更したデプロイメント命令への適応が示されている。
  論文  参考訳（メタデータ） (2026-09-17T15:37:34Z)
• Procedura: Agentic 3D Modeling with Procedural Control [52.232812096564906]
  Proceduraは、オブジェクトを手続き的なアセンブリとして記述する、新しい3Dモデリングエージェントフレームワークである。 テキストプロンプトから、エージェントはアセンブリグラフとしてオブジェクトを計画し、プログラム部分を部分的に書きます。 分離された視覚評論家は、一度に診断された修正を精製する。
  論文  参考訳（メタデータ） (2026-08-26T17:54:39Z)
• PROBE: Manipulation-Grounded Visual Question Answering with VLM Agents [20.33055673400906]
  視覚言語モデル(VLM)は静的シーンにおける2次元グラウンド、空間的推論、エージェントツールベースの計画において優れる。 この設定をMG-VQA (Manipulation-Grounded Visual Question Answering) として定式化する。 本稿では,このようなタスク上でのVLMエージェントのベンチマークと微調整を行うフレームワーク PROBE を紹介する。
  論文  参考訳（メタデータ） (2026-08-17T21:03:31Z)
• Geometrically Consistent Multi-View Scene Generation from Freehand Sketches [58.98194920417429]
  フリーハンドスケッチは、マルチビュージェネレータを提供することができる最も幾何学的に不十分な入力である。 学習データの欠如、歪んだ2次元入力からの幾何学的推論の必要性、ビュー間の整合性という3つの複合的な課題に対処する。 本フレームワークは,参照画像,反復的精細化,シーンごとの最適化を必要とせず,単一のデノナイジングプロセスですべてのビューを合成する。
  論文  参考訳（メタデータ） (2026-04-15T18:00:45Z)
• Sketch2BIM: A Multi-Agent Human-AI Collaborative Pipeline to Convert Hand-Drawn Floor Plans to 3D BIM [0.0]
  本研究では,手書きのフロアプランスケッチを意味的に一貫した3次元BIMモデルに変換する。
  論文  参考訳（メタデータ） (2025-10-16T18:45:33Z)
• VLM-Grounder: A VLM Agent for Zero-Shot 3D Visual Grounding [57.04804711488706]
  3Dビジュアルグラウンドティングはロボットにとって不可欠であり、自然言語と3Dシーン理解を統合する必要がある。 VLM-Grounderは視覚言語モデル(VLM)を用いて2次元画像のみに基づくゼロショット3次元視覚グラウンドティングを行う新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-10-17T17:59:55Z)
• Visual Sketchpad: Sketching as a Visual Chain of Thought for Multimodal Language Models [139.9581209765338]
  Sketchpadは、マルチモーダルLMにビジュアルスケッチパッドとスケッチパッドに描画するツールを提供するフレームワークである。 LMは、人間のスケッチに近い線、ボックス、マークなどを使って絵を描くことができ、推論をより容易にすることができる。 Sketchpadは、スケッチなしで強力なベースモデルよりも、すべてのタスクのパフォーマンスを大幅に改善する。
  論文  参考訳（メタデータ） (2024-06-13T17:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。