論文の概要: HiWE: Hierarchical World Knowledge Model with Visual Keypoint Enhancement for Zero-Shot 3D Path Planning
- arxiv url: http://arxiv.org/abs/2609.39323v1
- Date: Wed, 30 Sep 2026 09:00:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.47087
- Title: HiWE: Hierarchical World Knowledge Model with Visual Keypoint Enhancement for Zero-Shot 3D Path Planning
- Title（参考訳）: HiWE:ゼロショット3次元経路計画のための視覚的キーポイント強調を用いた階層的世界知識モデル
- Abstract要約: PointVLMは、タスク関連オブジェクトとイメージ座標を関連付けるために、命令調整される。
言語プランナーである3DLLMは、この表現を使用して、エンドエフェクタのウェイポイントとグリッパーコマンドを指定する。
本稿では,このフレームワークの元々の定式化について述べる。
- 参考スコア（独自算出の注目度）: 17.644687600574812
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Robot demonstration generation requires a system to identify where an interaction should occur, plan a feasible motion, and execute the required contact. HiWE connects these decisions through a point-based interface between visual grounding and language-based planning. PointVLM is instruction-tuned to associate task-relevant objects with image coordinates using a mixture of point annotations, segmentation-derived samples, robot observations, and visual question answering data. Depth measurements lift these predictions into a semantic 3D representation. A language planner, 3DLLM, uses this representation to specify end-effector waypoints and gripper commands, while a hybrid grasping module resolves local grasp poses. The evaluation covers 14 simulated manipulation tasks and four physical-robot tasks, together with ablations of the visual training data, spatial inputs, and grasp selection. Here, zero-shot execution refers to deployment without task-specific demonstration training; the visual model uses existing robot data during fine-tuning. This paper describes the original point-based formulation of the framework; its relationship to the subsequent GeneralVLA extension is detailed in the introduction.
- Abstract（参考訳）: ロボットのデモ生成には、相互作用の発生場所を特定し、実行可能な動作を計画し、必要な接触を実行するシステムが必要である。
HiWEは、これらの決定を、視覚的な接地と言語に基づく計画の間のポイントベースのインターフェイスを介して接続する。
PointVLMは、ポイントアノテーション、セグメンテーション由来のサンプル、ロボット観察、視覚的質問応答データを組み合わせて、タスク関連オブジェクトと画像座標を関連付けるように調整されている。
深さ測定はこれらの予測を意味的な3D表現に引き上げる。
言語プランナである3DLLMは、この表現を使用して、エンドエフェクタのウェイポイントとグリップパーコマンドを指定し、一方、ハイブリッドグリップモジュールは局所的なグリップポーズを解決している。
評価は、視覚訓練データ、空間入力、把握選択の省略とともに、14のシミュレートされた操作タスクと4つの物理ロボットタスクをカバーする。
ここでは、ゼロショット実行はタスク固有のデモトレーニングなしでデプロイすることを指し、ビジュアルモデルは、微調整中に既存のロボットデータを使用する。
本稿では,フレームワークの元々のポイントベースの定式化について述べる。
関連論文リスト
- Topology-Informed Visual Prompting For Vision Language Action Policies [14.2979228480631]
視覚言語アクション(VLA)ポリシーは、部分的な可観測性のために複雑な障害物ジオメトリーを持つ操作タスクと競合する可能性がある。
本稿では,シミュレーションに基づく計画手法を用いて,概念実証データセットを増強するトポロジ誘導型ビジュアルプロンプティングフレームワークを提案する。
論文 参考訳（メタデータ） (2026-09-20T23:39:39Z) - AffordanceVLA: A Vision-Language-Action Model Empowering Action Generation through Affordance-Aware Understanding [55.535374902204296]
AffordanceVLAは、タスク指向の中間表現として構造化された価格予測を導入する統一フレームワークである。
AffordanceVLAは様々な操作シナリオで高いパフォーマンスを実現していることを示す。
論文 参考訳（メタデータ） (2026-06-04T13:28:51Z) - RoboPCA: Pose-centered Affordance Learning from Human Demonstrations for Robot Manipulation [35.68205801897266]
RoboPCAはポーズ中心の価格予測フレームワークで、タスクに適した接触領域を共同で予測し、指示に応じてポーズを付ける。
Human2Affordは、シーンレベルの3D情報を自動的に復元し、人間のデモからポーズ中心の価格アノテーションを推論するデータキュレーションパイプラインである。
RoboPCAは、イメージデータセット、シミュレーション、実際のロボットのベースライン手法よりも優れており、タスクやカテゴリをまたいだ強力な一般化を示している。
論文 参考訳（メタデータ） (2026-03-08T15:46:04Z) - Correspondence-Oriented Imitation Learning: Flexible Visuomotor Control with 3D Conditioning [11.847696426774732]
本研究では,3次元のフレキシブルなタスク表現を持つビジュモータ制御のための条件付きポリシー学習フレームワークであるImitation-Oriented Learning (COIL)を紹介する。
COILはタスク、オブジェクト、動作パターンをまたいで一般化し、疎密な仕様と密な仕様の両方の下での現実世界の操作タスクの従来の方法と比べて、優れた粒度を達成する。
論文 参考訳（メタデータ） (2025-12-05T18:50:17Z) - IAAO: Interactive Affordance Learning for Articulated Objects in 3D Environments [56.85804719947]
IAAOは知的エージェントのための明示的な3Dモデルを構築するフレームワークで,対話を通して環境内の明瞭な物体の理解を得る。
マスク特徴とビュー一貫性ラベルを多視点画像から抽出し,まず3次元ガウススティング(3DGS)を用いて各オブジェクト状態の階層的特徴とラベルフィールドを構築する。
次に、3Dガウスプリミティブ上でオブジェクトと部分レベルのクエリを実行し、静的および明瞭な要素を識別し、大域的な変換と局所的な調音パラメータをアベイランスとともに推定する。
論文 参考訳（メタデータ） (2025-04-09T12:36:48Z) - Open-Vocabulary Octree-Graph for 3D Scene Understanding [54.11828083068082]
Octree-Graphはオープンな3Dシーン理解のための新しいシーン表現である。
セマンティクスを記憶し、その形状に応じてオブジェクトの占有度を調節するアダプティブ・オクツリー構造を開発する。
論文 参考訳（メタデータ） (2024-11-25T10:14:10Z) - Point-In-Context: Understanding Point Cloud via In-Context Learning [67.20277182808992]
In-context Learningによる3Dポイントクラウド理解のための新しいフレームワークであるPoint-In-Context(PIC)を紹介した。
マスク付き点モデリングを3次元点群に効果的に拡張するという技術的課題に,Joint Smplingモジュールを導入して対処する。
In-Context LabelingとIn-Context Enhancingという2つの新しいトレーニング戦略を提案し、PICの拡張版であるPoint-In-Context-Segmenter(PIC-S)を作成している。
論文 参考訳（メタデータ） (2024-04-18T17:32:32Z) - SUGAR: Pre-training 3D Visual Representations for Robotics [85.55534363501131]
ロボット工学のための新しい3D事前学習フレームワークSUGARを紹介した。
SUGARは3次元の点雲を通してオブジェクトの意味的、幾何学的、および余分な特性をキャプチャする。
SuGARの3D表現は最先端の2Dおよび3D表現よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-04-01T21:23:03Z) - Object-level 3D Semantic Mapping using a Network of Smart Edge Sensors [25.393382192511716]
我々は,分散エッジセンサのネットワークとオブジェクトレベルの情報からなる多視点3次元意味マッピングシステムを拡張した。
提案手法は,数cm以内でのポーズ推定と,実験室環境におけるセンサネットワークを用いた実環境実験により,Behaveデータセットを用いて評価した。
論文 参考訳（メタデータ） (2022-11-21T11:13:08Z) - INVIGORATE: Interactive Visual Grounding and Grasping in Clutter [56.00554240240515]
INVIGORATEは、自然言語で人間と対話し、特定の物体をクラッタで把握するロボットシステムである。
我々は、物体検出、視覚的接地、質問生成、OBR検出と把握のために、別々のニューラルネットワークを訓練する。
我々は、学習したニューラルネットワークモジュールを統合する、部分的に観測可能なマルコフ決定プロセス(POMDP)を構築します。
論文 参考訳（メタデータ） (2021-08-25T07:35:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。