論文の概要: From Words to Poses: Enhancing Novel Object Pose Estimation with Vision Language Models

• arxiv url: http://arxiv.org/abs/2409.05413v1
• Date: Mon, 9 Sep 2024 08:15:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-10 15:20:29.179741
• Title: From Words to Poses: Enhancing Novel Object Pose Estimation with Vision Language Models
• Title（参考訳）: 言葉から詩へ:視覚言語モデルによる新しいオブジェクトポーズ推定の強化
• Authors: Tessa Pulli, Stefan Thalhammer, Simon Schwaiger, Markus Vincze,
• Abstract要約: 視覚言語モデル(VLM)はロボット工学の応用においてかなりの進歩を見せている。 VLMのゼロショット機能を活用し、6次元オブジェクトポーズ推定に変換する。 本稿では,言語埋め込みを用いたゼロショット6Dオブジェクトのポーズ推定のための新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 7.949705607963995
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Robots are increasingly envisioned to interact in real-world scenarios, where they must continuously adapt to new situations. To detect and grasp novel objects, zero-shot pose estimators determine poses without prior knowledge. Recently, vision language models (VLMs) have shown considerable advances in robotics applications by establishing an understanding between language input and image input. In our work, we take advantage of VLMs zero-shot capabilities and translate this ability to 6D object pose estimation. We propose a novel framework for promptable zero-shot 6D object pose estimation using language embeddings. The idea is to derive a coarse location of an object based on the relevancy map of a language-embedded NeRF reconstruction and to compute the pose estimate with a point cloud registration method. Additionally, we provide an analysis of LERF's suitability for open-set object pose estimation. We examine hyperparameters, such as activation thresholds for relevancy maps and investigate the zero-shot capabilities on an instance- and category-level. Furthermore, we plan to conduct robotic grasping experiments in a real-world setting.
• Abstract（参考訳）: ロボットは現実のシナリオで対話し、新しい状況に継続的に適応する必要があると期待されている。 新規な物体を検出して把握するために、ゼロショットポーズ推定器は事前の知識なしにポーズを決定する。 近年、視覚言語モデル (VLM) は、言語入力と画像入力の理解を確立することで、ロボット工学の応用においてかなりの進歩を見せている。 本研究では,VLMのゼロショット機能を活用し,これを6次元オブジェクトポーズ推定に変換する。 本稿では,言語埋め込みを用いたゼロショット6Dオブジェクトのポーズ推定のための新しいフレームワークを提案する。 言語埋め込み型NeRF再構成の関連性マップに基づいてオブジェクトの粗い位置を導出し、ポイントクラウド登録法を用いてポーズ推定を計算する。 さらに、オープンセットオブジェクトのポーズ推定に対するLERFの適合性について分析する。 関連性マップのアクティベーションしきい値などのハイパーパラメータについて検討し、インスタンスレベルとカテゴリレベルのゼロショット機能について検討する。 さらに,現実の環境でロボットによる把握実験を行うことも計画している。

関連論文リスト

• Structured Spatial Reasoning with Open Vocabulary Object Detectors [2.089191490381739]
  オブジェクト間の空間的関係に関する推論は多くの実世界のロボット作業において不可欠である。 我々は、リッチな3次元幾何学的特徴と最先端のオープンボキャブラリオブジェクト検出器を統合する構造的確率的アプローチを導入する。 この手法は、空間推論タスクにおける最先端ビジョン・言語モデル(VLM)のゼロショット性能を評価・比較する。
  論文  参考訳（メタデータ） (2024-10-09T19:37:01Z)
• Stimulating Imagination: Towards General-purpose Object Rearrangement [2.0885207827639785]
  汎用オブジェクト配置は、インテリジェントロボットの基本的な能力である。 我々はこの課題を達成するためにSPORTというフレームワークを提案する。 Sportは、物理的に現実的な結果を保証するために拡散に基づく3Dポーズ推定器を学習する。 シミュレーションと実世界の実験により、汎用オブジェクト再構成を実現するためのアプローチの可能性を示す。
  論文  参考訳（メタデータ） (2024-08-03T03:53:05Z)
• LocaliseBot: Multi-view 3D object localisation with differentiable rendering for robot grasping [9.690844449175948]
  オブジェクトのポーズ推定に重点を置いています。 このアプローチは,オブジェクトの複数ビュー,それらの視点におけるカメラのパラメータ,オブジェクトの3次元CADモデルという3つの情報に依存している。 推定対象のポーズが99.65%の精度で真理把握候補を把握できることが示される。
  論文  参考訳（メタデータ） (2023-11-14T14:27:53Z)
• RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control [140.48218261864153]
  本研究では,インターネット規模のデータに基づいて学習した視覚言語モデルを,エンドツーエンドのロボット制御に直接組み込む方法について検討する。 提案手法は,インターネット規模のトレーニングから,RT-2による創発的能力の獲得を可能にした。
  論文  参考訳（メタデータ） (2023-07-28T21:18:02Z)
• H-SAUR: Hypothesize, Simulate, Act, Update, and Repeat for Understanding Object Articulations from Interactions [62.510951695174604]
  The Hypothesize, Simulate, Act, Update, and Repeat (H-SAUR) is a probabilistic generative framework that generated hypotheses about objects articulate given input observed。 提案手法は,現在最先端のオブジェクト操作フレームワークよりも優れていることを示す。 我々は、学習に基づく視覚モデルから学習前の学習を統合することにより、H-SAURのテスト時間効率をさらに向上する。
  論文  参考訳（メタデータ） (2022-10-22T18:39:33Z)
• Learning 6-DoF Object Poses to Grasp Category-level Objects by Language Instructions [74.63313641583602]
  本稿では,既知カテゴリから把握する任意のオブジェクトのタスクを,自由形式の言語命令を用いて検討する。 我々はこれらの規律を、人間とロボットの相互作用に不可欠なオープンチャレンジにまとめる。 言語誘導型6-DoFカテゴリーレベルの物体位置定位モデルを提案する。
  論文  参考訳（メタデータ） (2022-05-09T04:25:14Z)
• Object Manipulation via Visual Target Localization [64.05939029132394]
  オブジェクトを操作するための訓練エージェントは、多くの課題を提起します。 本研究では,対象物体を探索する環境を探索し,位置が特定されると3次元座標を計算し,対象物が見えない場合でも3次元位置を推定する手法を提案する。 評価の結果,同じ感覚スイートにアクセス可能なモデルに比べて,成功率が3倍に向上したことが示された。
  論文  参考訳（メタデータ） (2022-03-15T17:59:01Z)
• 6-DoF Pose Estimation of Household Objects for Robotic Manipulation: An Accessible Dataset and Benchmark [17.493403705281008]
  本稿では,ロボット操作研究を中心に,既知の物体の6-DoFポーズ推定のための新しいデータセットを提案する。 我々は、おもちゃの食料品の3Dスキャンされたテクスチャモデルと、難解で散らかったシーンにおけるオブジェクトのRGBD画像を提供する。 半自動RGBD-to-modelテクスチャ対応を用いて、画像は数ミリ以内の精度で実証された地上の真実のポーズで注釈付けされる。 また,ADD-Hと呼ばれる新しいポーズ評価尺度を提案し,対象形状の対称性に頑健なハンガリー代入アルゴリズムについて,その明示的な列挙を必要とせず提案する。
  論文  参考訳（メタデータ） (2022-03-11T01:19:04Z)
• INVIGORATE: Interactive Visual Grounding and Grasping in Clutter [56.00554240240515]
  INVIGORATEは、自然言語で人間と対話し、特定の物体をクラッタで把握するロボットシステムである。 我々は、物体検出、視覚的接地、質問生成、OBR検出と把握のために、別々のニューラルネットワークを訓練する。 我々は、学習したニューラルネットワークモジュールを統合する、部分的に観測可能なマルコフ決定プロセス(POMDP)を構築します。
  論文  参考訳（メタデータ） (2021-08-25T07:35:21Z)
• LanguageRefer: Spatial-Language Model for 3D Visual Grounding [72.7618059299306]
  3次元視覚的グラウンドリング問題に対する空間言語モデルを構築した。 本稿では,ReferIt3Dが提案する視覚言語データセットに対して,本モデルが競合的に動作することを示す。
  論文  参考訳（メタデータ） (2021-07-07T18:55:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。