論文の概要: Learning Generalizable Feature Fields for Mobile Manipulation

• arxiv url: http://arxiv.org/abs/2403.07563v2
• Date: Tue, 26 Nov 2024 10:31:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:32:06.074209
• Title: Learning Generalizable Feature Fields for Mobile Manipulation
• Title（参考訳）: 移動操作のための一般化可能な特徴場の学習
• Authors: Ri-Zhao Qiu, Yafei Hu, Yuchen Song, Ge Yang, Yang Fu, Jianglong Ye, Jiteng Mu, Ruihan Yang, Nikolay Atanasov, Sebastian Scherer, Xiaolong Wang,
• Abstract要約: 本稿では,実時間でのナビゲーションと操作の統一表現として機能する,シーンレベルの一般化可能なニューラル特徴場であるGeFFを提案する。 オープンボキャブラリオブジェクト/部分レベルの操作におけるGeFFの能力を定量的に評価し、GeFFが実行時の点ベースラインとストレージ精度のトレードオフよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 25.155275186849558
• License:
• Abstract: An open problem in mobile manipulation is how to represent objects and scenes in a unified manner so that robots can use both for navigation and manipulation. The latter requires capturing intricate geometry while understanding fine-grained semantics, whereas the former involves capturing the complexity inherent at an expansive physical scale. In this work, we present GeFF (Generalizable Feature Fields), a scene-level generalizable neural feature field that acts as a unified representation for both navigation and manipulation that performs in real-time. To do so, we treat generative novel view synthesis as a pre-training task, and then align the resulting rich scene priors with natural language via CLIP feature distillation. We demonstrate the effectiveness of this approach by deploying GeFF on a quadrupedal robot equipped with a manipulator. We quantitatively evaluate GeFF's ability for open-vocabulary object-/part-level manipulation and show that GeFF outperforms point-based baselines in runtime and storage-accuracy trade-offs, with qualitative examples of semantics-aware navigation and articulated object manipulation.
• Abstract（参考訳）: モバイル操作におけるオープンな問題は、ロボットがナビゲーションと操作の両方に使用できるように、オブジェクトとシーンを統一的に表現する方法である。 後者は細粒度のセマンティクスを理解しながら複雑な幾何学を捉える必要があるが、前者は拡張的な物理的スケールで固有の複雑さを捉える必要がある。 本稿では,シーンレベルの一般化可能なニューラル・フィーチャー・フィールドであるGeFF(Generalizable Feature Fields)について述べる。 そこで我々は, 生成的新規なビュー合成を事前学習課題として扱い, 得られたリッチなシーンをCLIP特徴蒸留により自然言語に整列させる。 マニピュレータを備えた四足歩行ロボットにGeFFを配置することで,本手法の有効性を実証する。 我々は,GeFFのオープン語彙オブジェクト/部分レベルの操作能力を定量的に評価し,GeFFが実行時およびストレージ精度トレードオフにおいてポイントベースベースラインより優れていることを示す。

関連論文リスト

• Polaris: Open-ended Interactive Robotic Manipulation via Syn2Real Visual Grounding and Large Language Models [53.22792173053473]
  我々はPolarisという対話型ロボット操作フレームワークを紹介した。 ポラリスはGPT-4と接地された視覚モデルを利用して知覚と相互作用を統合する。 本稿では,Syn2Real(Synthetic-to-Real)ポーズ推定パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-08-15T06:40:38Z)
• Learning Manipulation by Predicting Interaction [85.57297574510507]
  本稿では,インタラクションを予測して操作を学習する一般的な事前学習パイプラインを提案する。 実験の結果,MPIは従来のロボットプラットフォームと比較して10%から64%向上していることがわかった。
  論文  参考訳（メタデータ） (2024-06-01T13:28:31Z)
• Click to Grasp: Zero-Shot Precise Manipulation via Visual Diffusion Descriptors [30.579707929061026]
  本研究は,ゼロショット設定における精密操作のための微細部分記述子の接地について検討する。 我々は、それを密接な意味部分対応タスクとしてフレーミングすることで、この問題に対処する。 我々のモデルは、同じオブジェクトの視覚的に異なるインスタンスのソースイメージからユーザ定義クリックを参照して、特定の部分を操作するためのグリップパポーズを返します。
  論文  参考訳（メタデータ） (2024-03-21T16:26:19Z)
• N2F2: Hierarchical Scene Understanding with Nested Neural Feature Fields [112.02885337510716]
  Nested Neural Feature Fields (N2F2)は、階層的な監視を用いて単一機能フィールドを学習する新しいアプローチである。 画像空間の任意のスケールで意味的に意味のある画素群を提供するために、2次元クラス非依存セグメンテーションモデルを利用する。 オープンな3次元セグメンテーションやローカライゼーションといったタスクにおいて,最先端のフィールド蒸留法よりも優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-03-16T18:50:44Z)
• What Makes Pre-Trained Visual Representations Successful for Robust Manipulation? [57.92924256181857]
  照明やシーンテクスチャの微妙な変化の下では,操作や制御作業のために設計された視覚表現が必ずしも一般化されないことがわかった。 創発的セグメンテーション能力は,ViTモデルにおける分布外一般化の強い予測因子であることがわかった。
  論文  参考訳（メタデータ） (2023-11-03T18:09:08Z)
• VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models [38.503337052122234]
  大規模言語モデル(LLM)は、ロボット操作のために抽出できる豊富な行動可能な知識を持っていることが示されている。 我々は,オープンな命令セットとオープンなオブジェクトセットが与えられた様々な操作タスクに対して,ロボット軌道を合成することを目指している。 筆者らは,接触に富んだインタラクションを含むシーンのダイナミックスモデルを効率的に学習することで,提案フレームワークがオンライン体験の恩恵を享受できることを実証する。
  論文  参考訳（メタデータ） (2023-07-12T07:40:48Z)
• Programmatically Grounded, Compositionally Generalizable Robotic Manipulation [35.12811184353626]
  意味表現を統合化するための従来の事前学習ファインタニングパイプラインは、ドメイン固有の行動情報の学習に絡み合っていることを示す。 本稿では,言語命令の統語的構造と意味的構造を利用して,事前学習モデルを活用するモジュール方式を提案する。 我々のモデルは、様々な操作行動において、ゼロショットと合成の一般化を改善するために、動作と知覚をうまく切り離すことに成功している。
  論文  参考訳（メタデータ） (2023-04-26T20:56:40Z)
• Object Discovery from Motion-Guided Tokens [50.988525184497334]
  自動エンコーダ表現学習フレームワークを、モーションガイダンスと中間レベルの特徴トークン化により強化する。 我々のアプローチは、解釈可能なオブジェクト固有の中間レベルの特徴の出現を可能にする。
  論文  参考訳（メタデータ） (2023-03-27T19:14:00Z)
• ALSO: Automotive Lidar Self-supervision by Occupancy estimation [70.70557577874155]
  本稿では,ポイントクラウド上で動作している深層知覚モデルのバックボーンを事前学習するための自己教師型手法を提案する。 中心となる考え方は、3Dポイントがサンプリングされる表面の再構成であるプリテキストタスクでモデルをトレーニングすることである。 直感的には、もしネットワークがわずかな入力ポイントのみを考慮し、シーン表面を再構築できるなら、おそらく意味情報の断片をキャプチャする。
  論文  参考訳（メタデータ） (2022-12-12T13:10:19Z)
• CLIPort: What and Where Pathways for Robotic Manipulation [35.505615833638124]
  広義の意味理解とトランスポーターの空間的精度を組み合わせた言語条件の模倣学習エージェントであるCLIPortを提案する。 我々のフレームワークは、オブジェクトのポーズ、インスタンスのセグメンテーション、メモリ、シンボル状態、構文構造の明示的な表現なしに、様々な言語仕様のテーブルトップタスクを解くことができる。
  論文  参考訳（メタデータ） (2021-09-24T17:44:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。