論文の概要: Towards Cross-device and Training-free Robotic Grasping in 3D Open World

• arxiv url: http://arxiv.org/abs/2411.18133v1
• Date: Wed, 27 Nov 2024 08:23:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-01 15:52:53.572465
• Title: Towards Cross-device and Training-free Robotic Grasping in 3D Open World
• Title（参考訳）: 3次元オープンワールドにおけるクロスデバイス・非トレーニング型ロボットグラスピングを目指して
• Authors: Weiguang Zhao, Chenru Jiang, Chengrui Zhang, Jie Sun, Yuyao Yan, Rui Zhang, Kaizhu Huang,
• Abstract要約: 本稿では,オープンワールドシナリオにおいて,学習を必要とせずにオブジェクト把握タスクを実行できる新しいパイプラインを提案する。 本稿では,セグメンテーション精度を向上し,未確認オブジェクトをクラスタ化およびローカライズする機能を有する,学習不要なバイナリクラスタリングアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 20.406334587479623
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Robotic grasping in the open world is a critical component of manufacturing and automation processes. While numerous existing approaches depend on 2D segmentation output to facilitate the grasping procedure, accurately determining depth from 2D imagery remains a challenge, often leading to limited performance in complex stacking scenarios. In contrast, techniques utilizing 3D point cloud data inherently capture depth information, thus enabling adeptly navigating and manipulating a diverse range of complex stacking scenes. However, such efforts are considerably hindered by the variance in data capture devices and the unstructured nature of the data, which limits their generalizability. Consequently, much research is narrowly concentrated on managing designated objects within specific settings, which confines their real-world applicability. This paper presents a novel pipeline capable of executing object grasping tasks in open-world scenarios even on previously unseen objects without the necessity for training. Additionally, our pipeline supports the flexible use of different 3D point cloud segmentation models across a variety of scenes. Leveraging the segmentation results, we propose to engage a training-free binary clustering algorithm that not only improves segmentation precision but also possesses the capability to cluster and localize unseen objects for executing grasping operations. In our experiments, we investigate a range of open-world scenarios, and the outcomes underscore the remarkable robustness and generalizability of our pipeline, consistent across various environments, robots, cameras, and objects. The code will be made available upon acceptance of the paper.
• Abstract（参考訳）: オープンな世界でのロボットの把握は、製造と自動化プロセスの重要なコンポーネントである。 既存の多くのアプローチは、把握手順を容易にするために2Dセグメンテーション出力に依存しているが、2D画像からの深度を正確に決定することは依然として困難であり、複雑な積み重ねシナリオでは性能が制限されることが多い。 対照的に、3Dポイントクラウドデータを利用する技術は、本質的に深度情報をキャプチャし、多様な複雑な積み重ねシーンを巧みにナビゲートし操作することができる。 しかし、このような取り組みは、データキャプチャ装置のばらつきと、その一般化性を制限するデータの非構造的性質により、かなり妨げられている。 したがって、多くの研究は特定の設定内で指定されたオブジェクトを管理することに集中しており、実際の適用性は制限されている。 本稿では、未確認のオブジェクトであっても、オープンワールドシナリオでオブジェクト把握タスクを実行することができる新しいパイプラインを提案する。 さらに、パイプラインは様々な場面で異なる3Dポイントクラウドセグメンテーションモデルの柔軟な利用をサポートする。 セグメンテーション結果を活用することにより、セグメンテーション精度を向上するだけでなく、セグメンテーション操作を実行する未確認オブジェクトをクラスタ化およびローカライズする能力を有する、トレーニング不要なバイナリクラスタリングアルゴリズムを提案する。 実験では,様々な環境,ロボット,カメラ,オブジェクトにまたがる,パイプラインの顕著な堅牢性と一般化性について検討した。 コードは、論文の受理時に利用可能になる。

関連論文リスト

• IAAO: Interactive Affordance Learning for Articulated Objects in 3D Environments [56.85804719947]
  IAAOは知的エージェントのための明示的な3Dモデルを構築するフレームワークで,対話を通して環境内の明瞭な物体の理解を得る。 マスク特徴とビュー一貫性ラベルを多視点画像から抽出し,まず3次元ガウススティング(3DGS)を用いて各オブジェクト状態の階層的特徴とラベルフィールドを構築する。 次に、3Dガウスプリミティブ上でオブジェクトと部分レベルのクエリを実行し、静的および明瞭な要素を識別し、大域的な変換と局所的な調音パラメータをアベイランスとともに推定する。
  論文  参考訳（メタデータ） (2025-04-09T12:36:48Z)
• FunGraph: Functionality Aware 3D Scene Graphs for Language-Prompted Scene Interaction [1.8124328823188356]
  我々は、より細かな解像度でオブジェクトを検出し、保存することに集中し、価格関連部品に焦点をあてる。 現在利用可能な3Dリソースを活用して、2Dデータを生成し、検出器をトレーニングし、標準の3Dシーングラフ生成パイプラインを拡張するために使用します。
  論文  参考訳（メタデータ） (2025-03-10T23:13:35Z)
• From Dataset to Real-world: General 3D Object Detection via Generalized Cross-domain Few-shot Learning [13.282416396765392]
  本稿では,3次元オブジェクト検出においてGCFS(Generalized Cross-domain few-shot)タスクを導入する。 本ソリューションでは,マルチモーダル融合とコントラスト強化型プロトタイプ学習を1つのフレームワークに統合する。 限定対象データから各クラスに対するドメイン固有表現を効果的に捉えるために,コントラスト強化型プロトタイプ学習を提案する。
  論文  参考訳（メタデータ） (2025-03-08T17:05:21Z)
• Towards Flexible 3D Perception: Object-Centric Occupancy Completion Augments 3D Object Detection [54.78470057491049]
  占領は3Dシーンの知覚に有望な代替手段として現れてきた。 オブジェクトbboxのサプリメントとして,オブジェクト中心の占有率を導入する。 これらの特徴は,最先端の3Dオブジェクト検出器の検出結果を著しく向上させることを示した。
  論文  参考訳（メタデータ） (2024-12-06T16:12:38Z)
• Open Vocabulary Monocular 3D Object Detection [10.424711580213616]
  RGB画像から3次元空間内の物体を検出しローカライズすることを目的とした新しい課題であるオープンボキャブラリモノクロ3Dオブジェクト検出の研究を開拓した。 オープンボキャブラリ2次元検出器を活用して2次元境界ボックスを3次元空間に持ち上げるクラス非依存的手法を提案する。 提案手法は,3次元境界ボックスを推定する作業から2次元の物体の認識と局所化を分離し,未知のカテゴリをまたいだ一般化を可能にする。
  論文  参考訳（メタデータ） (2024-11-25T18:59:17Z)
• Open3DTrack: Towards Open-Vocabulary 3D Multi-Object Tracking [73.05477052645885]
  オープンな語彙的3Dトラッキングを導入し、3Dトラッキングの範囲を広げて、定義済みのカテゴリを超えてオブジェクトを含める。 本稿では,オープン語彙機能を3次元トラッキングフレームワークに統合し,オブジェクトクラスが見えないように一般化する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-02T15:48:42Z)
• Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
  本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。 一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2024-06-17T07:43:53Z)
• Find n' Propagate: Open-Vocabulary 3D Object Detection in Urban Environments [67.83787474506073]
  我々は,現在のLiDARに基づく3Dオブジェクト検出システムの限界に対処する。 本稿では,3次元OVタスクに対する汎用textscFind n' Propagate アプローチを提案する。 我々は、新しいオブジェクトクラスに対する平均精度(AP)を最大3.97倍に向上させる。
  論文  参考訳（メタデータ） (2024-03-20T12:51:30Z)
• Towards Unified 3D Object Detection via Algorithm and Data Unification [70.27631528933482]
  我々は、最初の統一型マルチモーダル3Dオブジェクト検出ベンチマークMM-Omni3Dを構築し、上記のモノクロ検出器をマルチモーダルバージョンに拡張する。 設計した単分子・多モード検出器をそれぞれUniMODEとMM-UniMODEと命名した。
  論文  参考訳（メタデータ） (2024-02-28T18:59:31Z)
• Generalized Robot 3D Vision-Language Model with Fast Rendering and Pre-Training Vision-Language Alignment [55.11291053011696]
  本研究は,ラベル付きシーンが極めて限定された場合の3次元シーン理解のためのフレームワークを提案する。 事前学習された視覚言語モデルから新しいカテゴリーの知識を抽出するために,階層的特徴整合型事前学習と知識蒸留戦略を提案する。 限定的な再構築の場合、提案手法はWS3D++と呼ばれ、大規模なScanNetベンチマークで1位にランクインした。
  論文  参考訳（メタデータ） (2023-12-01T15:47:04Z)
• Hierarchical Point Attention for Indoor 3D Object Detection [111.04397308495618]
  本研究は、点ベース変圧器検出器の汎用階層設計として、2つの新しい注意操作を提案する。 まず、よりきめ細かい特徴学習を可能にするために、シングルスケールの入力機能からマルチスケールトークンを構築するマルチスケール注意(MS-A)を提案する。 第2に,適応型アテンション領域を持つサイズ適応型ローカルアテンション(Local-A)を提案する。
  論文  参考訳（メタデータ） (2023-01-06T18:52:12Z)
• CMR3D: Contextualized Multi-Stage Refinement for 3D Object Detection [57.44434974289945]
  本稿では,3次元オブジェクト検出(CMR3D)フレームワークのためのコンテキスト型マルチステージリファインメントを提案する。 我々のフレームワークは3Dシーンを入力として取り、シーンの有用なコンテキスト情報を明示的に統合しようと試みている。 3Dオブジェクトの検出に加えて,3Dオブジェクトカウント問題に対するフレームワークの有効性について検討する。
  論文  参考訳（メタデータ） (2022-09-13T05:26:09Z)
• Towards Confidence-guided Shape Completion for Robotic Applications [6.940242990198]
  深層学習は、部分的な視覚データから完全な3Dオブジェクト表現を推測する効果的な方法として牽引され始めている。 本稿では,各再構成点に対する信頼度を示す暗黙の3次元表現に基づくオブジェクト形状完備化手法を提案する。 再構成された形状と地上の真実を比較し,ロボットの把握パイプラインに形状完了アルゴリズムを配置することにより,我々のアプローチを実験的に検証する。
  論文  参考訳（メタデータ） (2022-09-09T13:48:24Z)
• MetaGraspNet: A Large-Scale Benchmark Dataset for Scene-Aware Ambidextrous Bin Picking via Physics-based Metaverse Synthesis [72.85526892440251]
  本稿では,物理に基づくメタバース合成により構築した大規模写真リアリスティックビンピックデータセットであるMetaGraspNetを紹介する。 提案データセットは,82種類の記事に対して217kのRGBD画像を含み,オブジェクト検出,アモーダル認識,キーポイント検出,操作順序,および並列ジャウと真空グリップパー用のアンビデクストグリップラベルの完全なアノテーションを備える。 また,2.3k以上の完全アノテートされた高品質なRGBD画像からなる実際のデータセットを5段階の難易度と,異なるオブジェクトおよびレイアウト特性を評価するための見えないオブジェクトセットに分割する。
  論文  参考訳（メタデータ） (2022-08-08T08:15:34Z)
• Neural-Sim: Learning to Generate Training Data with NeRF [31.81496344354997]
  本稿では,ニューラルレージアンスフィールド(NeRF)を対象アプリケーションの損失関数を持つ閉ループに使用した,最初の完全微分可能な合成データパイプラインを提案する。 提案手法は,人的負担を伴わないオンデマンドでデータを生成し,目標タスクの精度を最大化する。
  論文  参考訳（メタデータ） (2022-07-22T22:48:33Z)
• Efficient and Robust Training of Dense Object Nets for Multi-Object Robot Manipulation [8.321536457963655]
  我々はDense Object Nets(DON)の堅牢で効率的なトレーニングのためのフレームワークを提案する。 本研究は,多目的データを用いた学習に重点を置いている。 実世界のロボットによる把握作業において,提案手法の頑健さと精度を実証する。
  論文  参考訳（メタデータ） (2022-06-24T08:24:42Z)
• MetaGraspNet: A Large-Scale Benchmark Dataset for Vision-driven Robotic Grasping via Physics-based Metaverse Synthesis [78.26022688167133]
  本稿では,物理に基づくメタバース合成による視覚駆動型ロボットグルーピングのための大規模ベンチマークデータセットを提案する。 提案するデータセットには,10万の画像と25種類のオブジェクトが含まれている。 また,オブジェクト検出とセグメンテーション性能を評価するためのデータセットとともに,新しいレイアウト重み付け性能指標を提案する。
  論文  参考訳（メタデータ） (2021-12-29T17:23:24Z)
• 3D Annotation Of Arbitrary Objects In The Wild [0.0]
  SLAM, 3D再構成, 3D-to-2D幾何に基づくデータアノテーションパイプラインを提案する。 このパイプラインは、任意のオブジェクトのピクセル単位のアノテーションとともに、3Dおよび2Dバウンディングボックスを作成することができる。 以上の結果から, セマンティックセグメンテーションと2次元バウンディングボックス検出において, 約90%のインターセクション・オーバー・ユニオン(IoU)が一致していることがわかった。
  論文  参考訳（メタデータ） (2021-09-15T09:00:56Z)
• Nothing But Geometric Constraints: A Model-Free Method for Articulated Object Pose Estimation [89.82169646672872]
  本稿では,ロボットアームの関節構成を,モデルに先入観を持たずにRGBまたはRGB-D画像のシーケンスから推定する,教師なし視覚ベースシステムを提案する。 我々は,古典幾何学的定式化と深層学習を組み合わせることで,この課題を解決するために,極性多剛体制約を拡張した。
  論文  参考訳（メタデータ） (2020-11-30T20:46:48Z)
• Single-Shot 3D Detection of Vehicles from Monocular RGB Images via Geometry Constrained Keypoints in Real-Time [6.82446891805815]
  単眼RGB画像における車両検出のための新しい3次元単発物体検出法を提案する。 提案手法は,3次元空間への2次元検出を付加回帰および分類パラメータの予測により引き上げる。 KITTI 3D Object Detection と新しい nuScenes Object Detection ベンチマークを用いて,自律走行のための異なるデータセットに対するアプローチを検証し,その評価を行った。
  論文  参考訳（メタデータ） (2020-06-23T15:10:19Z)
• Weakly Supervised Semantic Segmentation in 3D Graph-Structured Point Clouds of Wild Scenes [36.07733308424772]
  3Dセグメンテーションラベルの欠如は、効率的な点雲セグメンテーションの主な障害の1つである。 本稿では,2D のみを監督する点群における大規模セマンティックシーンセグメンテーションのための,新しいディープグラフ畳み込みネットワークフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-26T23:02:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。