論文の概要: SG-Bot: Object Rearrangement via Coarse-to-Fine Robotic Imagination on Scene Graphs

• arxiv url: http://arxiv.org/abs/2309.12188v2
• Date: Sun, 24 Mar 2024 17:19:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 03:07:37.033082
• Title: SG-Bot: Object Rearrangement via Coarse-to-Fine Robotic Imagination on Scene Graphs
• Title（参考訳）: SG-Bot: シーングラフ上の粗いロボットイマジネーションによるオブジェクト再構成
• Authors: Guangyao Zhai, Xiaoni Cai, Dianye Huang, Yan Di, Fabian Manhardt, Federico Tombari, Nassir Navab, Benjamin Busam,
• Abstract要約: 本稿では,新しいアレンジメントフレームワークであるSG-Botを紹介する。 SG-Botは軽量でリアルタイムでユーザ制御可能な特性を実証する。 実験の結果、SG-Botはライバルよりも大きなマージンで優れていることが示された。
• 参考スコア（独自算出の注目度）: 81.15889805560333
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Object rearrangement is pivotal in robotic-environment interactions, representing a significant capability in embodied AI. In this paper, we present SG-Bot, a novel rearrangement framework that utilizes a coarse-to-fine scheme with a scene graph as the scene representation. Unlike previous methods that rely on either known goal priors or zero-shot large models, SG-Bot exemplifies lightweight, real-time, and user-controllable characteristics, seamlessly blending the consideration of commonsense knowledge with automatic generation capabilities. SG-Bot employs a three-fold procedure--observation, imagination, and execution--to adeptly address the task. Initially, objects are discerned and extracted from a cluttered scene during the observation. These objects are first coarsely organized and depicted within a scene graph, guided by either commonsense or user-defined criteria. Then, this scene graph subsequently informs a generative model, which forms a fine-grained goal scene considering the shape information from the initial scene and object semantics. Finally, for execution, the initial and envisioned goal scenes are matched to formulate robotic action policies. Experimental results demonstrate that SG-Bot outperforms competitors by a large margin.
• Abstract（参考訳）: オブジェクトの再配置は、ロボットと環境の相互作用において重要なものであり、AIを具現化する上で重要な能力を示している。 本稿では,シーングラフをシーン表現として用いた粗粒度スキームを用いた新しい再構成フレームワークであるSG-Botを提案する。 SG-Botは、既知のゴール先またはゼロショットの大型モデルに依存する従来の手法とは異なり、軽量でリアルタイムでユーザ制御可能な特性を実証し、コモンセンス知識と自動生成能力をシームレスに組み合わせている。 SG-Botは3倍のプロシージャ – 観察,想像,実行 – を使って,タスクに順応的に対処する。 当初、物体は観察中に散らかったシーンから識別され、抽出される。 これらのオブジェクトはまず、常識またはユーザ定義の基準によってガイドされ、シーングラフ内で粗く整理され、表現される。 その後、このシーングラフは生成モデルに通知し、初期シーンからの形状情報とオブジェクトの意味性を考慮した微粒なゴールシーンを形成する。 最後に、実行のために、初期および想定されたゴールシーンは、ロボットアクションポリシーを定式化するために一致します。 実験の結果、SG-Botはライバルよりも大きなマージンで優れていることが示された。

関連論文リスト

• SUGAR: Pre-training 3D Visual Representations for Robotics [85.55534363501131]
  ロボット工学のための新しい3D事前学習フレームワークSUGARを紹介した。 SUGARは3次元の点雲を通してオブジェクトの意味的、幾何学的、および余分な特性をキャプチャする。 SuGARの3D表現は最先端の2Dおよび3D表現よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-01T21:23:03Z)
• ICGNet: A Unified Approach for Instance-Centric Grasping [42.92991092305974]
  オブジェクト中心の把握のためのエンドツーエンドアーキテクチャを導入する。 提案手法の有効性を,合成データセット上での最先端手法に対して広範囲に評価することにより示す。
  論文  参考訳（メタデータ） (2024-01-18T12:41:41Z)
• DALL-E-Bot: Introducing Web-Scale Diffusion Models to Robotics [13.87953637017351]
  本稿では,ロボット工学におけるWebスケール拡散モデルに関する最初の研究を紹介する。 DALL-E-Botは、ロボットがシーン内のオブジェクトを並べ替えることを可能にする。 DALL-Eを用いてゼロショットが可能であることを示す。
  論文  参考訳（メタデータ） (2022-10-05T17:58:31Z)
• Sequential Manipulation Planning on Scene Graph [90.28117916077073]
  我々は,効率的な逐次タスク計画のための3次元シーングラフ表現であるコンタクトグラフ+(cg+)を考案する。 ゴール設定は、自然にコンタクトグラフに指定され、最適化法を用いて遺伝的アルゴリズムによって作成することができる。 次に、初期接触グラフと目標設定との間のグラフ編集距離(GED)を計算してタスクプランを簡潔化し、ロボット動作に対応するグラフ編集操作を生成する。
  論文  参考訳（メタデータ） (2022-07-10T02:01:33Z)
• Extracting Zero-shot Common Sense from Large Language Models for Robot 3D Scene Understanding [25.270772036342688]
  本稿では,ラベリングルームのための大規模言語モデルに埋め込まれた共通感覚を活用する新しい手法を提案する。 提案アルゴリズムは,現代の空間認識システムによって生成された3次元シーングラフで動作する。
  論文  参考訳（メタデータ） (2022-06-09T16:05:35Z)
• Can Foundation Models Perform Zero-Shot Task Specification For Robot Manipulation? [54.442692221567796]
  タスク仕様は、熟練していないエンドユーザの関与とパーソナライズされたロボットの採用に不可欠である。 タスク仕様に対する広く研究されているアプローチは、目標を通じて、コンパクトな状態ベクトルまたは同じロボットシーンのゴールイメージを使用することである。 そこで本研究では,人間の指定や使用が容易な目標仕様の代替的,より汎用的な形式について検討する。
  論文  参考訳（メタデータ） (2022-04-23T19:39:49Z)
• Towards 3D Scene Understanding by Referring Synthetic Models [65.74211112607315]
  メソッドは通常、実際のシーンスキャンにおける過剰なアノテーションを緩和する。 合成モデルは、合成特徴の実際のシーンカテゴリを、統一された特徴空間にどのように依存するかを考察する。 実験の結果,ScanNet S3DISデータセットの平均mAPは46.08%,学習データセットは55.49%であった。
  論文  参考訳（メタデータ） (2022-03-20T13:06:15Z)
• Reasoning with Scene Graphs for Robot Planning under Partial Observability [7.121002367542985]
  我々は,ロボットが視覚的文脈情報で推論できるロボット計画のためのシーン解析アルゴリズムを開発した。 シミュレーションで複数の3D環境と実際のロボットが収集したデータセットを用いて実験を行った。
  論文  参考訳（メタデータ） (2022-02-21T18:45:56Z)
• OG-SGG: Ontology-Guided Scene Graph Generation. A Case Study in Transfer Learning for Telepresence Robotics [124.08684545010664]
  画像からのシーングラフ生成は、ロボット工学のようなアプリケーションに非常に関心を持つタスクである。 オントロジー誘導シーングラフ生成(OG-SGG)と呼ばれるフレームワークの初期近似を提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:23:15Z)
• 3D Dynamic Scene Graphs: Actionable Spatial Perception with Places, Objects, and Humans [27.747241700017728]
  動作可能な空間知覚のための統一表現として,3次元ダイナミックシーングラフを提案する。 3D Dynamic Scene Graphsは、計画と意思決定、人間とロボットのインタラクション、長期的な自律性、シーン予測に大きな影響を与える可能性がある。
  論文  参考訳（メタデータ） (2020-02-15T00:46:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。