論文の概要: LLM-enhanced Scene Graph Learning for Household Rearrangement

• arxiv url: http://arxiv.org/abs/2408.12093v2
• Date: Thu, 12 Sep 2024 07:18:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-13 20:59:43.864030
• Title: LLM-enhanced Scene Graph Learning for Household Rearrangement
• Title（参考訳）: 住宅再配置のためのLLM強化シーングラフ学習
• Authors: Wenhao Li, Zhiyuan Yu, Qijin She, Zhinan Yu, Yuqing Lan, Chenyang Zhu, Ruizhen Hu, Kai Xu,
• Abstract要約: 住宅再配置作業は、場所を間違えた物体を現場に配置し、適切な場所に収容することである。 我々は,シーン自体から直接,ユーザ好みのアライメントでオブジェクト機能をマイニングすることを提案する。 提案手法は, 誤り検出と次の再配置計画における最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 28.375701371003107
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The household rearrangement task involves spotting misplaced objects in a scene and accommodate them with proper places. It depends both on common-sense knowledge on the objective side and human user preference on the subjective side. In achieving such task, we propose to mine object functionality with user preference alignment directly from the scene itself, without relying on human intervention. To do so, we work with scene graph representation and propose LLM-enhanced scene graph learning which transforms the input scene graph into an affordance-enhanced graph (AEG) with information-enhanced nodes and newly discovered edges (relations). In AEG, the nodes corresponding to the receptacle objects are augmented with context-induced affordance which encodes what kind of carriable objects can be placed on it. New edges are discovered with newly discovered non-local relations. With AEG, we perform task planning for scene rearrangement by detecting misplaced carriables and determining a proper placement for each of them. We test our method by implementing a tiding robot in simulator and perform evaluation on a new benchmark we build. Extensive evaluations demonstrate that our method achieves state-of-the-art performance on misplacement detection and the following rearrangement planning.
• Abstract（参考訳）: 住宅再配置作業は、場所を間違えた物体を現場に配置し、適切な場所に収容することである。 客観的側面の常識知識と主観的側面の人間の嗜好の両方に依存する。 このような課題を達成するために,人間の介入に頼ることなく,シーンから直接,ユーザの好みのアライメントでオブジェクト機能をマイニングすることを提案する。 そこで我々は,シーングラフ表現を用いて,入力シーングラフを情報強化ノードと新たに発見されたエッジ(関係)を備えたアベイランス強化グラフ(AEG)に変換するLLM強化シーングラフ学習を提案する。 AEGでは、レセプタクルオブジェクトに対応するノードは、その上にどのようなキャリヤブルオブジェクトを配置できるかをエンコードするコンテキスト依存のアベイランスで拡張される。 新しい縁は、新たに発見された非局所的な関係によって発見される。 AEGでは,不適切なキャリブルを検出し,それぞれに適切な配置を決定することで,シーン再構成のためのタスクプランニングを行う。 提案手法は,シミュレータに階層型ロボットを実装してテストし,新しいベンチマークで評価を行う。 大規模評価の結果,提案手法は誤り検出および次回の再配置計画における最先端性能を実現する。

関連論文リスト

• Open-Vocabulary Octree-Graph for 3D Scene Understanding [54.11828083068082]
  Octree-Graphはオープンな3Dシーン理解のための新しいシーン表現である。 セマンティクスを記憶し、その形状に応じてオブジェクトの占有度を調節するアダプティブ・オクツリー構造を開発する。
  論文  参考訳（メタデータ） (2024-11-25T10:14:10Z)
• ICGNet: A Unified Approach for Instance-Centric Grasping [42.92991092305974]
  オブジェクト中心の把握のためのエンドツーエンドアーキテクチャを導入する。 提案手法の有効性を,合成データセット上での最先端手法に対して広範囲に評価することにより示す。
  論文  参考訳（メタデータ） (2024-01-18T12:41:41Z)
• Open-Vocabulary Object Detection via Scene Graph Discovery [53.27673119360868]
  オープンボキャブラリ(OV)オブジェクト検出は研究の注目を集めている。 OV検出にシーングラフキューを利用するSGDN(Scene-Graph-Based Discovery Network)を提案する。
  論文  参考訳（メタデータ） (2023-07-07T00:46:19Z)
• Task-Driven Graph Attention for Hierarchical Relational Object Navigation [25.571175038938527]
  大きなシーンにいる身体を持つAIエージェントは、オブジェクトを見つけるためにナビゲートする必要があることが多い。 対象ナビゲーションタスクHRON(hierarchical object navigation)の自然に現れる変種について検討する。 本稿では、シーングラフを入力の一部として使用し、グラフニューラルネットワークをバックボーンとして統合するソリューションを提案する。
  論文  参考訳（メタデータ） (2023-06-23T19:50:48Z)
• Modeling Dynamic Environments with Scene Graph Memory [46.587536843634055]
  本稿では,部分的に観測可能な動的グラフ上でのリンク予測という,新しいタイプのリンク予測問題を提案する。 私たちのグラフは、部屋とオブジェクトがノードであり、それらの関係がエッジにエンコードされるシーンの表現です。 エージェントの蓄積した観測結果をキャプチャする新しい状態表現 -- SGM (Scene Graph Memory) を提案する。 家庭で一般的に見られるセマンティックなパターンに従って,多様な動的グラフを生成する新しいベンチマークであるDynamic House Simulatorで,本手法の評価を行った。
  論文  参考訳（メタデータ） (2023-05-27T17:39:38Z)
• Location-Free Scene Graph Generation [45.366540803729386]
  シーングラフ生成(SGG)は視覚的理解タスクであり、シーンをエンティティのグラフとして記述し、互いに関連付けることを目的としている。 既存の作業は、バウンディングボックスやセグメンテーションマスクといった形で位置ラベルに依存しており、アノテーションのコストが増加し、データセットの拡張が制限されている。 我々は、この依存関係を破り、位置のないシーングラフ生成(LF-SGG)を導入する。 本課題は, 空間的局所化を明示的に計算することなく, 実体のインスタンスと関係性を予測することを目的とする。
  論文  参考訳（メタデータ） (2023-03-20T08:57:45Z)
• Exploiting Scene Graphs for Human-Object Interaction Detection [81.49184987430333]
  ヒューマン・オブジェクト・インタラクション(Human-Object Interaction,HOI)検出は、人間とオブジェクト間のインタラクションのローカライズと認識を目的とした、基本的な視覚的タスクである。 そこで本研究では,シーングラフを用いたヒューマン・オブジェクト・インタラクション(SG2HOI)検出タスクのための新しい手法を提案する。 SG2HOIはSG情報を2つの方法で組み込む:(1)シーングラフを世界的文脈の手がかりに埋め込み、シーン固有の環境コンテキストとして機能し、(2)オブジェクトの近傍から関係を収集し、それらを対話に転送するリレーショナル・アウェア・メッセージ・パッシング・モジュールを構築する。
  論文  参考訳（メタデータ） (2021-08-19T09:40:50Z)
• Vision-Language Navigation with Random Environmental Mixup [112.94609558723518]
  視覚言語ナビゲーション(VLN)タスクは、視覚的な観察を認識し、自然言語の命令を解釈しながら、エージェントがステップバイステップでナビゲートする必要がある。 従来の研究では、データのバイアスを減らすために様々なデータ拡張手法が提案されている。 本研究では,混成環境を介し,相互接続された住宅シーンを付加データとして生成するランダム環境混成(REM)手法を提案する。
  論文  参考訳（メタデータ） (2021-06-15T04:34:26Z)
• PEARL: Parallelized Expert-Assisted Reinforcement Learning for Scene Rearrangement Planning [28.9887381071402]
  SRP(Scene Rearrangement Planning)のための細かいアクション定義を提案し、大規模なシーン再配置データセットを導入する。 また,事前知識を必要とせず,自己演奏を通してエージェントを効果的に訓練するための新しい学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2021-05-10T03:27:16Z)
• SOON: Scenario Oriented Object Navigation with Graph-based Exploration [102.74649829684617]
  人間のように3Dエンボディ環境のどこからでも言語ガイドされたターゲットに向かって移動する能力は、インテリジェントロボットの「聖杯」目標の1つです。 ほとんどのビジュアルナビゲーションベンチマークは、ステップバイステップの詳細な命令セットに導かれ、固定された出発点から目標に向かって移動することに焦点を当てている。 このアプローチは、人間だけが物体とその周囲がどのように見えるかを説明する現実世界の問題から逸脱し、ロボットにどこからでも航行を依頼する。
  論文  参考訳（メタデータ） (2021-03-31T15:01:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。