論文の概要: "Set It Up!": Functional Object Arrangement with Compositional Generative Models

• arxiv url: http://arxiv.org/abs/2405.11928v1
• Date: Mon, 20 May 2024 10:06:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-21 13:24:44.755852
• Title: "Set It Up!": Functional Object Arrangement with Compositional Generative Models
• Title（参考訳）: 『Set It Up!』:構成生成モデルによる機能的オブジェクトアレンジメント
• Authors: Yiqing Xu, Jiayuan Mao, Yilun Du, Tomas Lozáno-Pérez, Leslie Pack Kaebling, David Hsu,
• Abstract要約: 未特定命令の解釈を学習するためのフレームワークであるSetItUpを導入する。 研究デスク,ダイニングテーブル,コーヒーテーブルからなるデータセット上で,我々のフレームワークを検証する。
• 参考スコア（独自算出の注目度）: 48.205899984212074
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper studies the challenge of developing robots capable of understanding under-specified instructions for creating functional object arrangements, such as "set up a dining table for two"; previous arrangement approaches have focused on much more explicit instructions, such as "put object A on the table." We introduce a framework, SetItUp, for learning to interpret under-specified instructions. SetItUp takes a small number of training examples and a human-crafted program sketch to uncover arrangement rules for specific scene types. By leveraging an intermediate graph-like representation of abstract spatial relationships among objects, SetItUp decomposes the arrangement problem into two subproblems: i) learning the arrangement patterns from limited data and ii) grounding these abstract relationships into object poses. SetItUp leverages large language models (LLMs) to propose the abstract spatial relationships among objects in novel scenes as the constraints to be satisfied; then, it composes a library of diffusion models associated with these abstract relationships to find object poses that satisfy the constraints. We validate our framework on a dataset comprising study desks, dining tables, and coffee tables, with the results showing superior performance in generating physically plausible, functional, and aesthetically pleasing object arrangements compared to existing models.
• Abstract（参考訳）: 本稿では,「2つのダイニングテーブルをセットアップする」など,機能的オブジェクトアレンジメントを作成するための不特定な指示を理解可能なロボットを開発する上での課題について考察する。 未特定命令の解釈を学習するためのフレームワークであるSetItUpを導入する。 SetItUpは少数のトレーニング例と人為的なプログラムスケッチを使って、特定のシーンタイプのアレンジルールを明らかにする。 オブジェクト間の抽象空間関係の中間グラフのような表現を活用することで、SetItUpは配置問題を2つのサブプロブレムに分解する。 一 限られたデータから配置パターンを学習し、 二 これらの抽象的な関係をオブジェクトのポーズに基礎付けること。 SetItUpは、大きな言語モデル(LLM)を活用して、制約を満たす制約として、新しいシーンにおけるオブジェクト間の抽象的な空間的関係を提案し、制約を満たすオブジェクトのポーズを見つけるために、これらの抽象的関係に関連する拡散モデルのライブラリを構成する。 研究用デスク,ダイニングテーブル,コーヒーテーブルからなるデータセット上で,本フレームワークの有効性を検証し,既存のモデルと比較して,物理的に可塑性,機能的,審美的に満足な物体配置を生成する上で,優れた性能を示した。

関連論文リスト

• Constrained Layout Generation with Factor Graphs [21.07236104467961]
  本稿では,各室に4つの潜伏変数ノード,各制約に1つの因子ノードを持つ因子グラフに基づくアプローチを提案する。 ファクタノードは、それらが接続されている変数間の依存関係を表し、より高い順序の可能性のある制約を効果的にキャプチャする。 我々のアプローチはシンプルで、ユーザ要求に忠実なレイアウトを生成し、既存のメソッドよりもIOUスコアが大幅に改善されていることを実証しています。
  論文  参考訳（メタデータ） (2024-03-30T14:58:40Z)
• Learning Hierarchical Relational Representations through Relational Convolutions [2.99146123420045]
  我々は「関係畳み込みネットワーク」と呼ぶアーキテクチャフレームワークを提案する。 グラフレットフィルタが入力のパッチにマッチする関係畳み込み演算を形式化する。 また、下流タスクに関連するオブジェクトのグルーピングを明示的に学習するためのメカニズムも提案する。
  論文  参考訳（メタデータ） (2023-10-05T01:22:50Z)
• Multi-Object Graph Affordance Network: Goal-Oriented Planning through Learned Compound Object Affordances [1.9336815376402723]
  Multi-Object Graph Affordance Networkは、オブジェクトと化合物の相互作用を促進するロボットアクションの結果を学ぶことによって、複雑な複合オブジェクトの余裕をモデル化する。 シミュレーションと実環境の両方において,コンケーブ・コンベックス・オブジェクトを含む複合オブジェクトの可利用性をモデル化した。
  論文  参考訳（メタデータ） (2023-09-19T08:40:46Z)
• Neural Constraint Satisfaction: Hierarchical Abstraction for Combinatorial Generalization in Object Rearrangement [75.9289887536165]
  基礎となるエンティティを明らかにするための階層的抽象化手法を提案する。 本研究では,エージェントのモデルにおける実体の状態の介入と,環境中の物体に作用する状態の対応関係を学習する方法を示す。 この対応を利用して、オブジェクトの異なる数や構成に一般化する制御法を開発する。
  論文  参考訳（メタデータ） (2023-03-20T18:19:36Z)
• ReSel: N-ary Relation Extraction from Scientific Text and Tables by Learning to Retrieve and Select [53.071352033539526]
  学術論文からN-ary関係を抽出する問題について考察する。 提案手法であるReSelは,このタスクを2段階のプロシージャに分解する。 3つの科学的情報抽出データセットに対する実験により、ReSelは最先端のベースラインを大きく上回っていることがわかった。
  論文  参考訳（メタデータ） (2022-10-26T02:28:02Z)
• Learning to Compose Visual Relations [100.45138490076866]
  我々は,各関係を非正規化密度(エネルギーベースモデル)として表現することを提案する。 このような分解を分解することで、複数の関係を持つシーンをより忠実に生成・編集できることを示す。
  論文  参考訳（メタデータ） (2021-11-17T18:51:29Z)
• Learning Models as Functionals of Signed-Distance Fields for Manipulation Planning [51.74463056899926]
  本研究では,シーン内のオブジェクトを表す符号付き距離場の目的を学習する,最適化に基づく操作計画フレームワークを提案する。 オブジェクトを符号付き距離場として表現することは、ポイントクラウドや占有率の表現よりも高い精度で、様々なモデルの学習と表現を可能にする。
  論文  参考訳（メタデータ） (2021-10-02T12:36:58Z)
• Predicting Stable Configurations for Semantic Placement of Novel Objects [37.18437299513799]
  我々のゴールは、新しい環境における学習された意味的関係に従って、ロボットが未確認の物体を配置できるようにすることである。 我々は、未知のオブジェクトのセマンティック配置のための計画アルゴリズムと密に統合するために、モデルとトレーニングをゼロから構築する。 提案手法は,RGB-Dセンシングのみによる形状の異なるシーンにおける未知物体のセマンティック・アレンジメントのための動作計画を可能にする。
  論文  参考訳（メタデータ） (2021-08-26T23:05:05Z)
• Efficient State Abstraction using Object-centered Predicates for Manipulation Planning [86.24148040040885]
  本稿では,より広い構成空間の変化を特徴付けるオブジェクト中心表現を提案する。 この表現に基づいて、幾何学的および力的整合性を持つ計画の生成を可能にする行動の選択と配置のための普遍的な計画演算子を定義する。
  論文  参考訳（メタデータ） (2020-07-16T10:52:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。