論文の概要: StructFormer: Learning Spatial Structure for Language-Guided Semantic Rearrangement of Novel Objects

• arxiv url: http://arxiv.org/abs/2110.10189v1
• Date: Tue, 19 Oct 2021 18:13:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-22 13:36:13.441395
• Title: StructFormer: Learning Spatial Structure for Language-Guided Semantic Rearrangement of Novel Objects
• Title（参考訳）: StructFormer:新しい物体の言語誘導セマンティック再構成のための空間構造学習
• Authors: Weiyu Liu, Chris Paxton, Tucker Hermans, Dieter Fox
• Abstract要約: 補助ロボットは、オブジェクトを意味のある構造に認識し、再配置する能力から大きな恩恵を受けるだろう。 本稿では,新しいトランスフォーマーベースニューラルネットワークであるStructFormerを提案する。 我々は、StructFormerによって、物理的なロボットが新しい物体を意味のある構造に再構成することができるという厳密な実験を通して示す。
• 参考スコア（独自算出の注目度）: 44.4579949153234
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Geometric organization of objects into semantically meaningful arrangements pervades the built world. As such, assistive robots operating in warehouses, offices, and homes would greatly benefit from the ability to recognize and rearrange objects into these semantically meaningful structures. To be useful, these robots must contend with previously unseen objects and receive instructions without significant programming. While previous works have examined recognizing pairwise semantic relations and sequential manipulation to change these simple relations none have shown the ability to arrange objects into complex structures such as circles or table settings. To address this problem we propose a novel transformer-based neural network, StructFormer, which takes as input a partial-view point cloud of the current object arrangement and a structured language command encoding the desired object configuration. We show through rigorous experiments that StructFormer enables a physical robot to rearrange novel objects into semantically meaningful structures with multi-object relational constraints inferred from the language command.
• Abstract（参考訳）: 意味的に意味のあるアレンジメントへのオブジェクトの幾何学的組織化は、構築された世界に広がります。 そのため、倉庫、オフィス、家庭で動く補助ロボットは、これらの意味論的意味のある構造にオブジェクトを認識し、再配置する能力から大きな恩恵を受けるだろう。 有用にするためには、これらのロボットは未確認のオブジェクトと競合し、重要なプログラミングなしに命令を受け取る必要がある。 以前の研究では、ペアワイズな意味関係の認識とシーケンシャルな操作による単純な関係の変更を検討したが、オブジェクトを円やテーブルの設定のような複雑な構造に配置する能力は示されていない。 この問題に対処するため,新しいトランスフォーマーベースニューラルネットワークであるStructFormerを提案し,現在のオブジェクト配置の部分ビューポイントクラウドと,所望のオブジェクト構成を符号化する構造化言語コマンドを入力とする。 我々は、structformerが、言語コマンドから推測される多目的関係制約により、新しいオブジェクトを意味的に意味のある構造に再構成できることを厳密な実験を通して示す。

関連論文リスト

• Knolling Bot: Learning Robotic Object Arrangement from Tidy Demonstrations [11.873522421121173]
  本稿では,ロボットがタイディネスの概念を理解し,再現できる自己指導型学習フレームワークを提案する。 我々は、トランスフォーマーニューラルネットワークを利用して、その後のオブジェクトの配置を予測する。 提案手法は, 汎用的なタイディネスの概念を訓練するだけでなく, カスタマイズされたタイディテーブルを生成するために, 人間の好みを取り入れることもできる。
  論文  参考訳（メタデータ） (2023-10-06T20:13:07Z)
• Structural Concept Learning via Graph Attention for Multi-Level Rearrangement Planning [2.7195102129095003]
  本稿では,階層構造を持つシーンに対して,複数レベルのオブジェクトアレンジメント計画を実行するためのディープラーニング手法を提案する。 直感的な構造を持つ自己生成シミュレーションデータセットでトレーニングされ、任意の数のオブジェクトで見えないシーンで動作する。 提案手法を古典的およびモデルベースラインの範囲と比較し,そのシーン理解を活用して性能,柔軟性,効率性を向上することを示す。
  論文  参考訳（メタデータ） (2023-09-05T19:35:44Z)
• Grokking of Hierarchical Structure in Vanilla Transformers [72.45375959893218]
  トランスフォーマー言語モデルでは,極端に長い訓練期間を経て階層的に一般化できることが示される。 中間深度モデルは、非常に深い変圧器と非常に浅い変圧器の両方よりも良く一般化される。
  論文  参考訳（メタデータ） (2023-05-30T04:34:13Z)
• Neural Constraint Satisfaction: Hierarchical Abstraction for Combinatorial Generalization in Object Rearrangement [75.9289887536165]
  基礎となるエンティティを明らかにするための階層的抽象化手法を提案する。 本研究では,エージェントのモデルにおける実体の状態の介入と,環境中の物体に作用する状態の対応関係を学習する方法を示す。 この対応を利用して、オブジェクトの異なる数や構成に一般化する制御法を開発する。
  論文  参考訳（メタデータ） (2023-03-20T18:19:36Z)
• StructDiffusion: Language-Guided Creation of Physically-Valid Structures using Unseen Objects [35.855172217856726]
  そこで我々はStructDiffusionを提案し,ステップバイステップ命令を使わずに物理的に有意な構造を構築する。 提案手法は,複数の言語条件の多段階3D計画タスクを実行できる。 シミュレーションと実世界のタスクの両方において、保持対象について実験を行う。
  論文  参考訳（メタデータ） (2022-11-08T23:04:49Z)
• Forming Trees with Treeformers [3.8073142980733]
  トランスフォーマーのような最先端のニューラルネットワークモデルの多くは、そのアーキテクチャに明確な階層構造を持たない。 CKYアルゴリズムにインスパイアされた汎用エンコーダモジュールであるTreeformerを紹介する。 実験では, 階層構造をトランスフォーマーに組み込むことの利点を実証した。
  論文  参考訳（メタデータ） (2022-07-14T14:39:30Z)
• Identifying concept libraries from language about object structure [56.83719358616503]
  自然言語記述を2Kプロシージャ生成オブジェクトの多種多様なセットに利用して,ユーザが使用する部分を特定する。 我々は、異なる部分概念を含むプログラムライブラリの空間の探索として、この問題を形式化する。 自然言語と構造化されたプログラム表現を組み合わせることで、人々が名前をつける部分概念を規定する基本的な情報理論的なトレードオフを発見する。
  論文  参考訳（メタデータ） (2022-05-11T17:49:25Z)
• Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
  我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。 この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。 我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
  論文  参考訳（メタデータ） (2020-10-11T15:13:18Z)
• Look-into-Object: Self-supervised Structure Modeling for Object Recognition [71.68524003173219]
  我々は,自己スーパービジョンを取り入れた「対象」(具体的かつ内在的に対象構造をモデル化する)を提案する。 認識バックボーンは、より堅牢な表現学習のために大幅に拡張可能であることを示す。 提案手法は汎用オブジェクト認識(ImageNet)や細粒度オブジェクト認識タスク(CUB, Cars, Aircraft)など,多数のベンチマークにおいて大きなパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-03-31T12:22:51Z)
• Deep compositional robotic planners that follow natural language commands [21.481360281719006]
  サンプルベースのロボットプランナが、自然言語コマンドのシーケンスを理解するためにどのように拡張できるかを示す。 我々のアプローチは、オブジェクト、動詞、空間関係、属性を含む複雑なコマンドのパースに基づいて構築されたディープネットワークを組み合わせる。
  論文  参考訳（メタデータ） (2020-02-12T19:56:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。