論文の概要: Break and Make: Interactive Structural Understanding Using LEGO Bricks

• arxiv url: http://arxiv.org/abs/2207.13738v1
• Date: Wed, 27 Jul 2022 18:33:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-29 11:57:37.921346
• Title: Break and Make: Interactive Structural Understanding Using LEGO Bricks
• Title（参考訳）: Break and Make: LEGO Bricksを使ったインタラクティブな構造理解
• Authors: Aaron Walsman, Muru Zhang, Klemen Kotar, Karthik Desingh, Ali Farhadi, Dieter Fox
• Abstract要約: 私たちは、LEGOモデルの組み立て、分解、操作が可能な、完全にインタラクティブな3Dシミュレータを構築しました。 シーケンス・ツー・シーケンス・モデルを用いてこの問題を解決するための第一歩を踏み出す。
• 参考スコア（独自算出の注目度）: 61.01136603613139
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual understanding of geometric structures with complex spatial relationships is a fundamental component of human intelligence. As children, we learn how to reason about structure not only from observation, but also by interacting with the world around us -- by taking things apart and putting them back together again. The ability to reason about structure and compositionality allows us to not only build things, but also understand and reverse-engineer complex systems. In order to advance research in interactive reasoning for part-based geometric understanding, we propose a challenging new assembly problem using LEGO bricks that we call Break and Make. In this problem an agent is given a LEGO model and attempts to understand its structure by interactively inspecting and disassembling it. After this inspection period, the agent must then prove its understanding by rebuilding the model from scratch using low-level action primitives. In order to facilitate research on this problem we have built LTRON, a fully interactive 3D simulator that allows learning agents to assemble, disassemble and manipulate LEGO models. We pair this simulator with a new dataset of fan-made LEGO creations that have been uploaded to the internet in order to provide complex scenes containing over a thousand unique brick shapes. We take a first step towards solving this problem using sequence-to-sequence models that provide guidance for how to make progress on this challenging problem. Our simulator and data are available at github.com/aaronwalsman/ltron. Additional training code and PyTorch examples are available at github.com/aaronwalsman/ltron-torch-eccv22.
• Abstract（参考訳）: 複雑な空間関係を持つ幾何学構造の視覚的理解は、人間の知性の基本的構成要素である。 子ども時代は、観察だけでなく、周りの世界と対話することで、構造を理屈する方法を学んでいる。 構造と構成性について推論する能力は、ものを構築するだけでなく、複雑なシステムを理解しリバースエンジニアリングすることもできます。 部分的幾何学的理解のための対話的推論の研究を進めるために,私たちがBreak and Makeと呼ぶレゴブロックを用いた新しい組立問題を提案する。 この問題において、エージェントはLEGOモデルを与え、対話的な検査と分解によってその構造を理解しようとする。 この検査期間の後、エージェントは低レベルのアクションプリミティブを使用してモデルをスクラッチから再構築し、その理解を証明する必要がある。 この問題を解決するために私たちは,LEGOモデルの組み立て,分解,操作が可能な,完全にインタラクティブな3DシミュレータLTRONを開発した。 このシミュレーターと、ファンが作ったレゴ作品の新しいデータセットを組み合わせることで、1000以上のユニークなレンガの形をした複雑なシーンをインターネットにアップロードします。 課題の解決に向けて第一歩を踏み出し,課題の解決方法に関するガイダンスを提供するシーケンシャル・ツー・シーケンス・モデルを用いた。 シミュレータとデータはgithub.com/aaronwalsman/ltronで利用可能です。 追加のトレーニングコードとpytorchサンプルはgithub.com/aaronwalsman/ltron-torch-eccv22で入手できる。

関連論文リスト

• Learning to Build by Building Your Own Instructions [56.734927320020496]
  LTRONにおける最近提案されたBreak-and-Make問題に対する新しい手法を開発した。 エージェントは、単一の対話的なセッションを使用して、これまで見えなかったLEGOアセンブリを構築することを学ばなければなりません。 オンラインの模倣学習を使ってこれらのモデルをトレーニングし、モデルが自身のミスから学習できるようにする。
  論文  参考訳（メタデータ） (2024-10-01T22:39:58Z)
• TreeSBA: Tree-Transformer for Self-Supervised Sequential Brick Assembly [51.29305265324916]
  入力された多視点画像から連続的な組立動作を予測するために,クラスに依存しないツリー・トランスフォーマフレームワークを提案する。 逐次レンガ組立作業の大きな課題は、ステップワイドアクションラベルが実際に入手するのに費用がかかり、面倒であることである。 我々は、合成から現実への移行学習を活用することにより、この問題を緩和する。
  論文  参考訳（メタデータ） (2024-07-22T14:05:27Z)
• Model LEGO: Creating Models Like Disassembling and Assembling Building Blocks [53.09649785009528]
  本稿では,新しいモデルを得るためのトレーニングを必要としないパラダイムについて検討する。 生体視覚系における受容野にインスパイアされたCNNの誕生と同様、モデル分解と組み立てを提案する。 モデル組立には、特定のタスクに適した新しいモデルを構築するために、アライメントパディング戦略とパラメータスケーリング戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:27:28Z)
• Brick-by-Brick: Combinatorial Construction with Deep Reinforcement Learning [52.85981207514049]
  我々は,ユニットプリミティブを逐次組み立てるビルディングエージェントを必要とする,新しい定式化,複雑な構成を導入する。 対象物を構築するために,エージェントに対して正確な情報や明示的な情報ではなく,所望の目標(すなわち2次元画像)に関する不完全な知識を提供する。 提案手法は,対象オブジェクトの1つの画像や複数ビューに条件付けされた未確認オブジェクトの構築に成功していることを示す。
  論文  参考訳（メタデータ） (2021-10-29T01:09:51Z)
• Image2Lego: Customized LEGO Set Generation from Images [50.87935634904456]
  2次元画像からLEGOブロックモデルを生成するシステムを実装した。 モデルは3Dボキセル化モデルのブロックへのアルゴリズム変換によって得られる。 我々は、オブジェクトと人間の顔のLEGOモデルのためのステップバイステップのビルド手順とアニメーションを生成します。
  論文  参考訳（メタデータ） (2021-08-19T03:42:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。