論文の概要: Learning Object Placements For Relational Instructions by Hallucinating Scene Representations

• arxiv url: http://arxiv.org/abs/2001.08481v2
• Date: Fri, 21 Feb 2020 18:14:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-07 12:37:14.991481
• Title: Learning Object Placements For Relational Instructions by Hallucinating Scene Representations
• Title（参考訳）: シーン表現の幻覚による関係指示のための物体配置の学習
• Authors: Oier Mees, Alp Emek, Johan Vertens, Wolfram Burgard
• Abstract要約: 単一入力画像から空間関係の集合に対する画素単位の物体配置確率を推定するための畳み込みニューラルネットワークを提案する。 本手法では,オブジェクトの画素関係確率や3次元モデルに対して,地上の真理データを必要としない。 実世界のデータと人間ロボット実験を用いて,本手法の有効性を実証した。
• 参考スコア（独自算出の注目度）: 26.897316325189205
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robots coexisting with humans in their environment and performing services for them need the ability to interact with them. One particular requirement for such robots is that they are able to understand spatial relations and can place objects in accordance with the spatial relations expressed by their user. In this work, we present a convolutional neural network for estimating pixelwise object placement probabilities for a set of spatial relations from a single input image. During training, our network receives the learning signal by classifying hallucinated high-level scene representations as an auxiliary task. Unlike previous approaches, our method does not require ground truth data for the pixelwise relational probabilities or 3D models of the objects, which significantly expands the applicability in practical applications. Our results obtained using real-world data and human-robot experiments demonstrate the effectiveness of our method in reasoning about the best way to place objects to reproduce a spatial relation. Videos of our experiments can be found at https://youtu.be/zaZkHTWFMKM
• Abstract（参考訳）: ロボットは環境の中で人間と共存し、それらと対話する能力を必要としている。 このようなロボットの要求の一つとして、空間的関係を理解し、ユーザが表現した空間的関係に応じてオブジェクトを配置できることが挙げられる。 本研究では,1つの入力画像から空間関係の集合に対する画素方向の物体配置確率を推定する畳み込みニューラルネットワークを提案する。 学習中,本ネットワークは,ハイレベルなシーン表現を補助的タスクとして分類することで学習信号を受信する。 従来の手法とは異なり,本手法では,画素関係確率やオブジェクトの3次元モデルに対して,基礎的な真理データを必要としない。 実世界のデータと人間ロボット実験を用いて,オブジェクトを空間的関係を再現する最善の方法を考える上で,本手法の有効性を実証した。 実験のビデオはhttps://youtu.be/zaZkHTFMKMで見ることができる。

関連論文リスト

• RoboSpatial: Teaching Spatial Understanding to 2D and 3D Vision-Language Models for Robotics [26.42651735582044]
  室内とテーブルトップのシーンを3Dスキャンで捉えた大規模な空間理解データセットであるRoboSpatialと,ロボット工学に関連する豊富な空間情報を付加したエゴセントリック画像を紹介する。 実験の結果,RoboSpatialで訓練したモデルは,空間的空き時間予測,空間的関係予測,ロボット操作といった下流タスクのベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2024-11-25T16:21:34Z)
• Visual-Geometric Collaborative Guidance for Affordance Learning [63.038406948791454]
  本稿では,視覚的・幾何学的手がかりを取り入れた視覚・幾何学的協調学習ネットワークを提案する。 本手法は,客観的指標と視覚的品質の代表的なモデルより優れている。
  論文  参考訳（メタデータ） (2024-10-15T07:35:51Z)
• Neural feels with neural fields: Visuo-tactile perception for in-hand manipulation [57.60490773016364]
  マルチフィンガーハンドの視覚と触覚を組み合わせることで,手動操作時の物体の姿勢と形状を推定する。 提案手法であるNeuralFeelsは,ニューラルネットワークをオンラインで学習することでオブジェクトの形状を符号化し,ポーズグラフ問題を最適化して共同で追跡する。 私たちの結果は、タッチが少なくとも、洗練され、そして最も最良のものは、手動操作中に視覚的推定を曖昧にすることを示しています。
  論文  参考訳（メタデータ） (2023-12-20T22:36:37Z)
• Visual Affordance Prediction for Guiding Robot Exploration [56.17795036091848]
  我々は,ロボット探索を導くための視覚能力の学習手法を開発した。 VQ-VAEの潜伏埋め込み空間における条件分布の学習にはTransformerベースのモデルを用いる。 本稿では,ロボット操作における視覚的目標条件付きポリシー学習において,目標サンプリング分布として機能することで探索を導くために,トレーニングされた余裕モデルをどのように利用できるかを示す。
  論文  参考訳（メタデータ） (2023-05-28T17:53:09Z)
• Learning Sim-to-Real Dense Object Descriptors for Robotic Manipulation [4.7246285569677315]
  我々はSim-to-Real Dense Object Nets(SRDONs)という,オブジェクトを適切な表現で理解するだけでなく,シミュレートされた実データをピクセル整合性を持った統一された特徴空間にマップする,高密度オブジェクト記述子を提案する。 本研究では,事前学習したSRDONが実世界の訓練をゼロにした各種ロボット作業において,見えない物体や見えない視覚環境の性能を著しく向上させる実験を行った。
  論文  参考訳（メタデータ） (2023-04-18T02:28:55Z)
• Learning Reward Functions for Robotic Manipulation by Observing Humans [92.30657414416527]
  我々は、ロボット操作ポリシーのタスク非依存報酬関数を学習するために、幅広い操作タスクを解く人間のラベル付きビデオを使用する。 学習された報酬は、タイムコントラストの目的を用いて学習した埋め込み空間におけるゴールまでの距離に基づいている。
  論文  参考訳（メタデータ） (2022-11-16T16:26:48Z)
• Things not Written in Text: Exploring Spatial Commonsense from Visual Signals [77.46233234061758]
  視覚信号を持つモデルがテキストベースモデルよりも空間的コモンセンスを学習するかどうかを検討する。 本稿では,オブジェクトの相対スケールと,異なる動作下での人とオブジェクトの位置関係に着目したベンチマークを提案する。 画像合成モデルは,他のモデルよりも正確で一貫した空間知識を学習できることがわかった。
  論文  参考訳（メタデータ） (2022-03-15T17:02:30Z)
• Synergies Between Affordance and Geometry: 6-DoF Grasp Detection via Implicit Representations [20.155920256334706]
  本研究では,3次元再構築と把持学習が密接な関係にあることを示す。 共有表現のマルチタスク学習を通じて,把握能力と3次元再構築のシナジーを活用することを提案する。 本手法は,成功率の把握において,ベースラインを10%以上上回っている。
  論文  参考訳（メタデータ） (2021-04-04T05:46:37Z)
• Learning Affordance Landscapes for Interaction Exploration in 3D Environments [101.90004767771897]
  エージェントは環境の仕組みを習得できなければならない。 相互作用探索のための強化学習手法を提案する。 AI2-iTHORで私たちのアイデアを実証します。
  論文  参考訳（メタデータ） (2020-08-21T00:29:36Z)
• Trajectory annotation using sequences of spatial perception [0.0]
  近い将来、より多くのマシンが人間の空間の近くでタスクを実行するようになる。 この作業は、この課題に対処するための基盤を構築します。 本稿では,ニューラルオートエンコーディングに基づく教師なし学習手法を提案する。
  論文  参考訳（メタデータ） (2020-04-11T12:22:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。