論文の概要: Housekeep: Tidying Virtual Households using Commonsense Reasoning

• arxiv url: http://arxiv.org/abs/2205.10712v1
• Date: Sun, 22 May 2022 02:37:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-30 06:31:40.653520
• Title: Housekeep: Tidying Virtual Households using Commonsense Reasoning
• Title（参考訳）: housekeep:コモンセンス推論による仮想世帯の整理
• Authors: Yash Kant, Arun Ramachandran, Sriram Yenamandra, Igor Gilitschenski, Dhruv Batra, Andrew Szot, Harsh Agrawal
• Abstract要約: 本稿では,インボデードAIの家庭における常識推論を評価するためのベンチマークであるHousekeepを紹介する。 Housekeepでは、具体化されたエージェントは、どのオブジェクトを再配置する必要があるかを明示する明示的な指示なしで、誤って配置されたオブジェクトを配置することで、家を階層化しなければならない。 人間は通常、1799のオブジェクト、オブジェクトカテゴリ、585の配置268、そして105の部屋で構成されている。
• 参考スコア（独自算出の注目度）: 25.58414743720541
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Housekeep, a benchmark to evaluate commonsense reasoning in the home for embodied AI. In Housekeep, an embodied agent must tidy a house by rearranging misplaced objects without explicit instructions specifying which objects need to be rearranged. Instead, the agent must learn from and is evaluated against human preferences of which objects belong where in a tidy house. Specifically, we collect a dataset of where humans typically place objects in tidy and untidy houses constituting 1799 objects, 268 object categories, 585 placements, and 105 rooms. Next, we propose a modular baseline approach for Housekeep that integrates planning, exploration, and navigation. It leverages a fine-tuned large language model (LLM) trained on an internet text corpus for effective planning. We show that our baseline agent generalizes to rearranging unseen objects in unknown environments. See our webpage for more details: https://yashkant.github.io/housekeep/
• Abstract（参考訳）: 本稿では,インボデードAIの家庭における常識推論を評価するためのベンチマークであるHousekeepを紹介する。 ハウスキープでは、具体化エージェントは、どのオブジェクトを再配置する必要があるかを明示的な指示なしで、配置のずれたオブジェクトを並べ替えることで、家を整列しなければならない。 その代わりに、エージェントは、汚れた家にある対象の人間の好みから学び、評価されなければならない。 具体的には、1799のオブジェクト、268のオブジェクトカテゴリ、585の配置、105の部屋からなる、整然とした家々にオブジェクトを配置するデータセットを収集します。 次に,計画,探索,ナビゲーションを統合したHousekeepのモジュールベースラインアプローチを提案する。 効果的な計画のために、インターネットテキストコーパスで訓練された微調整された大型言語モデル(LLM)を利用する。 ベースラインエージェントは未知の環境下で見えない物体を並べ替えることに一般化することを示す。 詳細はwebページhttps://yashkant.github.io/housekeep/を参照。

関連論文リスト

• Intent3D: 3D Object Detection in RGB-D Scans Based on Human Intention [86.39271731460927]
  RGB-Dを用いた3次元物体検出における新たな課題として,「背中を支えたいもの」などの人間の意図に基づく3次元対象物検出がある。 ScanNetデータセットの1,042のシーンから209のきめ細かいクラスに関連付けられた44,990の意図的テキストからなる新しいIntent3Dデータセットを紹介した。 我々はまた、この意図に基づく検出問題に対処するために設計された、我々のユニークなアプローチであるIntentNetを提案する。
  論文  参考訳（メタデータ） (2024-05-28T15:48:39Z)
• Localizing Active Objects from Egocentric Vision with Symbolic World Knowledge [62.981429762309226]
  タスクの指示をエゴセントリックな視点から積極的に下す能力は、AIエージェントがタスクを達成したり、人間をバーチャルに支援する上で不可欠である。 本稿では,現在進行中のオブジェクトの役割を学習し,指示から正確に抽出することで,アクティブなオブジェクトをローカライズするフレーズグラウンドモデルの性能を向上させることを提案する。 Ego4DおよびEpic-Kitchensデータセットに関するフレームワークの評価を行った。
  論文  参考訳（メタデータ） (2023-10-23T16:14:05Z)
• Self-Supervised Object Goal Navigation with In-Situ Finetuning [110.6053241629366]
  この研究は、探検を通じて世界の自己監督モデルを構築するエージェントを構築する。 ObjectNavエージェントのすべてのコンポーネントをトレーニングできる強力なセルフスーパービジョンのソースを特定します。 我々は,エージェントが実世界で競争力を発揮し,シミュレーションを行うことを示す。
  論文  参考訳（メタデータ） (2022-12-09T03:41:40Z)
• Structured Exploration Through Instruction Enhancement for Object Navigation [0.0]
  本稿では,オブジェクトナビゲーションのための階層型学習手法を提案する。 トップレベルはハイレベルなプランニングが可能で、フロアプランレベルでメモリを構築することができる。 本研究では,本手法が動的家庭環境に与える影響を実証する。
  論文  参考訳（メタデータ） (2022-11-15T19:39:22Z)
• TIDEE: Tidying Up Novel Rooms using Visuo-Semantic Commonsense Priors [29.255373211228548]
  TIDEEは、学習されたコモンセンスオブジェクト配置と部屋配置に基づいて、混乱したシーンをタイディーアップする。 TIDEEは、ホーム環境を探索し、自然の場所から外れたオブジェクトを検出し、それらに対して妥当なオブジェクトコンテキストを推測し、現在のシーンでそのようなコンテキストをローカライズし、オブジェクトを再配置する。 我々は,AI2THORシミュレーション環境における非編成シーンのタイピングについてTIDEEを検証した。
  論文  参考訳（メタデータ） (2022-07-21T21:19:18Z)
• Object Manipulation via Visual Target Localization [64.05939029132394]
  オブジェクトを操作するための訓練エージェントは、多くの課題を提起します。 本研究では,対象物体を探索する環境を探索し,位置が特定されると3次元座標を計算し,対象物が見えない場合でも3次元位置を推定する手法を提案する。 評価の結果,同じ感覚スイートにアクセス可能なモデルに比べて,成功率が3倍に向上したことが示された。
  論文  参考訳（メタデータ） (2022-03-15T17:59:01Z)
• BORM: Bayesian Object Relation Model for Indoor Scene Recognition [3.3274747298291216]
  室内のシーン表現に意味のあるオブジェクト表現を活用することを提案する。 まず,改良されたオブジェクトモデル(IOM)をベースラインとして,屋内シーンに関連するリッチなオブジェクトカテゴリを持つADE20Kデータセット上で事前学習したシーン解析アルゴリズムを導入することにより,オブジェクトの知識を充実させる。 オブジェクトの共起とペアのオブジェクト関係を解析するために、ベイズ的オブジェクト関係モデル(BORM)としてベイズ的視点からIOMを定式化する。
  論文  参考訳（メタデータ） (2021-08-01T08:31:18Z)
• Learning Embeddings that Capture Spatial Semantics for Indoor Navigation [2.2940141855172027]
  本研究では,空間的セマンティックな先行情報をキャプチャするオブジェクトの埋め込みによって,構造化された環境における探索やナビゲーションのタスクをガイドする方法について検討する。 本研究では,事前学習された言語モデルと多言語知識ベースをオブジェクト埋め込みとして活用することにより,そのような空間意味認識をロボットに組み込む手法を提案する。
  論文  参考訳（メタデータ） (2021-07-31T06:12:40Z)
• Semantic and Geometric Modeling with Neural Message Passing in 3D Scene Graphs for Hierarchical Mechanical Search [48.655167907740136]
  この問題の階層的,意味的,幾何学的側面を捉えるために,3次元シーングラフ表現を用いる。 自然言語記述で指定された対象物を見つけるためのエージェントの動作を誘導する手法である階層機械探索(HMS)を紹介する。 HMSは、セマンティック関連オブジェクトを格納場所に密配置した500の3Dシーングラフのデータセットで評価されている。
  論文  参考訳（メタデータ） (2020-12-07T21:04:34Z)
• Seeing the Un-Scene: Learning Amodal Semantic Maps for Room Navigation [143.6144560164782]
  セマンティックマップを用いた室内ナビゲーションのための学習型アプローチを提案する。 我々は、部屋の位置、大きさ、形状の信念を示すアモーダルな意味的トップダウンマップを生成するためにモデルを訓練する。 次に、これらのマップを使用して、対象の部屋にある点を予測し、その点に向かうためのポリシーを訓練します。
  論文  参考訳（メタデータ） (2020-07-20T02:19:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。