論文の概要: "Tidy Up the Table": Grounding Common-sense Objective for Tabletop Object Rearrangement

• arxiv url: http://arxiv.org/abs/2307.11319v2
• Date: Sun, 17 Sep 2023 07:48:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 23:07:29.051197
• Title: "Tidy Up the Table": Grounding Common-sense Objective for Tabletop Object Rearrangement
• Title（参考訳）: テーブルアップ」:テーブルトップオブジェクト再配置のための共通感覚オブジェクトのグラウンド
• Authors: Yiqing Xu, David Hsu
• Abstract要約: 我々は,オブジェクトアレンジメントの文脈において,コモンセンスなタイディネスの概念を基礎にすることを目的としている。 我々は、言語ベースのポリシージェネレータと画像ベースのティディティ関数スコアを接続する。 我々は、カスタマイズされたランダムウォークから安価に生成された合成データを用いて、味覚スコアを訓練する。
• 参考スコア（独自算出の注目度）: 24.92910261930974
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tidying up a messy table may appear simple for humans, but articulating clear criteria for tidiness is challenging due to the ambiguous nature of common sense reasoning. Large Language Models (LLMs) have proven capable of capturing common sense knowledge to reason over this vague concept of tidiness. However, they alone may struggle with table tidying due to the limited grasp on the spatio-visual aspects of tidiness. In this work, we aim to ground the common-sense concept of tidiness within the context of object arrangement. Our survey reveals that humans usually factorize tidiness into semantic and visual-spatial tidiness; our grounding approach aligns with this decomposition. We connect a language-based policy generator with an image-based tidiness score function: the policy generator utilizes the LLM's commonsense knowledge to cluster objects by their implicit types and functionalities for semantic tidiness; meanwhile, the tidiness score function assesses the visual-spatial relations of the object to achieve visual-spatial tidiness. Our tidiness score is trained using synthetic data generated cheaply from customized random walks, which inherently encode the order of tidiness, thereby bypassing the need for labor-intensive human demonstrations. The simulated experiment shows that our approach successfully generates tidy arrangements, predominately in 2D, with potential for 3D stacking, for tables with various novel objects.
• Abstract（参考訳）: テーブルのタイディニングは人間にとって簡単に見えるかもしれませんが、常識的推論の曖昧さのため、タイディネスの明確な基準は難しいです。 大規模言語モデル(LLM)は、このあいまいな曖昧さの概念を推論するために常識知識を捉える能力があることが証明されている。 しかし、タイディネスの空間的視覚的側面の把握が限られているため、テーブルタイディネスに苦しむこともある。 本研究は,オブジェクトアレンジメントの文脈において,ティディネスの共通センス概念を基礎づけることを目的としている。 我々の調査によると、人間は通常、丁寧さを意味的および視覚的空間的丁寧さに分解する。 ポリシジェネレータは,言語ベースのポリシージェネレータと画像ベースのタイディネススコア関数を接続する: ポリシージェネレータはLLMのコモンセンス知識を,その暗黙の型と機能によってクラスタオブジェクトに利用し,セマンティックタイディネスを実現する一方で,タイディネススコア関数はオブジェクトの視覚空間的関係を評価し,視覚空間的タイディネスを実現する。 当社のtidinessスコアは、カスタマイズされたランダムウォークから安価に生成された合成データを使用してトレーニングされ、本来はtidinessの順序をエンコードし、労働集約型の人間のデモの必要性を回避します。 シミュレーション実験により, 様々な新規な対象を持つテーブルに対して, 3次元積層の可能性を秘めた2次元配向が得られた。

関連論文リスト

• Representing visual classification as a linear combination of words [0.0]
  視覚分類タスクの言語ベースの記述子を識別するために,視覚言語モデルを用いた説明可能性戦略を提案する。 画像とテキストの間に予め訓練された結合埋め込み空間を利用することで,新しい分類課題を単語の線形結合として推定する。 その結果,ドメイン特化言語訓練の欠如にもかかわらず,結果として得られた記述子は臨床知識とほぼ一致していることが判明した。
  論文  参考訳（メタデータ） (2023-11-18T02:00:20Z)
• ZoomNeXt: A Unified Collaborative Pyramid Network for Camouflaged Object Detection [75.22007160699948]
  本稿では,不明瞭な画像や映像を観察する際の人間の行動を模倣する,効果的な統合型ピラミッドネットワークを提案する。 具体的には、差別的な混合スケールのセマンティクスを学習するために、ズーム戦略を用いる。 我々のタスクフレンドリーなフレームワークは、画像とビデオのCODベンチマークにおいて、既存の最先端の手法よりも一貫して優れています。
  論文  参考訳（メタデータ） (2023-10-31T06:11:23Z)
• Knolling Bot: Learning Robotic Object Arrangement from Tidy Demonstrations [11.873522421121173]
  本稿では,ロボットがタイディネスの概念を理解し,再現できる自己指導型学習フレームワークを提案する。 我々は、トランスフォーマーニューラルネットワークを利用して、その後のオブジェクトの配置を予測する。 提案手法は, 汎用的なタイディネスの概念を訓練するだけでなく, カスタマイズされたタイディテーブルを生成するために, 人間の好みを取り入れることもできる。
  論文  参考訳（メタデータ） (2023-10-06T20:13:07Z)
• Learning Explicit Contact for Implicit Reconstruction of Hand-held Objects from Monocular Images [59.49985837246644]
  我々は,手持ちの物体を暗黙的に再構築する上で,明示的な方法で接触をモデル化する方法を示す。 まず,1つの画像から3次元手オブジェクトの接触を直接推定するサブタスクを提案する。 第2部では,ハンドメッシュ面から近傍の3次元空間へ推定された接触状態を拡散する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-31T17:59:26Z)
• Spotlight Attention: Robust Object-Centric Learning With a Spatial Locality Prior [88.9319150230121]
  オブジェクト中心のビジョンは、シーン内のオブジェクトの明示的な表現を構築することを目的としています。 我々は、空間的局所性を最先端のオブジェクト中心視覚モデルに組み込む。 合成および実世界の両方のデータセットにおけるセグメンテーションオブジェクトの大幅な改善が得られた。
  論文  参考訳（メタデータ） (2023-05-31T04:35:50Z)
• Semantic Composition in Visually Grounded Language Models [0.0]
  視覚的に接地された言語モデルは構成構造を表現するのに大きく失敗することを示す。 我々は新しい構成的視覚的質問応答ベンチマークであるWinogroundVQAを紹介する。 我々は、研究の神経科学、精神言語学、形式意味論、哲学との関連について論じる。
  論文  参考訳（メタデータ） (2023-05-15T03:19:42Z)
• Relate to Predict: Towards Task-Independent Knowledge Representations for Reinforcement Learning [11.245432408899092]
  強化学習は、エージェントが複雑なタスクを学習できるようにする。 知識を解釈し、タスク間で再利用することは難しい。 本稿では,対象中心の知識分離を明示する帰納的バイアスを導入する。 知識分離における明示性の程度は、学習の高速化、精度の向上、一般化の向上、理解可能性の向上と相関していることを示す。
  論文  参考訳（メタデータ） (2022-12-10T13:33:56Z)
• Efficient Representations of Object Geometry for Reinforcement Learning of Interactive Grasping Policies [29.998917158604694]
  本稿では,様々な幾何学的に異なる実世界の物体の対話的把握を学習する強化学習フレームワークを提案する。 学習したインタラクティブなポリシーのビデオはhttps://maltemosbach.org/io/geometry_aware_grasping_policiesで公開されている。
  論文  参考訳（メタデータ） (2022-11-20T11:47:33Z)
• Visual Superordinate Abstraction for Robust Concept Learning [80.15940996821541]
  概念学習は言語意味論と結びついた視覚表現を構成する。 視覚概念の本質的な意味的階層を探索する失敗のボトルネックについて説明する。 本稿では,意味認識型視覚サブ空間を明示的にモデル化するビジュアル・スーパーオーディネート・抽象化・フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-28T14:27:38Z)
• HAKE: A Knowledge Engine Foundation for Human Activity Understanding [65.24064718649046]
  人間の活動理解は人工知能に広く興味を持ち、医療や行動分析といった多様な応用にまたがっている。 本稿では,この課題を2段階にまとめた新しいパラダイムを提案する。まず,原子活動プリミティブを対象とする中間空間に画素をマッピングし,解釈可能な論理規則で検出されたプリミティブをプログラムして意味論を推論する。 我々のフレームワークであるHAKE(Human Activity Knowledge Engine)は、挑戦的なベンチマークよりも優れた一般化能力と性能を示す。
  論文  参考訳（メタデータ） (2022-02-14T16:38:31Z)
• PTR: A Benchmark for Part-based Conceptual, Relational, and Physical Reasoning [135.2892665079159]
  PTRと呼ばれる大規模診断用視覚推論データセットを新たに導入する。 PTRは70kのRGBD合成画像と地上の真実のオブジェクトと部分レベルのアノテーションを含んでいる。 このデータセット上で、いくつかの最先端の視覚的推論モデルを調べ、それらがまだ多くの驚くべき誤りを犯していることを観察する。
  論文  参考訳（メタデータ） (2021-12-09T18:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。