論文の概要: ObjectFolder 2.0: A Multisensory Object Dataset for Sim2Real Transfer

• arxiv url: http://arxiv.org/abs/2204.02389v1
• Date: Tue, 5 Apr 2022 17:55:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-06 12:52:05.690825
• Title: ObjectFolder 2.0: A Multisensory Object Dataset for Sim2Real Transfer
• Title（参考訳）: objectfolder 2.0: sim2real転送のためのマルチセンサーオブジェクトデータセット
• Authors: Ruohan Gao, Zilin Si, Yen-Yu Chang, Samuel Clarke, Jeannette Bohg, Li Fei-Fei, Wenzhen Yuan, Jiajun Wu
• Abstract要約: 我々は、暗黙の神経表現という形で、一般的な家庭用オブジェクトの大規模データセットであるObject 2.0を提案する。 私たちのデータセットは、オブジェクトの量と時間の桁違いに速くなった場合の10倍の大きさです。 データセット内の仮想オブジェクトから学習したモデルが,実世界のオブジェクトへの転送に成功していることを示す。
• 参考スコア（独自算出の注目度）: 46.24535144252644
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Objects play a crucial role in our everyday activities. Though multisensory object-centric learning has shown great potential lately, the modeling of objects in prior work is rather unrealistic. ObjectFolder 1.0 is a recent dataset that introduces 100 virtualized objects with visual, acoustic, and tactile sensory data. However, the dataset is small in scale and the multisensory data is of limited quality, hampering generalization to real-world scenarios. We present ObjectFolder 2.0, a large-scale, multisensory dataset of common household objects in the form of implicit neural representations that significantly enhances ObjectFolder 1.0 in three aspects. First, our dataset is 10 times larger in the amount of objects and orders of magnitude faster in rendering time. Second, we significantly improve the multisensory rendering quality for all three modalities. Third, we show that models learned from virtual objects in our dataset successfully transfer to their real-world counterparts in three challenging tasks: object scale estimation, contact localization, and shape reconstruction. ObjectFolder 2.0 offers a new path and testbed for multisensory learning in computer vision and robotics. The dataset is available at https://github.com/rhgao/ObjectFolder.
• Abstract（参考訳）: オブジェクトは日々の活動において重要な役割を果たす。 近年、多感覚のオブジェクト中心学習は大きな可能性を示しているが、先行研究におけるオブジェクトのモデリングはかなり非現実的である。 objectfolder 1.0は、視覚、音響、触覚の知覚データを100の仮想オブジェクトに導入する最近のデータセットである。 しかし、データセットは規模が小さく、多感覚データは限られた品質であり、現実のシナリオへの一般化を妨げる。 objectfolder 2.0は,3つの面でobjectfolder 1.0を大幅に強化した,暗黙的なニューラルネットワーク表現という形で,一般的な家庭用オブジェクトの大規模マルチセンサーデータセットである。 まず、私たちのデータセットはオブジェクトの量で10倍大きく、レンダリング時間では桁違いに高速です。 第2に、3つのモードの多感的なレンダリング品質を著しく改善する。 第三に、データセット内の仮想オブジェクトから学習したモデルが、オブジェクトスケール推定、コンタクトローカライゼーション、形状再構成の3つの課題において、現実のオブジェクトへの転送に成功していることを示す。 ObjectFolder 2.0は、コンピュータビジョンとロボット工学のマルチ感覚学習のための新しいパスとテストベッドを提供する。 データセットはhttps://github.com/rhgao/objectfolderで利用可能である。

関連論文リスト

• The ObjectFolder Benchmark: Multisensory Learning with Neural and Real Objects [51.22194706674366]
  マルチセンサーなオブジェクト中心学習のための10のタスクからなるベンチマークスイートであるObject Benchmarkを紹介した。 また,100個の実世界の家庭用オブジェクトに対するマルチセンサー計測を含む,オブジェクトリアルデータセットについても紹介する。
  論文  参考訳（メタデータ） (2023-06-01T17:51:22Z)
• OmniObject3D: Large-Vocabulary 3D Object Dataset for Realistic Perception, Reconstruction and Generation [107.71752592196138]
  OmniObject3Dを提案する。OmniObject3Dは,大規模で高品質な3Dオブジェクトを持つ大語彙の3Dオブジェクトデータセットである。 190のカテゴリーで6,000のスキャン対象からなり、一般的な2Dデータセットと共通クラスを共有する。 それぞれの3Dオブジェクトは、2Dと3Dの両方のセンサーでキャプチャされ、テクスチャメッシュ、ポイントクラウド、マルチビューレンダリング画像、複数の実写ビデオを提供する。
  論文  参考訳（メタデータ） (2023-01-18T18:14:18Z)
• Object Scene Representation Transformer [56.40544849442227]
  オブジェクトシーン表現変換(OSRT: Object Scene Representation Transformer)は、新しいビュー合成を通じて、個々のオブジェクト表現が自然に現れる3D中心のモデルである。 OSRTは、既存のメソッドよりもオブジェクトとバックグラウンドの多様性が大きい、はるかに複雑なシーンにスケールする。 光電場パラメトリゼーションと新しいSlot Mixerデコーダのおかげで、合成レンダリングでは桁違いに高速である。
  論文  参考訳（メタデータ） (2022-06-14T15:40:47Z)
• ObjectFolder: A Dataset of Objects with Implicit Visual, Auditory, and Tactile Representations [52.226947570070784]
  両課題に対処する100のオブジェクトからなるデータセットであるObjectを,2つの重要なイノベーションで紹介する。 まず、オブジェクトは視覚的、聴覚的、触覚的なすべてのオブジェクトの知覚データをエンコードし、多数の多感覚オブジェクト認識タスクを可能にする。 第2に、Objectは統一されたオブジェクト中心のシミュレーションと、各オブジェクトの視覚的テクスチャ、触覚的読み出し、触覚的読み出しに暗黙的な表現を採用しており、データセットの使用が柔軟で共有が容易である。
  論文  参考訳（メタデータ） (2021-09-16T14:00:59Z)
• Common Objects in 3D: Large-Scale Learning and Evaluation of Real-life 3D Category Reconstruction [7.013794773659423]
  3Dの共通オブジェクト(Common Objects in 3D)は、カメラのポーズと地上の真実の3Dポイントクラウドで注釈付けされたオブジェクトカテゴリの実際のマルチビューイメージを備えた大規模なデータセットである。 データセットには、50のMS-COCOカテゴリからオブジェクトをキャプチャする19,000近いビデオから、合計150万フレームが含まれている。 我々は、この新たなデータセットを利用して、いくつかの新しいビュー合成法とカテゴリ中心の3D再構成法に関する、最初の大規模"in-the-wild"評価を行う。
  論文  参考訳（メタデータ） (2021-09-01T17:59:05Z)
• REGRAD: A Large-Scale Relational Grasp Dataset for Safe and Object-Specific Robotic Grasping in Clutter [52.117388513480435]
  本稿では,オブジェクト間の関係のモデル化を継続するregradという新しいデータセットを提案する。 データセットは2D画像と3Dポイントクラウドの両方で収集されます。 ユーザは、好きなだけ多くのデータを生成するために、自由に独自のオブジェクトモデルをインポートできる。
  論文  参考訳（メタデータ） (2021-04-29T05:31:21Z)
• ORBIT: A Real-World Few-Shot Dataset for Teachable Object Recognition [21.594641488685376]
  我々は,視覚障害者のための教示可能な物体認識装置を実世界に適用したorbitデータセットとベンチマークを提案する。 データセットには、携帯電話で盲目/低視野の人が記録した486個のオブジェクトの3,822本のビデオが含まれている。 ベンチマークは現実的な、非常に挑戦的な認識問題を反映し、少数のショット、高変動条件に堅牢性の研究を推進するための豊富な遊び場を提供します。
  論文  参考訳（メタデータ） (2021-04-08T15:32:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。