論文の概要: TO-Scene: A Large-scale Dataset for Understanding 3D Tabletop Scenes

• arxiv url: http://arxiv.org/abs/2203.09440v2
• Date: Mon, 21 Mar 2022 06:18:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-22 10:35:10.432750
• Title: TO-Scene: A Large-scale Dataset for Understanding 3D Tabletop Scenes
• Title（参考訳）: TO-Scene:3Dテーブルトップシーンを理解するための大規模データセット
• Authors: Mutian Xu, Pei Chen, Haolin Liu, Xiaoguang Han
• Abstract要約: テーブルトップシーンに焦点を当てた大規模データセットであるTO-Sceneを紹介する。 データを取得するために、ScanNetからCADオブジェクトをテーブルに転送するクラウドソーシングUIが開発された。 小型のテーブルトップインスタンスをよりよく知覚するためのテーブルトップ対応学習戦略を提案する。
• 参考スコア（独自算出の注目度）: 24.422147844863304
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many basic indoor activities such as eating or writing are always conducted upon different tabletops (e.g., coffee tables, writing desks). It is indispensable to understanding tabletop scenes in 3D indoor scene parsing applications. Unfortunately, it is hard to meet this demand by directly deploying data-driven algorithms, since 3D tabletop scenes are rarely available in current datasets. To remedy this defect, we introduce TO-Scene, a large-scale dataset focusing on tabletop scenes, which contains 20,740 scenes with three variants. To acquire the data, we design an efficient and scalable framework, where a crowdsourcing UI is developed to transfer CAD objects onto tables from ScanNet, then the output tabletop scenes are simulated into real scans and annotated automatically. Further, a tabletop-aware learning strategy is proposed for better perceiving the small-sized tabletop instances. Notably, we also provide a real scanned test set TO-Real to verify the practical value of TO-Scene. Experiments show that the algorithms trained on TO-Scene indeed work on the realistic test data, and our proposed tabletop-aware learning strategy greatly improves the state-of-the-art results on both 3D semantic segmentation and object detection tasks. TO-Scene and TO-Real, plus Web UI, will all be publicly available.
• Abstract（参考訳）: 食事や筆記などの基本的な室内活動の多くは、常に異なる錠剤(コーヒーテーブルや机など)で行われている。 3次元屋内シーン解析アプリケーションにおけるテーブルトップシーンの理解は不可欠である。 残念ながら、現在のデータセットでは3Dテーブルトップシーンがほとんど利用できないため、データ駆動アルゴリズムを直接デプロイすることで、この需要を満たすのは難しい。 この欠陥を解消するために,テーブルトップシーンに焦点を当てた大規模データセットto-sceneを紹介する。 データを取得するために,ScanNetからCADオブジェクトをテーブルに転送するクラウドソーシングUIを開発し,出力テーブルトップシーンを実際のスキャンにシミュレートし,自動的に注釈付けする,効率的でスケーラブルなフレームワークを設計する。 さらに,小規模のテーブルトップインスタンスをよりよく認識するために,テーブルトップアウェア学習戦略を提案する。 また,TO-Sceneの実用的価値を検証するために,実際にスキャンしたテストセットのTO-Realも提供する。 実験の結果,TO-Sceneで訓練したアルゴリズムは現実的なテストデータで実際に機能し,提案したテーブルトップ認識学習戦略は,3次元セマンティックセグメンテーションとオブジェクト検出の両タスクにおける最先端の結果を大幅に改善することがわかった。 TO-SceneとTO-Realに加えて、Web UIも一般公開される。

関連論文リスト

• OpenSU3D: Open World 3D Scene Understanding using Foundation Models [2.1262749936758216]
  オープンセット, インスタンスレベルの3次元シーン表現を構築するための, 新規でスケーラブルなアプローチを提案する。 既存の方法は、事前に構築された3Dシーンと、ポイント単位の機能ベクトル学習によるスケーラビリティの問題を必要とする。 ゼロショット一般化機能を示すScanNetとReplicaのデータセットから,複数のシーンに対する提案手法の評価を行った。
  論文  参考訳（メタデータ） (2024-07-19T13:01:12Z)
• Chat-Scene: Bridging 3D Scene and Large Language Models with Object Identifiers [65.51132104404051]
  オブジェクトレベルのシーンと対話するために、オブジェクト識別子とオブジェクト中心表現を導入する。 我々のモデルは、ScanRefer、Multi3DRefer、Scan2Cap、ScanQA、SQA3Dなど、既存のベンチマーク手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-12-13T14:27:45Z)
• Model2Scene: Learning 3D Scene Representation via Contrastive Language-CAD Models Pre-training [105.3421541518582]
  現在成功している3次元シーン認識法は、大規模アノテートされた点雲に依存している。 CAD(Computer-Aided Design)モデルと言語から自由な3Dシーン表現を学習する新しいパラダイムであるModel2Sceneを提案する。 Model2Sceneは、平均mAPが46.08%、ScanNetとS3DISのデータセットが55.49%という、ラベルなしの優れた3Dオブジェクトのサリエント検出をもたらす。
  論文  参考訳（メタデータ） (2023-09-29T03:51:26Z)
• CommonScenes: Generating Commonsense 3D Indoor Scenes with Scene Graph Diffusion [83.30168660888913]
  シーングラフを対応する制御可能な3Dシーンに変換する完全生成モデルであるCommonScenesを提案する。 パイプラインは2つのブランチで構成されており、1つは変分オートエンコーダでシーン全体のレイアウトを予測し、もう1つは互換性のある形状を生成する。 生成されたシーンは、入力シーングラフを編集し、拡散モデルのノイズをサンプリングすることで操作することができる。
  論文  参考訳（メタデータ） (2023-05-25T17:39:13Z)
• SGAligner : 3D Scene Alignment with Scene Graphs [84.01002998166145]
  3Dシーングラフの構築は、いくつかの具体的AIアプリケーションのためのシーン表現のトピックとして登場した。 オーバーラップ可能な3次元シーングラフのペアをゼロから部分的に整列させるという基本的な問題に着目する。 そこで我々はSGAlignerを提案する。SGAlignerは3次元シーングラフのペアを組合わせるための最初の方法であり、その組込みシナリオに対して堅牢である。
  論文  参考訳（メタデータ） (2023-04-28T14:39:22Z)
• RandomRooms: Unsupervised Pre-training from Synthetic Shapes and Randomized Layouts for 3D Object Detection [138.2892824662943]
  有望な解決策は、CADオブジェクトモデルで構成される合成データセットをよりよく利用して、実際のデータセットでの学習を促進することである。 最近の3次元事前学習の研究は、合成物体から他の実世界の応用へ学習した伝達特性が失敗することを示している。 本研究では,この目的を達成するためにRandomRoomsという新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:56:12Z)
• 3D Sketch-aware Semantic Scene Completion via Semi-supervised Structure Prior [50.73148041205675]
  セマンティック・シーン・コンプリート(SSC)タスクの目標は、単一視点で観察することで、ボリューム占有率とシーン内のオブジェクトの意味ラベルの完全な3Dボクセル表現を同時に予測することである。 低解像度のボクセル表現で深度情報を埋め込む新しい幾何学的手法を提案する。 提案手法は,SSCフレームワークからの深度特徴学習よりも有効である。
  論文  参考訳（メタデータ） (2020-03-31T09:33:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。