論文の概要: Towards 3D VR-Sketch to 3D Shape Retrieval

• arxiv url: http://arxiv.org/abs/2209.10020v2
• Date: Sun, 18 Feb 2024 11:59:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 07:50:26.912698
• Title: Towards 3D VR-Sketch to 3D Shape Retrieval
• Title（参考訳）: 3次元vr-sketchから3次元形状検索へ
• Authors: Ling Luo, Yulia Gryaditskaya, Yongxin Yang, Tao Xiang, Yi-Zhe Song
• Abstract要約: 入力モダリティとしての3Dスケッチの利用について検討し、検索を行うVRシナリオを提唱する。 この新しい3DVR-Sketchから3D形状の検索問題に対する最初のスタンプとして、私たちは4つのコントリビューションを行います。
• 参考スコア（独自算出の注目度）: 128.47604316459905
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Growing free online 3D shapes collections dictated research on 3D retrieval. Active debate has however been had on (i) what the best input modality is to trigger retrieval, and (ii) the ultimate usage scenario for such retrieval. In this paper, we offer a different perspective towards answering these questions -- we study the use of 3D sketches as an input modality and advocate a VR-scenario where retrieval is conducted. Thus, the ultimate vision is that users can freely retrieve a 3D model by air-doodling in a VR environment. As a first stab at this new 3D VR-sketch to 3D shape retrieval problem, we make four contributions. First, we code a VR utility to collect 3D VR-sketches and conduct retrieval. Second, we collect the first set of $167$ 3D VR-sketches on two shape categories from ModelNet. Third, we propose a novel approach to generate a synthetic dataset of human-like 3D sketches of different abstract levels to train deep networks. At last, we compare the common multi-view and volumetric approaches: We show that, in contrast to 3D shape to 3D shape retrieval, volumetric point-based approaches exhibit superior performance on 3D sketch to 3D shape retrieval due to the sparse and abstract nature of 3D VR-sketches. We believe these contributions will collectively serve as enablers for future attempts at this problem. The VR interface, code and datasets are available at https://tinyurl.com/3DSketch3DV.
• Abstract（参考訳）: 無料のオンライン3D形状コレクションは、3D検索の研究を規定している。 しかし、活発な議論が続いている。 (i)検索をトリガーする最良の入力モダリティ、及び (ii)そのような検索の究極の使用シナリオ。 本稿では,3次元スケッチを入力モダリティとして用い,検索を行うVRシナリオを提案する。 したがって、究極のビジョンは、ユーザーがvr環境でエアドルリングすることで3dモデルを自由に取得できることだ。 この新しい3dvr-sketch to 3d shape searchの問題を初めて見たとき、私たちは4つの貢献をした。 まず、VRユーティリティをコーディングして、3DVRスケッチを収集し、検索を行う。 第二に、ModelNetから2つの形状カテゴリーについて、最初の167ドルの3DVRスケッチを収集する。 第3に,深層ネットワークを学習するために,抽象レベルが異なる人間の3Dスケッチの合成データセットを作成する手法を提案する。 最後に,3次元の形状検索と3次元の形状検索とは対照的に,3次元の形状検索と3次元の立体スケッチのスパースで抽象的な性質により,3次元の形状検索に優れた性能を示すことを示す。 これらのコントリビュートが、この課題に対する今後の試みの実現に一役買うと私たちは信じています。 VRインターフェース、コード、データセットはhttps://tinyurl.com/3DSketch3DVで入手できる。

関連論文リスト

• OVIR-3D: Open-Vocabulary 3D Instance Retrieval Without Training on 3D Data [15.53270401654078]
  OVIR-3Dは、訓練に3Dデータを使うことなく、オープンな3Dオブジェクトインスタンス検索を行う方法である。 これはテキスト整列2D領域の提案を多視点で3D空間に融合することで実現される。 公開データセットと実際のロボットを用いた実験は、ロボットのナビゲーションと操作における手法の有効性とその可能性を示している。
  論文  参考訳（メタデータ） (2023-11-06T05:00:00Z)
• PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm [114.47216525866435]
  本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。 PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
  論文  参考訳（メタデータ） (2023-10-12T17:59:57Z)
• 3D-LLM: Injecting the 3D World into Large Language Models [60.43823088804661]
  大規模言語モデル (LLM) と視覚言語モデル (VLM) は、常識推論のような複数のタスクで優れていることが証明されている。 本稿では,大規模言語モデルに3Dワールドを注入し,新しい3D-LLMのファミリーを導入することを提案する。 具体的には、3D-LLMは3Dポイントクラウドとその機能を入力として取り込んで、さまざまな3D関連タスクを実行することができる。
  論文  参考訳（メタデータ） (2023-07-24T17:59:02Z)
• Learning 3D Scene Priors with 2D Supervision [37.79852635415233]
  本研究では,3次元の地平を必要とせず,レイアウトや形状の3次元シーンを学習するための新しい手法を提案する。 提案手法は, 3次元シーンを潜在ベクトルとして表現し, クラスカテゴリを特徴とするオブジェクト列に段階的に復号化することができる。 3D-FRONT と ScanNet による実験により,本手法は単一視点再構成における技術状況よりも優れていた。
  論文  参考訳（メタデータ） (2022-11-25T15:03:32Z)
• Fine-Grained VR Sketching: Dataset and Insights [140.0579567561475]
  1,497個のVRスケッチと大きな形状の椅子カテゴリーの3次元形状ペアの最初の詳細なデータセットを提示する。 我々のデータセットは、きめ細かいデータ分析に関するスケッチコミュニティの最近のトレンドをサポートする。
  論文  参考訳（メタデータ） (2022-09-20T21:30:54Z)
• Structure-Aware 3D VR Sketch to 3D Shape Retrieval [113.20120789493217]
  われわれは3DVRのスケッチに固有の不正確さによって引き起こされる課題に注目している。 我々は「適合ギャップ」によって引き起こされる適応利得値を持つ三重項損失を用いることを提案する。 観察からではなく、記憶から描かれた202個の3次元形状のための202個のVRスケッチのデータセットを紹介した。
  論文  参考訳（メタデータ） (2022-09-19T14:29:26Z)
• Gait Recognition in the Wild with Dense 3D Representations and A Benchmark [86.68648536257588]
  既存の歩行認識の研究は、制約されたシーンにおける人間の体のシルエットや骨格のような2D表現によって支配されている。 本稿では,野生における歩行認識のための高密度な3次元表現の探索を目的とする。 大規模な3D表現に基づく歩行認識データセットGait3Dを構築した。
  論文  参考訳（メタデータ） (2022-04-06T03:54:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。