論文の概要: Sketch-A-Shape: Zero-Shot Sketch-to-3D Shape Generation

• arxiv url: http://arxiv.org/abs/2307.03869v1
• Date: Sat, 8 Jul 2023 00:45:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-11 16:57:50.925775
• Title: Sketch-A-Shape: Zero-Shot Sketch-to-3D Shape Generation
• Title（参考訳）: sketch-a-shape:ゼロショットスケッチから3d形状生成
• Authors: Aditya Sanghi, Pradeep Kumar Jayaraman, Arianna Rampini, Joseph Lambourne, Hooman Shayani, Evan Atherton, Saeid Asgari Taghanaki
• Abstract要約: そこで本研究では,スケッチから3次元形状を生成するために,事前学習モデルの大きさについて検討する。 トレーニング中の合成レンダリングの特徴を3次元生成モデルに条件付けすることで,推論時にスケッチから3次元形状を効果的に生成できることがわかった。 これは、事前訓練された大きな視覚モデルの特徴が、ドメインシフトに耐性を持つ意味的な信号を持っていることを示唆している。
• 参考スコア（独自算出の注目度）: 13.47191379827792
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Significant progress has recently been made in creative applications of large pre-trained models for downstream tasks in 3D vision, such as text-to-shape generation. This motivates our investigation of how these pre-trained models can be used effectively to generate 3D shapes from sketches, which has largely remained an open challenge due to the limited sketch-shape paired datasets and the varying level of abstraction in the sketches. We discover that conditioning a 3D generative model on the features (obtained from a frozen large pre-trained vision model) of synthetic renderings during training enables us to effectively generate 3D shapes from sketches at inference time. This suggests that the large pre-trained vision model features carry semantic signals that are resilient to domain shifts, i.e., allowing us to use only RGB renderings, but generalizing to sketches at inference time. We conduct a comprehensive set of experiments investigating different design factors and demonstrate the effectiveness of our straightforward approach for generation of multiple 3D shapes per each input sketch regardless of their level of abstraction without requiring any paired datasets during training.
• Abstract（参考訳）: テキストから形状への生成のような3次元視覚におけるダウンストリームタスクのための大規模事前学習モデルの創造的応用において、近年大きな進歩がなされている。 このことは、これらの事前学習モデルがスケッチから3次元形状を効果的に生成する方法について、我々の研究の動機となっている。 トレーニング中に合成レンダリングの特徴(凍結した大きな学習済み視覚モデルから得られる)に3次元生成モデルを条件付けすることで、推論時にスケッチから3次元形状を効果的に生成できることがわかった。 これは、事前訓練された大きな視覚モデル機能には、ドメインシフトに耐性のあるセマンティック信号、すなわち、RGBレンダリングのみを使用できるが、推論時にスケッチに一般化できることを示唆している。 異なる設計要因を調査した総合的な実験を行い、トレーニング中にペアのデータセットを必要とせずに、それぞれの入力スケッチ毎に複数の3d形状を生成するための簡単なアプローチの有効性を実証する。

関連論文リスト

• Sketch3D: Style-Consistent Guidance for Sketch-to-3D Generation [55.73399465968594]
  本稿では,テキスト記述と一致する色と入力スケッチに整合した形状のリアルな3Dアセットを生成するための,新しい生成パラダイムSketch3Dを提案する。 3つの戦略は、3次元ガウスの最適化、すなわち分布伝達機構による構造最適化、直感的なMSE損失による色最適化、CLIPに基づく幾何学的類似性損失によるスケッチ類似性最適化である。
  論文  参考訳（メタデータ） (2024-04-02T11:03:24Z)
• Doodle Your 3D: From Abstract Freehand Sketches to Precise 3D Shapes [118.406721663244]
  本稿では,抽象モデリングとクロスモーダル対応を容易にする,新しい部分レベルモデリング・アライメントフレームワークを提案する。 提案手法は,CLIPassoエッジマップと投影された3次元部分領域との対応性を確立することで,スケッチモデリングにシームレスに拡張する。
  論文  参考訳（メタデータ） (2023-12-07T05:04:33Z)
• 3D VR Sketch Guided 3D Shape Prototyping and Exploration [108.6809158245037]
  本稿では,3次元VRスケッチを条件として行う3次元形状生成ネットワークを提案する。 スケッチは初心者がアートトレーニングなしで作成していると仮定する。 本手法は,オリジナルスケッチの構造に整合した複数の3次元形状を生成する。
  論文  参考訳（メタデータ） (2023-06-19T10:27:24Z)
• SENS: Part-Aware Sketch-based Implicit Neural Shape Modeling [124.3266213819203]
  SENSは手描きスケッチから3Dモデルを生成し編集するための新しい手法である。 SENSはスケッチを分析し、部品をViTパッチエンコーディングにエンコードする。 SENSは部分再構成による精細化をサポートし、微調整とアーティファクトの除去を可能にする。
  論文  参考訳（メタデータ） (2023-06-09T17:50:53Z)
• Pixel2Mesh++: 3D Mesh Generation and Refinement from Multi-View Images [82.32776379815712]
  カメラポーズの有無にかかわらず、少数のカラー画像から3次元メッシュ表現における形状生成の問題について検討する。 我々は,グラフ畳み込みネットワークを用いたクロスビュー情報を活用することにより,形状品質をさらに向上する。 我々のモデルは初期メッシュの品質とカメラポーズの誤差に頑健であり、テスト時間最適化のための微分関数と組み合わせることができる。
  論文  参考訳（メタデータ） (2022-04-21T03:42:31Z)
• Spatio-temporal Self-Supervised Representation Learning for 3D Point Clouds [96.9027094562957]
  ラベルのないタスクから学習できる時間的表現学習フレームワークを導入する。 幼児が野生の視覚的データからどのように学ぶかに触発され、3Dデータから派生した豊かな手がかりを探索する。 STRLは3Dポイントクラウドシーケンスから2つの時間的関連フレームを入力として、空間データ拡張で変換し、不変表現を自己指導的に学習する。
  論文  参考訳（メタデータ） (2021-09-01T04:17:11Z)
• SDF-SRN: Learning Signed Distance 3D Object Reconstruction from Static Images [44.78174845839193]
  近年の取り組みは、注釈付き2DシルエットによるRGB画像から3Dの監督なしに3Dの再構築を学ぶことに変わった。 これらのテクニックは、トレーニング中に同じオブジェクトインスタンスのマルチビューアノテーションを必要とする。 本研究では,SDF-SRNを提案する。
  論文  参考訳（メタデータ） (2020-10-20T17:59:47Z)
• Inverse Graphics GAN: Learning to Generate 3D Shapes from Unstructured 2D Data [19.807173910379966]
  2次元データから3次元生成モデルを構築するための,最初のスケーラブルなトレーニング手法を紹介する。 我々は,非構造化2次元画像のトレーニングにおいて,既存のモデルよりも優れた形状を生成することができることを示す。
  論文  参考訳（メタデータ） (2020-02-28T12:28:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。