論文の概要: SENS: Part-Aware Sketch-based Implicit Neural Shape Modeling

• arxiv url: http://arxiv.org/abs/2306.06088v2
• Date: Wed, 21 Feb 2024 13:35:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-22 21:06:35.908100
• Title: SENS: Part-Aware Sketch-based Implicit Neural Shape Modeling
• Title（参考訳）: SENS: 部分認識型スケッチベースインプシットニューラル形状モデリング
• Authors: Alexandre Binninger, Amir Hertz, Olga Sorkine-Hornung, Daniel Cohen-Or, Raja Giryes
• Abstract要約: SENSは手描きスケッチから3Dモデルを生成し編集するための新しい手法である。 SENSはスケッチを分析し、部品をViTパッチエンコーディングにエンコードする。 SENSは部分再構成による精細化をサポートし、微調整とアーティファクトの除去を可能にする。
• 参考スコア（独自算出の注目度）: 124.3266213819203
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present SENS, a novel method for generating and editing 3D models from hand-drawn sketches, including those of abstract nature. Our method allows users to quickly and easily sketch a shape, and then maps the sketch into the latent space of a part-aware neural implicit shape architecture. SENS analyzes the sketch and encodes its parts into ViT patch encoding, subsequently feeding them into a transformer decoder that converts them to shape embeddings suitable for editing 3D neural implicit shapes. SENS provides intuitive sketch-based generation and editing, and also succeeds in capturing the intent of the user's sketch to generate a variety of novel and expressive 3D shapes, even from abstract and imprecise sketches. Additionally, SENS supports refinement via part reconstruction, allowing for nuanced adjustments and artifact removal. It also offers part-based modeling capabilities, enabling the combination of features from multiple sketches to create more complex and customized 3D shapes. We demonstrate the effectiveness of our model compared to the state-of-the-art using objective metric evaluation criteria and a user study, both indicating strong performance on sketches with a medium level of abstraction. Furthermore, we showcase our method's intuitive sketch-based shape editing capabilities, and validate it through a usability study.
• Abstract（参考訳）: 本稿では,手描きスケッチから3Dモデルを生成し編集するための新しい手法であるSENSについて述べる。 提案手法では,形状を高速かつ容易にスケッチし,そのスケッチを部分認識型暗黙的形状アーキテクチャの潜在空間にマッピングする。 SENSはスケッチを分析し、部品をViTパッチエンコーディングにエンコードし、その後トランスフォーマーデコーダに供給し、3Dニューラルな暗黙の形状を編集するのに適した形状の埋め込みに変換する。 SENSは直感的なスケッチベースの生成と編集を提供し、ユーザのスケッチの意図を捉えて、抽象的かつ不正確なスケッチであっても、様々な斬新で表現力のある3D形状を生成する。 さらに、SENSは部分再構成による洗練をサポートし、微調整とアーティファクトの除去を可能にする。 パートベースのモデリング機能もあり、複数のスケッチの機能を組み合わせることで、より複雑でカスタマイズされた3D形状を作れる。 本モデルの有効性を客観的評価基準とユーザスタディを用いて実証し,中程度の抽象度を有するスケッチに対して強い性能を示す。 さらに,本手法の直感的なスケッチベースの形状編集機能を示し,ユーザビリティスタディにより検証する。

関連論文リスト

• Sketch3D: Style-Consistent Guidance for Sketch-to-3D Generation [55.73399465968594]
  本稿では,テキスト記述と一致する色と入力スケッチに整合した形状のリアルな3Dアセットを生成するための,新しい生成パラダイムSketch3Dを提案する。 3つの戦略は、3次元ガウスの最適化、すなわち分布伝達機構による構造最適化、直感的なMSE損失による色最適化、CLIPに基づく幾何学的類似性損失によるスケッチ類似性最適化である。
  論文  参考訳（メタデータ） (2024-04-02T11:03:24Z)
• Doodle Your 3D: From Abstract Freehand Sketches to Precise 3D Shapes [118.406721663244]
  本稿では,抽象モデリングとクロスモーダル対応を容易にする,新しい部分レベルモデリング・アライメントフレームワークを提案する。 提案手法は,CLIPassoエッジマップと投影された3次元部分領域との対応性を確立することで,スケッチモデリングにシームレスに拡張する。
  論文  参考訳（メタデータ） (2023-12-07T05:04:33Z)
• Sketch-A-Shape: Zero-Shot Sketch-to-3D Shape Generation [13.47191379827792]
  そこで本研究では,スケッチから3次元形状を生成するために,事前学習モデルの大きさについて検討する。 トレーニング中の合成レンダリングの特徴を3次元生成モデルに条件付けすることで,推論時にスケッチから3次元形状を効果的に生成できることがわかった。 これは、事前訓練された大きな視覚モデルの特徴が、ドメインシフトに耐性を持つ意味的な信号を持っていることを示唆している。
  論文  参考訳（メタデータ） (2023-07-08T00:45:01Z)
• Make Your Brief Stroke Real and Stereoscopic: 3D-Aware Simplified Sketch to Portrait Generation [51.64832538714455]
  既存の研究は2次元平面の像のみを固定ビューで生成し、その結果を鮮明にしない。 本稿では立体視による簡易スケッチ・トゥ・ポートレート(SSSP)について述べる。 我々の重要な洞察は、三面体ベースの3D認識生成モデルの事前知識を十分に活用できるスケッチ認識制約を設計することである。
  論文  参考訳（メタデータ） (2023-02-14T06:28:42Z)
• Sketch2Model: View-Aware 3D Modeling from Single Free-Hand Sketches [4.781615891172263]
  初心者向けの高速な3Dモデリングを目指し、自由自在なスケッチから3Dメッシュを生成する問題を調査します。 曖昧さを克服するための視点仕様の重要性に対処し,新しい視点認識生成手法を提案する。
  論文  参考訳（メタデータ） (2021-05-14T06:27:48Z)
• Sketch2Mesh: Reconstructing and Editing 3D Shapes from Sketches [65.96417928860039]
  スケッチのメッシュ変換にはエンコーダ/デコーダアーキテクチャを使用する。 このアプローチはデプロイが容易で、スタイル変更に堅牢であり、効果的であることを示します。
  論文  参考訳（メタデータ） (2021-04-01T14:10:59Z)
• Deep Plastic Surgery: Robust and Controllable Image Editing with Human-Drawn Sketches [133.01690754567252]
  スケッチベースの画像編集は、人間の描いたスケッチによって提供される構造情報に基づいて、写真を合成し、修正することを目的としている。 Deep Plastic Surgeryは、手書きのスケッチ入力を使って画像のインタラクティブな編集を可能にする、新しくて堅牢で制御可能な画像編集フレームワークである。
  論文  参考訳（メタデータ） (2020-01-09T08:57:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。