論文の概要: SENS: Sketch-based Implicit Neural Shape Modeling
- arxiv url: http://arxiv.org/abs/2306.06088v1
- Date: Fri, 9 Jun 2023 17:50:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-12 12:01:48.348583
- Title: SENS: Sketch-based Implicit Neural Shape Modeling
- Title（参考訳）: SENS: スケッチに基づくインプシットニューラル形状モデリング
- Authors: Alexandre Binninger, Amir Hertz, Olga Sorkine-Hornung, Daniel
Cohen-Or, Raja Giryes
- Abstract要約: SENSは手描きスケッチから3Dモデルを生成し編集するための新しい手法である。
SENSはスケッチを分析し、部品をViTパッチエンコーディングにエンコードし、トランスフォーマーデコーダに供給する。
SENSは、ユーザのスケッチの意図を捉えて、様々な斬新で表現力のある3D形状を生成する。
- 参考スコア（独自算出の注目度）: 135.48814909514965
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We present SENS, a novel method for generating and editing 3D models from
hand-drawn sketches, including those of an abstract nature. Our method allows
users to quickly and easily sketch a shape, and then maps the sketch into the
latent space of a part-aware neural implicit shape architecture. SENS analyzes
the sketch and encodes its parts into ViT patch encoding, then feeds them into
a transformer decoder that converts them to shape embeddings, suitable for
editing 3D neural implicit shapes. SENS not only provides intuitive
sketch-based generation and editing, but also excels in capturing the intent of
the user's sketch to generate a variety of novel and expressive 3D shapes, even
from abstract sketches. We demonstrate the effectiveness of our model compared
to the state-of-the-art using objective metric evaluation criteria and a
decisive user study, both indicating strong performance on sketches with a
medium level of abstraction. Furthermore, we showcase its intuitive
sketch-based shape editing capabilities.
- Abstract（参考訳）: そこで本研究では,手描きスケッチから抽象的性質を含む3dモデルの生成と編集を行う新しい手法であるsensを提案する。
提案手法では,形状を高速かつ容易にスケッチし,そのスケッチを部分認識型暗黙的形状アーキテクチャの潜在空間にマッピングする。
sensはスケッチを分析し、部品をvitパッチエンコーディングし、それらをトランスフォーマーデコーダに供給し、3dニューラルネットワークの暗黙的な形状の編集に適した埋め込み形に変換する。
SENSは、直感的なスケッチベースの生成と編集を提供するだけでなく、ユーザのスケッチの意図を捉えて、抽象スケッチからでも、様々な斬新で表現力のある3D形状を生成する。
客観的な評価基準と決定的なユーザスタディを用いて、このモデルの有効性を最先端技術と比較し、中程度の抽象レベルを持つスケッチ上での強い性能を示す。
さらに,その直感的なスケッチベースの形状編集機能を紹介する。
関連論文リスト
- Sketch3D: Style-Consistent Guidance for Sketch-to-3D Generation [55.73399465968594]
本稿では,テキスト記述と一致する色と入力スケッチに整合した形状のリアルな3Dアセットを生成するための,新しい生成パラダイムSketch3Dを提案する。
3つの戦略は、3次元ガウスの最適化、すなわち分布伝達機構による構造最適化、直感的なMSE損失による色最適化、CLIPに基づく幾何学的類似性損失によるスケッチ類似性最適化である。
論文 参考訳（メタデータ） (2024-04-02T11:03:24Z) - Doodle Your 3D: From Abstract Freehand Sketches to Precise 3D Shapes [118.406721663244]
本稿では,抽象モデリングとクロスモーダル対応を容易にする,新しい部分レベルモデリング・アライメントフレームワークを提案する。
提案手法は,CLIPassoエッジマップと投影された3次元部分領域との対応性を確立することで,スケッチモデリングにシームレスに拡張する。
論文 参考訳（メタデータ） (2023-12-07T05:04:33Z) - Sketch-A-Shape: Zero-Shot Sketch-to-3D Shape Generation [13.47191379827792]
そこで本研究では,スケッチから3次元形状を生成するために,事前学習モデルの大きさについて検討する。
トレーニング中の合成レンダリングの特徴を3次元生成モデルに条件付けすることで,推論時にスケッチから3次元形状を効果的に生成できることがわかった。
これは、事前訓練された大きな視覚モデルの特徴が、ドメインシフトに耐性を持つ意味的な信号を持っていることを示唆している。
論文 参考訳（メタデータ） (2023-07-08T00:45:01Z) - Make Your Brief Stroke Real and Stereoscopic: 3D-Aware Simplified Sketch
to Portrait Generation [51.64832538714455]
既存の研究は2次元平面の像のみを固定ビューで生成し、その結果を鮮明にしない。
本稿では立体視による簡易スケッチ・トゥ・ポートレート(SSSP)について述べる。
我々の重要な洞察は、三面体ベースの3D認識生成モデルの事前知識を十分に活用できるスケッチ認識制約を設計することである。
論文 参考訳（メタデータ） (2023-02-14T06:28:42Z) - Sketch2Model: View-Aware 3D Modeling from Single Free-Hand Sketches [4.781615891172263]
初心者向けの高速な3Dモデリングを目指し、自由自在なスケッチから3Dメッシュを生成する問題を調査します。
曖昧さを克服するための視点仕様の重要性に対処し,新しい視点認識生成手法を提案する。
論文 参考訳（メタデータ） (2021-05-14T06:27:48Z) - Sketch2Mesh: Reconstructing and Editing 3D Shapes from Sketches [65.96417928860039]
スケッチのメッシュ変換にはエンコーダ/デコーダアーキテクチャを使用する。
このアプローチはデプロイが容易で、スタイル変更に堅牢であり、効果的であることを示します。
論文 参考訳（メタデータ） (2021-04-01T14:10:59Z) - Deep Plastic Surgery: Robust and Controllable Image Editing with
Human-Drawn Sketches [133.01690754567252]
スケッチベースの画像編集は、人間の描いたスケッチによって提供される構造情報に基づいて、写真を合成し、修正することを目的としている。
Deep Plastic Surgeryは、手書きのスケッチ入力を使って画像のインタラクティブな編集を可能にする、新しくて堅牢で制御可能な画像編集フレームワークである。
論文 参考訳（メタデータ） (2020-01-09T08:57:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。