論文の概要: CLIPasso: Semantically-Aware Object Sketching
- arxiv url: http://arxiv.org/abs/2202.05822v1
- Date: Fri, 11 Feb 2022 18:35:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-14 14:43:17.993219
- Title: CLIPasso: Semantically-Aware Object Sketching
- Title（参考訳）: CLIPasso: セマンティックなオブジェクトのスケッチ
- Authors: Yael Vinker, Ehsan Pajouheshgar, Jessica Y. Bo, Roman Christian
Bachmann, Amit Haim Bermano, Daniel Cohen-Or, Amir Zamir, Ariel Shamir
- Abstract要約: 本稿では,幾何学的および意味的単純化によって導かれる抽象レベルが異なるオブジェクトスケッチ手法を提案する。
スケッチをB'ezier曲線の集合として定義し、CLIPに基づく知覚的損失に対して曲線のパラメータを直接最適化するために微分器を使用する。
- 参考スコア（独自算出の注目度）: 34.53644912236454
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Abstraction is at the heart of sketching due to the simple and minimal nature
of line drawings. Abstraction entails identifying the essential visual
properties of an object or scene, which requires semantic understanding and
prior knowledge of high-level concepts. Abstract depictions are therefore
challenging for artists, and even more so for machines. We present an object
sketching method that can achieve different levels of abstraction, guided by
geometric and semantic simplifications. While sketch generation methods often
rely on explicit sketch datasets for training, we utilize the remarkable
ability of CLIP (Contrastive-Language-Image-Pretraining) to distill semantic
concepts from sketches and images alike. We define a sketch as a set of
B\'ezier curves and use a differentiable rasterizer to optimize the parameters
of the curves directly with respect to a CLIP-based perceptual loss. The
abstraction degree is controlled by varying the number of strokes. The
generated sketches demonstrate multiple levels of abstraction while maintaining
recognizability, underlying structure, and essential visual components of the
subject drawn.
- Abstract（参考訳）: 抽象は線画の単純で最小限の性質のためにスケッチの中心にある。
抽象化は、意味的理解と高レベルの概念の事前知識を必要とするオブジェクトやシーンの本質的な視覚的特性を特定することを必要とする。
そのため、抽象的な描写はアーティストにとって、さらに機械にとっては難しい。
本稿では,幾何学的および意味的単純化によって導かれる抽象レベルが異なるオブジェクトスケッチ手法を提案する。
スケッチ生成手法は、しばしば訓練のために明示的なスケッチデータセットに依存するが、CLIP(Contrastive-Language- Image-Pretraining)の際立った能力を利用してスケッチや画像から意味論的概念を抽出する。
スケッチをB\'ezier曲線の集合として定義し、差別化可能なラスタライザを用いて、CLIPに基づく知覚的損失に対して曲線のパラメータを直接最適化する。
抽象度は、ストロークの数を変えることで制御される。
生成されたスケッチは、認識可能性、基盤構造、描画対象の不可欠な視覚的要素を維持しながら、複数の抽象化レベルを示す。
関連論文リスト
- Do Generalised Classifiers really work on Human Drawn Sketches? [122.11670266648771]
本稿では,人間のスケッチ理解を伴う大規模基礎モデルについて述べる。
一般的なスケッチ表現学習という観点からのパラダイムシフトです。
我々のフレームワークは、ゼロショットと少数ショットの両方で一般的なスケッチ表現学習アルゴリズムを超越している。
論文 参考訳（メタデータ） (2024-07-04T12:37:08Z) - How to Handle Sketch-Abstraction in Sketch-Based Image Retrieval? [120.49126407479717]
スケッチの抽象化を様々なレベルで処理できるスケッチベース画像検索フレームワークを提案する。
粒度レベルの抽象理解のために、検索モデルはすべての抽象レベルを等しく扱ってはならないと規定する。
私たちのAcc.@qの損失は、評価がいかに厳格であるかという点で、スケッチが焦点を絞りたり壊したりできます。
論文 参考訳（メタデータ） (2024-03-11T23:08:29Z) - CustomSketching: Sketch Concept Extraction for Sketch-based Image
Synthesis and Editing [21.12815542848095]
大規模なテキスト・ツー・イメージ(T2I)モデルのパーソナライズ技術により、ユーザーは参照画像から新しい概念を組み込むことができる。
既存の手法は主にテキスト記述に依存しており、カスタマイズされた画像の制御が制限されている。
スケッチを直感的で汎用的な表現として識別し,このような制御を容易にする。
論文 参考訳（メタデータ） (2024-02-27T15:52:59Z) - Learning Geometry-aware Representations by Sketching [20.957964436294873]
我々は,人間の行動にインスパイアされたスケッチによってシーンを表現する学習を提案する。
LBS(Learning by Sketching)と呼ばれる本手法では,映像をカラーストロークの集合に変換し,シーンの幾何学的情報を明示的に組み込む。
論文 参考訳（メタデータ） (2023-04-17T12:23:32Z) - Sketch2Saliency: Learning to Detect Salient Objects from Human Drawings [99.9788496281408]
本研究では,スケッチを弱いラベルとして使用して,画像中の有能な物体を検出する方法について検討する。
これを実現するために,与えられた視覚写真に対応する逐次スケッチ座標を生成することを目的としたフォト・ツー・スケッチ生成モデルを提案する。
テストは、私たちの仮説を証明し、スケッチベースの唾液度検出モデルが、最先端技術と比較して、競争力のあるパフォーマンスを提供する方法を明確にします。
論文 参考訳（メタデータ） (2023-03-20T23:46:46Z) - CLIPascene: Scene Sketching with Different Types and Levels of
Abstraction [48.30702300230904]
本稿では,あるシーンイメージを異なるタイプと複数の抽象化レベルを用いてスケッチに変換する手法を提案する。
1つ目はスケッチの忠実さを考慮し、その表現をより正確に入力の描写からより緩やかな描写へと変化させる。
2つ目はスケッチの視覚的単純さによって定義され、詳細な描写からまばらなスケッチへと移行している。
論文 参考訳（メタデータ） (2022-11-30T18:54:32Z) - Abstracting Sketches through Simple Primitives [53.04827416243121]
人間は、オブジェクト情報を素早く通信する必要があるゲームにおいて、高いレベルの抽象化能力を示す。
本稿では,プリミティブをベースとしたスケッチ抽象化タスクを提案する。
我々のPrimitive-Matching Network(PMN)は、スケッチの解釈可能な抽象化を自己管理的に学習する。
論文 参考訳（メタデータ） (2022-07-27T14:32:39Z) - I Know What You Draw: Learning Grasp Detection Conditioned on a Few
Freehand Sketches [74.63313641583602]
そこで本研究では,スケッチ画像に関連のある潜在的な把握構成を生成する手法を提案する。
私たちのモデルは、現実世界のアプリケーションで簡単に実装できるエンドツーエンドで訓練され、テストされています。
論文 参考訳（メタデータ） (2022-05-09T04:23:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。